| Item type |
SIG Technical Reports(1) |
| 公開日 |
2019-11-27 |
| タイトル |
|
|
タイトル |
BERTを利用した文書の特徴ベクトルの作成 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
Construction of document feature vectors using BERT |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
埋め込み表現 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
茨城大学工学部情報工学科 |
| 著者所属 |
|
|
|
茨城大学大学院理工学研究科情報工学専攻 |
| 著者所属 |
|
|
|
茨城大学大学院理工学研究科情報工学専攻 |
| 著者所属 |
|
|
|
茨城大学大学院理工学研究科情報工学専攻 |
| 著者所属 |
|
|
|
茨城大学大学院理工学研究科情報科学領域 |
| 著者所属(英) |
|
|
|
en |
|
|
Ibaraki University |
| 著者所属(英) |
|
|
|
en |
|
|
Ibaraki University |
| 著者所属(英) |
|
|
|
en |
|
|
Ibaraki University |
| 著者所属(英) |
|
|
|
en |
|
|
Ibaraki University |
| 著者所属(英) |
|
|
|
en |
|
|
Ibaraki University |
| 著者名 |
田中, 裕隆
曹, 鋭
白, 静
馬, ブン
新納, 浩幸
|
| 著者名(英) |
Hirotaka, Tanaka
Rui, Cao
Jing, Bai
Wen, Ma
Hiroyuki, Shinnou
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
近年，BERT のような事前学習モデルを利用することで，自然言語処理システムの性能が大きく向上している．BERT は，Transformer の Multi-head Attention を用いることで文脈に応じた単語の埋め込み表現列を得ることのできるモデルである．文書分類のタスクの場合，文書を BERT に入力し，その出力から文書の特徴ベクトルを構築する方法によって処理できる．しかし，BERTに入力できるシーケンスの長さには上限がある．この制限によって，長い文書を扱う場合，標準的な手法では文書分類に必要な情報を十分に得られないと考えられる．そこで，BERT から長い文書内の全ての単語に対応する埋め込み表現を得て，そこから文書の特徴ベクトルを作成する手法を提案する． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10115061 |
| 書誌情報 |
研究報告自然言語処理（NL）
巻 2019-NL-243,
号 8,
p. 1-6,
発行日 2019-11-27
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8779 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-NL19243008.pdf (903.9 kB)
