WEKO3
-
RootNode
アイテム
条件付確率場による曰本語未知語処理
https://ipsj.ixsq.nii.ac.jp/records/47932
https://ipsj.ixsq.nii.ac.jp/records/47932819d1cb7-06a9-4824-b243-1fb8bb2c547c
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL06173011.pdf (1.3 MB)
|
Copyright (c) 2006 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2006-05-19 | |||||||
| タイトル | ||||||||
| タイトル | 条件付確率場による曰本語未知語処理 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Japanese Unknown Word Processing using Conditional Random Fields | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 奈良先端科学技術大学院大学情報科学研究科 | ||||||||
| 著者所属 | ||||||||
| 奈良先端科学技術大学院大学情報科学研究科 | ||||||||
| 著者所属 | ||||||||
| 奈良先端科学技術大学院大学情報科学研究科 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Graduate School of lnformation Science,Nara Institute of ScienceandLchnology | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Graduate School of lnformation Science,Nara Institute of ScienceandLchnology | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Graduate School of lnformation Science,Nara Institute of ScienceandLchnology | ||||||||
| 著者名 |
東, 藍
浅原, 正幸
松本, 裕治
× 東, 藍 浅原, 正幸 松本, 裕治
|
|||||||
| 著者名(英) |
Ai, Azuma
Masayuki, Asahara
Yuji, Matsumoto
× Ai, Azuma Masayuki, Asahara Yuji, Matsumoto
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 本稿では，日本語形態素解析において問題となる未知語処理に対して条件付確率場(ConditionalRandomFields CRF)を適用する手法を提案する．提案手法では，形態素解析と同時に入力文中の部分文字列に対して未知語候補を追加することにより，形態素解析と未知語処理を同時に行う．また，従来最大エントロピーマルコフモデル(MaximumEntropyMarkovModelMEMM)などを適用した手法で指摘されてい0たlabelbiasあるいはlengthbiasの影響は，単に既知語の解析において問題になるだけではなく，未知語処理においても重要な問題となることを示し，ＣＲＦを適用することによりこれらの問題が解決されることを示す．そして大規模な正解タグ付コーパスを用いて実験し，本稿の提案手法の有効性を検証した | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | This paper proposes a new method forJapanese morphological analysis with unknown word (i,e out-of vocabularyword)processing The Japanese morphological analysis is based on conditional random fields(CRF)on a word trells.In the word trellis,the analyzer expands not only knownwords(i・ein-vocabularyword)but also substrings in a sentence as word candidates Kudo(Kudo 2004)discussed an issue that maximum entropy Markov model(ＭＥＭＭ)has label as well as length bias problems in known word processing and CRFs have potential to cope with them.We discuss ｔｈｅ same issue ｉｎ ｕｎｋｎｏｗｎ word processing.Evaluation experiments on large-scale corpora show the effectiveness and impact on the proposed method． | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10115061 | |||||||
| 書誌情報 |
情報処理学会研究報告自然言語処理（NL） 巻 2006, 号 53(2006-NL-173), p. 67-74, 発行日 2006-05-19 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
