WEKO3
-
RootNode
アイテム
口語的表現を含む日本語文の形態素解析の実現と評価
https://ipsj.ixsq.nii.ac.jp/records/49257
https://ipsj.ixsq.nii.ac.jp/records/49257f25308e9-ce72-4ade-8ebd-3777f7a05fda
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL94103014.pdf (1.4 MB)
|
Copyright (c) 1994 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 1994-09-15 | |||||||
| タイトル | ||||||||
| タイトル | 口語的表現を含む日本語文の形態素解析の実現と評価 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Implementation and evaluation of a morphological analysis method for colloquial Japanese text | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 日本電気（株）情報メディア研究所 | ||||||||
| 著者所属 | ||||||||
| 日本電気（株）情報メディア研究所 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Information Technology Research Labs, NEC Corp. | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Information Technology Research Labs, NEC Corp. | ||||||||
| 著者名 |
竹元, 義美
福島, 俊一
× 竹元, 義美 福島, 俊一
|
|||||||
| 著者名(英) |
Yoshikazu, Takemoto
Toshikazu, Fukushima
× Yoshikazu, Takemoto Toshikazu, Fukushima
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 日本語文章の口語的表現に対応した形態素解析手法を提案し、その評価結果を報告する。広い分野のテキスト処理を想定した場合に口語的表現の形態素解析は重要であるものの、その精度は十分とは言えなかった。本稿では、口語的表現を正しく形態素解析するために2つの手法を示す。1つは、口語特有の言い回しを辞書登録すること、もう1つは、通常は平仮名表記する語を意図的に片仮名表記するなど、表記を変えた強調表現を通常の表記に直して辞書検索することである（口語置換検索処理）。これらの手法を実現した結果、口語的表現を多く含むテキストの文節区切り精度が1．8％向上し、テキストのタイプによらず安定した高い精度を得ることができた。辞書登録では、話し言葉特有の語の登録によって、文節区切りに失敗していた話し言葉の88％を正しく解析できた。口語置換検索処理では、形態素解析に失敗していた意図的な片仮名表記の75％、強調表現で特殊文字を含む単語の79％を救済できた。 | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | This paper presents a new morphological analysis method for colloquial Japanese text, and describes its evaluation results. To enlarge application for natural language processing, it is necessary to deal with not only written language as before, but also colloquial language. This paper shows two techniques as the new method. One is to enter words peculiar to spoken language in dictionaries. The other is to replace words written in Katakana or special characters with usual writing and search through dictionaries for them. The two techniques can improve Bunsetsu-segmentation accuracy by 1.8% over a conventional method for text including colloquial expressions, and also accomplish stable accuracy for various types of text. The first technique can remove 88% of Bunsetsu-segmentation failures caused by spoken words. The second technique can remove 75% of failures caused by words written in Katakana expressly for emphasis, and 79% of failures caused by words written in special characters expressly for emphasis. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10115061 | |||||||
| 書誌情報 |
情報処理学会研究報告自然言語処理（NL） 巻 1994, 号 77(1994-NL-103), p. 105-112, 発行日 1994-09-15 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
