WEKO3
-
RootNode
アイテム
スーパーコンピュータTSUBAME上でのMapReduceの実現
https://ipsj.ixsq.nii.ac.jp/records/66876
https://ipsj.ixsq.nii.ac.jp/records/66876a40b9e79-4d1f-4620-adfe-9b661755a218
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC09123006.pdf (516.2 kB)
|
Copyright (c) 2009 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2009-11-23 | |||||||
| タイトル | ||||||||
| タイトル | スーパーコンピュータTSUBAME上でのMapReduceの実現 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | MapReduce Implementation on the TSUBAME Supercomputer | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | ネットワークとシステムソフト | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 東京工業大学 | ||||||||
| 著者所属 | ||||||||
| 東京工業大学 | ||||||||
| 著者所属 | ||||||||
| ライフサイエンス統合データベースセンター | ||||||||
| 著者所属 | ||||||||
| ライフサイエンス統合データベースセンター | ||||||||
| 著者所属 | ||||||||
| 東京工業大学／国立情報学研究所 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Tokyo Institute of Technology | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Tokyo Institute of Technology | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Database Center for Life Science | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Database Center for Life Science | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Tokyo Institute of Technology / National Institute of Informatics | ||||||||
| 著者名 |
佐藤, 仁
× 佐藤, 仁
|
|||||||
| 著者名(英) |
Hitoshi, Sato
× Hitoshi, Sato
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | TSUBAME 上で Hadoop を実行するためのツール 「Tsudoop」 を開発した．Tsudoop は，既存システムの構成や運用方針の変更をすることなく，TSUBAME 上のジョブスケジューラである n1ge や Lustre ファイルシステムなどと協調して動作して Hadoop 実行環境を構築し，ユーザの MapReduce アプリケーションを実行する．予備実験として，このツールを用いて，生物医学系の学術論文を対象にした書籍情報データベースである MEDLINE に対してテキストの全文検索を行うアプリケーションを実行した．その結果，1 ノード (16 コア) での実行と 32 ノード (512 コア) での実行とを比較して 14 倍の性能向上を示し，TSUBAME のような高速な共有ファイルシステムやジョブスケジューラが存在するような計算環境でも，MapReduce アプリケーションの実行が可能なことを確認した． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | We developed a program, called "Tsudoop", which creates a MapReduce application execution environment on the TSUBAME supercomputer. Tsudoop enables application users to be able to run Hadoop-based MapReduce applications on TSUBAME without any modification in existing facilities and operation policies. We executed a MapReduce application, which conducts fulltext search operations to a MEDLINE bibliographic database for life sciences and biomedical information, by using 32 nodes with 512 cores via Tsudoop and confirmed 14 times speedup compared with the execution by using a single node with 16 cores. We demonstrate an example of Hadoop deployment in a computing environment in cooperation with a high-speed shared filesystem and a batch job scheduling system. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10463942 | |||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2009-HPC-123, 号 6, p. 1-7, 発行日 2009-11-23 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
