WEKO3
-
RootNode
アイテム
Gfarm/PwrakeによるNICTサイエンスクラウドの並列分散処理技法
https://ipsj.ixsq.nii.ac.jp/records/92453
https://ipsj.ixsq.nii.ac.jp/records/92453d3fb5d6c-b6c5-4157-903f-6c7f1c562400
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC13139009.pdf (1.1 MB)
|
Copyright (c) 2013 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2013-05-22 | |||||||
| タイトル | ||||||||
| タイトル | Gfarm/PwrakeによるNICTサイエンスクラウドの並列分散処理技法 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | A Parallel Processing Technique on the NICT Science Cloud via Gfarm/Pwrake | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | システム | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 情報通信研究機構 | ||||||||
| 著者所属 | ||||||||
| 情報通信研究機構 | ||||||||
| 著者所属 | ||||||||
| 情報通信研究機構 | ||||||||
| 著者所属 | ||||||||
| 情報通信研究機構 | ||||||||
| 著者所属 | ||||||||
| 筑波大学計算科学研究センター | ||||||||
| 著者所属 | ||||||||
| 筑波大学計算科学研究センター | ||||||||
| 著者所属 | ||||||||
| 九州大学情報基盤研究開発センター | ||||||||
| 著者所属 | ||||||||
| 愛媛大学大学院医学系研究科 | ||||||||
| 著者所属 | ||||||||
| 株式会社セック | ||||||||
| 著者所属 | ||||||||
| 株式会社セック | ||||||||
| 著者所属 | ||||||||
| 株式会社セック | ||||||||
| 著者所属 | ||||||||
| 株式会社サイエンス・サービス | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| National Institute of Information and Communications Technology | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| National Institute of Information and Communications Technology | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| National Institute of Information and Communications Technology | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| National Institute of Information and Communications Technology | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Center for Computational Sciences, University of Tsukuba | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Center for Computational Sciences, University of Tsukuba | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Research Institute for Information Technology, Kyushu University | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Department of Medical Informatics Ehime University Graduate School of Medicine | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Systems Engineering Consultants Co., LTD | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Systems Engineering Consultants Co., LTD | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Systems Engineering Consultants Co., LTD | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Science Service Inc. | ||||||||
| 著者名 |
村田, 健史
× 村田, 健史
|
|||||||
| 著者名(英) |
Ken, T.Murata
× Ken, T.Murata
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | NICT サイエンスクラウドは，情報通信研究機構が科学研究目的のために構築したクラウドシステムであり，特にビッグデータサイエンスを主対象の一つとしている．10TB を超えるデータ処理 （例えば大規模可視化） や 100TB を超えるデータ検索 （たとえば特徴検出） などの大規模データ処理は，これからのデータ指向型科学研究では重要である．近年の CPU 処理速度の向上に伴いこれらのデータ処理は処理時間とデータ読み書き （I/O） 時間が同規模となることがある．そのため，レガシーな HPC 型数値計算環境ではなく I/O の高速化がなされているクラウド環境が有効となる．本稿では，NICT サイエンスクラウドにおいて分散ストレージシステム （Gfarm） と Gfarm のためのワークフローシステム （Pwrake） を用いた並列分散処理実験結果について報告する． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | For data intensive science on cloud systems, we need development of techniques for DIC (Data-Intensive Computing) as well as HTC (High-Through-put Computing), MTC (Many-Task Computing), and HPC (High-Performance Computing). The DIC is a new concept of large-scale data processing paying attentions to data distribution, data-parallel execution, and harnessing data locality by scheduling of computations close to the data. As the data file size is getting larger, I/O time to read and/or write data is not negligible compared with data processing time. We herein develop a DIC technique on a science cloud using Gfarm/Pwrak. The Gfarm/Pwrake has been developed as an integrated system of both distributed file system and parallel data processing system. With identifying file system nodes (FSN) and processing client node (CN) and giving higher priority to process files on the local disk than on remote disks, we succeeded in progress of total performance in processing large-scale data files. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10463942 | |||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2013-HPC-139, 号 9, p. 1-6, 発行日 2013-05-22 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
