| Item type |
SIG Technical Reports(1) |
| 公開日 |
2015-07-28 |
| タイトル |
|
|
タイトル |
すばるHSCデータ処理の性能調査とGfarm/Pwrakeの適用 |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
システムソフトウェア |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
筑波大学計算科学研究センター／独立行政法人科学技術振興機構CREST |
| 著者所属 |
|
|
|
筑波大学システム情報系／筑波大学計算科学研究センター／独立行政法人科学技術振興機構CREST |
| 著者所属 |
|
|
|
筑波大学システム情報系／筑波大学計算科学研究センター／独立行政法人科学技術振興機構CREST |
| 著者所属 |
|
|
|
筑波大学システム情報系／独立行政法人科学技術振興機構CREST |
| 著者所属(英) |
|
|
|
en |
|
|
Center for Computational Sciences, University of Tsukuba / JST CREST |
| 著者所属(英) |
|
|
|
en |
|
|
Faculty of Engineering, Information Systems, University of Tsukuba / Center for Computational Sciences, University of Tsukuba / JST CREST |
| 著者所属(英) |
|
|
|
en |
|
|
Faculty of Engineering, Information Systems, University of Tsukuba / Center for Computational Sciences, University of Tsukuba / JST CREST |
| 著者所属(英) |
|
|
|
en |
|
|
Faculty of Engineering, Information Systems, University of Tsukuba / JST CREST |
| 著者名 |
田中, 昌宏
建部, 修見
川島, 英之
村田, 直郁
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
すばる望遠鏡に搭載された焦点面カメラ Hyper Suprime-Cam (HSC) が出力する大量データの一次処理を行うパイプラインシステムの高速化が本研究の目的である．高速化に向けて，HSC パイプラインの処理内容，および，現状のシステムの問題点を把握するための調査を行った．パイプライン処理をワークフローシステム Pwrake で実行するために，処理フローを Rakefile で記述した．性能調査のため，Gfarm ファイルシステム上で HSC パイプラインを実行した．調査の結果，HSC パイプライン用に開発された並列処理システムを用いると 112 コアで約 40 分かかる処理において，Pwrake により 224 コアの使用が可能になり，処理時間も約 12 分に短縮できることを確認した．また，Gfarm メタデータサーバのバックエンド DB の I/O が処理性能に影響することもわかった． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10463942 |
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC）
巻 2015-HPC-150,
号 36,
p. 1-8,
発行日 2015-07-28
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8841 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-HPC15150036.pdf (813.8 kB)
