WEKO3
-
RootNode
アイテム
MapReduceを用いたグラフアプリケーションにおける重複メッセージの排除による高速化
https://ipsj.ixsq.nii.ac.jp/records/92232
https://ipsj.ixsq.nii.ac.jp/records/922322aae76db-819c-4339-bd13-a3a0c9d19f9e
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-SACSIS2013015.pdf (987.7 kB)
|
Copyright (c) 2013 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | Symposium(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2013-05-15 | |||||||
| タイトル | ||||||||
| タイトル | MapReduceを用いたグラフアプリケーションにおける重複メッセージの排除による高速化 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Acceleration for Graph Application in MapReduce with Eliminating Redundant Messages | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | 並列分散処理 | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||
| 資源タイプ | conference paper | |||||||
| 著者所属 | ||||||||
| 大阪大学大学院情報科学研究科 | ||||||||
| 著者所属 | ||||||||
| 大阪大学大学院情報科学研究科 | ||||||||
| 著者所属 | ||||||||
| 大阪大学大学院情報科学研究科 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The Graduate School of Information Science and Technology of Osaka University | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The Graduate School of Information Science and Technology of Osaka University | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| The Graduate School of Information Science and Technology of Osaka University | ||||||||
| 著者名 |
黒松, 信行
置田, 真生
萩原, 兼一
× 黒松, 信行 置田, 真生 萩原, 兼一
|
|||||||
| 著者名(英) |
Nobuyuki, Kuromatsu
Masao, Okita
Kenichi, Hagihara
× Nobuyuki, Kuromatsu Masao, Okita Kenichi, Hagihara
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 本研究は，MapReduceを用いて実装されたメッセージパッシング方式のグラフアプリケーションを対象に，MapReduceのボトルネックであるMapタスクとReduceタスク間の通信を削減する手法を提案する．まず，1つのMapReduceジョブ内におけるメッセージの重複を排除することで，メッセージの数を削減する．さらに，MapReduceジョブの繰り返しにおけるメッセージパターンの重複に着目し，1度目のパターンを保存して再利用することでメッセージ量を削減する．PageRankに対して提案手法を適用した結果，既存の高速化手法であるin-mapper combiningと比べ最大1.57倍の高速化を実現した． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | For MapReduce graph applications based on message passing, this papar proposes a new method to reduce communications between Map tasks and Reduce tasks, which are a bottleneck of a MapReduce job. The proposed method is a combination of the following two techniques. The first technique reduces the number of messages by removing redundant messages in a MapReduce job. The second technique reduces the size of a message by reusing message patterns of the first job in iterative jobs after the second. Experimental results show that the proposed method is up to 1.57 times faster than an existing in-mapper combining method for PageRank apllications with MapReduce. | |||||||
| 書誌情報 |
先進的計算基盤システムシンポジウム論文集 巻 2013, p. 88-95, 発行日 2013-05-15 |
|||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
