| Item type |
SIG Technical Reports(1) |
| 公開日 |
2015-05-19 |
| タイトル |
|
|
タイトル |
Sparkの可用性向上に向けたインメモリKVSによるデータ管理代替方法の提案 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
Proposal of Data Management Method using In-Memory KVS for Availability Improvement of Spark |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
分散システムとコンパイラ技術 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
(株)日立製作所 |
| 著者所属 |
|
|
|
(株)日立製作所 |
| 著者所属 |
|
|
|
(株)日立製作所 |
| 著者所属 |
|
|
|
Hitachi America Ltd. |
| 著者所属(英) |
|
|
|
en |
|
|
Hitachi Ltd. |
| 著者所属(英) |
|
|
|
en |
|
|
Hitachi Ltd. |
| 著者所属(英) |
|
|
|
en |
|
|
Hitachi Ltd. |
| 著者所属(英) |
|
|
|
en |
|
|
Hitachi America Ltd. |
| 著者名 |
愛甲, 和秀
木下, 雅文
小島, 剛
畑﨑, 恵介
|
| 著者名(英) |
Kazuhide, Aikoh
Masafumi, Kinoshita
Go, Kojima
Keisuke, Hatasaki
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
昨今，注目度が高まっている並列処理システム Spark の障害復旧処理モデルでは，データ量やタスク処理時間に連動してダウンタイムが長くなる，可用性劣化が問題となる場合がある．本研究では，Spark の可用性劣化の原因となるデータ復旧処理時間を短縮するため，Spark のメモリ上のデータ管理をインメモリ KVS で代替する方法を提案する．本方法は，データ書き込み時のノード間でのインメモリデータ複製処理と，障害時のノード内のインメモリ KVS のデータ配置情報と Spark のデータ配置情報の同期処理により，上記復旧処理時間を短縮する．その結果，従来法では障害復旧時間が数分かかる場合においても，提案技術を適用することによりダウンタイムを常に5秒以内に維持できるとの評価結果を得た．以上の結果から，提案方法が Spark のダウンタイムが増加する可用性問題の解決に有効であることが明らかになった． |
| 論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
In recent years, real-time big-data analysis of social infrastructure is anticipated. In this area, parallel analysis platform is effective to increase the performance. However, the mainstream parallel analysis platform like Spark has a problem of availability. This paper proposes the novel data management method for availability improvement of Spark. To reduce the downtime of Spark, a spark in-memory data protection method is developed which consists of auto failover function and of data location synchronization function using highly available In-Memory KVS. Existing method takes several minutes, but the method proposed in this paper only require at most 5 seconds of downtime. As a result of the evaluation, this method is effective for the availability problem of Spark. |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10096105 |
| 書誌情報 |
研究報告システム・アーキテクチャ（ARC）
巻 2015-ARC-215,
号 5,
p. 1-7,
発行日 2015-05-19
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8574 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-ARC15215005 (750.2 kB)
