| Item type |
Symposium(1) |
| 公開日 |
2020-11-06 |
| タイトル |
|
|
タイトル |
複数の入出力サイズを扱う継続的強化学習手法 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
A Continual Reinforcement Learning Method Handling Multiple Input and Output Sizes |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Reinforcement Learning |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Continual Learning |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Catastrophic Forgetting |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_5794 |
|
資源タイプ |
conference paper |
| 著者所属 |
|
|
|
東京大学大学院情報理工学系研究科電子情報学専攻 |
| 著者所属 |
|
|
|
東京大学大学院情報理工学系研究科電子情報学専攻 |
| 著者所属(英) |
|
|
|
en |
|
|
Department of Information and Communication Engineering, Graduate School of Information Science and Technology, The University of Tokyo |
| 著者所属(英) |
|
|
|
en |
|
|
Department of Information and Communication Engineering, Graduate School of Information Science and Technology, The University of Tokyo |
| 著者名 |
川島, 丸生
伊庭, 斉志
|
| 著者名(英) |
Maruki, Kawashima
Hitoshi, Iba
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
多くの機械学習モデルは, 過去のタスクで学習した知識を忘れること無く, 新しいタスクを学習することができない. 継続的学習は, この問題を解決することを目的とした手法で, 1 つのモデルが複数のタスクを逐次的に学習する. 継続的学習の中でも, ゲームやロボットの操作といった強化学習のタスクを扱う継続的強化学習がある. 継続的強化学習手法は入出力を統一するのが一般的であるが, 画像入力と状態入力を一緒に扱うことができないようにタスクの範囲が限られている問題がある. そこで本研究では, 入出力サイズの異なるタスクを扱える継続的強化学習手法を提案する. 提案手法は, 継続的学習手法であるLearn-to-Grow を拡張することにより, 強化学習のアルゴリズムであるDDQN と組み合わせた. 本稿では,OpenAI Gym Atari のいくつかのタスクで提案手法の有効性を検証し, 破滅的忘却を防げていることなどを確認した. |
| 論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Many machine learning models are unable to learn a new task without forgetting the knowledge learned in past tasks. Continual learning is a method aimed at solving this problem, where one model learns multiple tasks sequentially. Continuous reinforcement learning deals with reinforcement learning tasks such as games and robot operations. Although continual reinforcement learning methods generally unify input and output, there is a problem that the scope of the task is limited such that image and state inputs cannot be handled together. In this study, we propose a continuous reinforcement learning method that can handle tasks with different input and output sizes. The proposed method is an extension of a continuous learning method, Learn-to-Grow, and is combined with a reinforcement learning algorithm, DDQN. In this paper, we tested the effectiveness of the proposed method on several tasks of OpenAI Gym Atari and confirmed that the method prevented catastrophic forgetting. |
| 書誌情報 |
ゲームプログラミングワークショップ2020論文集
巻 2020,
p. 161-168,
発行日 2020-11-06
|
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-GPWS2020026.pdf (9.6 MB)
