WEKO3
-
RootNode
アイテム
隠れマルコフモデルに基づく既存コンテンツ学習による音楽動画自動生成システムの提案
https://ipsj.ixsq.nii.ac.jp/records/82459
https://ipsj.ixsq.nii.ac.jp/records/824592cfad127-c3ec-4081-bb0f-c99a31b18034
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-MUS12095010.pdf (3.1 MB)
|
Copyright (c) 2012 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2012-05-26 | |||||||
| タイトル | ||||||||
| タイトル | 隠れマルコフモデルに基づく既存コンテンツ学習による音楽動画自動生成システムの提案 | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Automatic Music Video Generating System by Learning Existing Contents Based on Hidden Markov Model | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | コンテンツ生成・楽音解析・音響心理 | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 現在，早稲田大学／CREST | ||||||||
| 著者所属 | ||||||||
| 現在，早稲田大学／CREST | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Presently with Waseda Uniersity / CREST | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Presently with Waseda Uniersity / CREST | ||||||||
| 著者名 |
大矢, 隼士
森島, 繁生
× 大矢, 隼士 森島, 繁生
|
|||||||
| 著者名(英) |
Hayato, Ohya
Shigeo, Morishima
× Hayato, Ohya Shigeo, Morishima
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | インターネットの動画共有サイト上に存在するアマチュア制作の音楽動画を再利用することにより，自動的に音楽動画を生成するシステムを提案する．この音楽動画は，既存の音楽にゲームやアニメなどの映像を切り貼りして制作されたものであり，MAD 動画と呼ばれている．本稿では，以前筆者らグループが提案した DanceReProducer の学習手法を，マルコフ連鎖を使うことにより映像の時系列情報を考慮できるように改善し，Forward Viterbi アルゴリズムを用いて動画生成をおこなう．提案システムは，まずインターネット上にアップロードされている MAD 動画を大量に取得し，データベースとする．その後，データベースの動画から音楽特徴量，映像特徴量を抽出し一小節ごとにまとめ，楽曲の構造情報やテンポの推定をおこなう．次に，各特徴量をクラスタリングし，状態変数を音楽特徴量，潜在変数を映像特徴量として，潜在変数のマルコフ連鎖モデルを使用して学習する．動画の生成は，任意の楽曲 （入力楽曲） に対し，学習した同調関係から最も入力楽曲と同調する映像をデータベースから選び出し，切り貼りすることで新しい動画を自動的に生成している． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | We propose automatic music video creating system by reusing music videos that are created by amateur users and existed on the video sharing service. These music videos are created by combining existing music with frames of video games, anime, and so on and are called ”MAD” movie. In this paper, we improved learning method of DanceReProducer that is the system our group proposed previously, by considering time series information of videos by using Markov chain, and we automatically generated MAD movie by using Forward Viterbi algorithm. First, we get a lot of MAD movie from the web and makes database. Next, music feature and video feature are extracted from MAD movies in the database, and gathered per bar. Then, each feature is clustered and learned by Markov model of latent variable as state variable is music feature and latent variable is video feature. At last, movie is automatically generated by selecting video frame, which is most synchronized with input music in the database, and combining input music with video frames. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10438388 | |||||||
| 書誌情報 |
研究報告音楽情報科学（MUS） 巻 2012-MUS-95, 号 10, p. 1-6, 発行日 2012-05-26 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
