マンガ形式動画要約技術

スマートフォンの普及などにより、ビデオカメラ以外の機器でも動画を撮影する機会が増えてきており、大量の動画が蓄積されるようになっています。こうした大量の動画ファイルの中から、ある特定の動画シーンを素早く見つけることは容易ではありません。そこで、米国カリフォルニア・シリコンバレーにあるFXパロアルトラボラトリー(FX Palo Alto Laboratory, Inc.)では、ひとつの動画ファイルの内容をキーフレームの一覧で表示するとともに、重要度に応じてキーフレームのサイズを変える、マンガ形式動画要約技術を開発しました。

図1:キーフレーム一覧表示作成フロー

まず動画を内容に応じてセグメントに分け、それぞれのセグメントの長さと画像特徴に基づき各セグメントの重要度と定義してその値を算出します。次に重要度の大きさに応じて一覧表示させるセグメントを選定し、さらに選定したセグメントから内容を代表するキーフレームを抽出し、重要度に応じたサイズにします。最後に抽出されたキーフレームを時系列に並べ、表示スペースに合わせて全体のサイズを調整し、一覧表示させます(図1)。このように、ひとつの動画ファイルを重要度に応じてキーフレームのサイズを変え、めりはりのあるキーフレームの一覧表示として見ることができるため、特定のシーンを簡単に探すことが可能となるとともに、あるキーフレームを選択してその場面から再生することも可能となります。

関連情報

事例紹介