Embedded Media Markers

毎日の生活やビジネスの中で、さまざまな形式の紙文書が活用されています。近年、紙文書にQRコードなどのマークを付加し、そのマークを抽出することにより、関連情報やサービスを提供するケースが多く見受けられます。しかし、QRコードなどのマークを付加するためには、予めマークを入力した原稿を作成する必要があり、既存の原稿に後からマークを付加することはスペースの問題やデザイン性を損なうなどの課題があり、容易には実現できませんでした。そこで、富士ゼロックスでは、類以画像検索技術を用い、文書の内容やレイアウトに干渉することなく原稿完成後に追加できる半透明なマーカーEmbedded Media Markersを開発しました。

Embedded Media Markersは、電子コンテンツのリンクの存在およびそのリンク先を示す半透明なマーカーです。チラシなどの紙文書上のEmbedded Media Markersを携帯電話のカメラで撮影するだけで、リンクされた電子コンテンツを携帯電話の画面に表示させることができます。これは、Embedded Media Markersが印字された部分の画像特徴を抽出、照合し、その結果に紐付けられた電子コンテンツを取り出すことで実現しています。
Embedded Media Markers作成フローを図1に示します。まず、独自の編集ツールを使い、原稿の中で情報を埋め込みたい場所と紐付けしたい電子コンテンツ(動画・静止画・デキストなど)を指定します。編集ツールが画像特徴を十分に把握できるようにマーカーの大きさや位置をチェックし、電子コンテンツが埋め込まれた場所を示す半透明なマーカーを原稿上に作成します。マーカーで囲まれた部分の画像データとそこに紐付けする電子コンテンツがセットでサーバーに送信され、マーカー内の画像の特徴を示すデータと電子コンテンツがデータベースに登録されます。印刷された紙文書にも同様に紐付けされた電子コンテンツが埋め込まれた場所を示す半透明なマーカーが表示されます。これにより既存のチラシやカタログにも、関連情報のリンク付けが可能になります。

図1:Embedded Media Markers作成イメージ

スマートフォンでの利用イメージを図2に示します。スマートフォンでマーカー部分を撮影すると、マーカー内の画像の特徴を示す値 (特徴量) が計算されます。特徴量をもとに、サーバーのデータベースから文書に紐付いた電子コンテンツが特定されスマートフォンに送信されます。

図2:スマートフォン利用イメージ

送信される電子コンテンツを正確に特定するためには、スマートフォンでの撮影条件(撮影範囲、回転、傾き、部分的な隠れ、ぼやけなど)に対して頑強な特徴量を効率よく計算する必要があります。このためEmbedded Media Markersでは、画像から複数の特徴点を決定してそれぞれに局所的に特徴量を割り当てるという、局所特徴量ベースの手法を利用しています。まず、既存のいくつかの局所特徴量ベースの手法と同様に、ガウス導関数のスケール空間での輝度の極値をもとに特徴点注1を決定します。そして、この特徴点が検出されたスケールよりも上位のスケールから、ある規則に基づいて4つのポイントを選択し(図3-A)、もとの特徴点と合わせて計5つのポイントで各々8次元勾配情報を計算します(図3-B)。このようにして得られた5つの8次元勾配情報を組み合わせて40次元のベクトルを生成し、それを特徴点に対する局所特徴量とします(図3-C)。画像上の各特徴点について計算された局所特徴量の集合を画像の特徴量とします。
このようにしてあらかじめマーカー内の画像から抽出された特徴量と電子コンテンツの組をサーバーに登録しておき、スマートフォンで撮影されたマーカーの画像から同様に抽出された特徴量と照合することで、そのマーカーに関連付けられた電子コンテンツを特定することができます。

図3:局所特徴量算出の概念イメージ

本技術は「SkyDesk Media Switch」で利用されています。

  • 注1 コーナーや境界をはじめとした、有意義に輝度が変化する点のこと
  • 注記 Rコードは株式会社 デンソーウェーブの登録商標です。