日本電信電話（NTT）は、変形物体を少数の画像のみでも高精度に認識・検索する「変形対応アングルフリー物体検索技術」を開発した。

スマートフォンやカメラを通じて、定形の3D物体、軟包装製品、布製品などの不定形な商品を含めた幅広い、高精度な認識ができるため、仕分け業務や在庫管理の効率化を実現する「商品管理」や、レジ打ち業務の省力化を実現する「商品認識」、そして多言語で解説コンテンツを閲覧できる「商品情報提示」などへの展開が期待できると云う（図2）。

図2：物体検索への適用例

従来、定形の3D物体に比べて、軟包装製品、布製品などの不定形の物体では、様々な変形パターンを取ることで画像上の見え方が大きく変わるため、認識精度が低下していた。

認識精度を保つためには、対象物体の変形に応じた画像を参照画像としてデータベースに登録しておく必要があるが、対象物体の変形が任意の場合には、多数の画像が必要で、そのコストも大きくなる。

NTTが今回開発した「変形対応アングルフリー物体検索技術」では、幾何学的拘束を物体全体に適用するのではなく、複数の部分領域ごとに適用。画像特徴の対応関係から正しい対応を正確に特定する「変形対応幾何検証技術」で、物体が変形していても入力画像と参照画像間での正しい対応の特定が可能に。定形の3D物体に加えて、任意の変形が生じる不定形の物体の、高精度な認識・検索を可能とした。

[少数の画像登録のみで変形物体を高精度に認識・検索]

「変形対応アングルフリー物体検索技術」は、NTTのAI技術corevoの一つで、少数の方向からの画像の登録により3D物体を認識・検索可能な「アングルフリー物体検索技術（※1）」を元に実現（図3）。

図3：変形対応アングルフリー物体検索技術の概要

これまでの「アングルフリー物体検索技術」では、物体が定形であることを前提に、射影幾何学から導かれる同一物体上での拘束条件を用いていたため、変形物体では認識精度が低下していた。

一方、市中の学習ベースの方法では、不定形の物体を対象とする場合、その変形パターンは無数に存在するため、様々な変形を観測した多数の参照画像が必要だった。

そこでNTTは今回、幾何学的拘束を物体全体に適用するのではなく、複数の部分領域ごとに適用し、画像特徴の対応関係から正しい対応を正確に特定する「変形対応幾何検証技術」を開発（図4）。

図4：変形対応幾何検証の効果例

この技術では、入力画像と参照画像間の画像特徴による対応付け結果から、複数の対応関係間の距離・回転角度等の幾何学的特徴を使ってクラスタリングし、物体が変形していても正しい対応を特定（図5）。拡張した「変形対応アングルフリー物体検索技術」により、変形のパターンが任意の場合でも、少数の画像登録での高精度な認識・検索を実現したと云う。

NTTは今後、同技術の実用化を進め、様々なパートナーとのコラボレーションを通じ、デジタルトランスフォーメーションの実現を目指していくとしている。

なお、本技術を用いた商品認識への応用例について、11月29日から30日に開催される「NTTR&Dフォーラム2018（秋）」で、紹介される。

※1：「3次元物体をどんな方向から撮影しても高精度に認識・検索し、関連情報を提示する「アングルフリー物体検索技術」を開発（http://www.ntt.co.jp/news2015/1502/150216a.html）。

[問い合わせ先]

日本電信電話株式会社 サービスイノベーション総合研究所 企画部広報担当
メール：randd@lab.ntt.co.jp
電話：046-859-2032

■NTT R&Dフォーラム2018（秋）：https://labevent.ecl.ntt.co.jp/forum2018a/info/index.html