ライフログ画像における活動および状況ラベルの付与と分類
山縣 巖（2017年度卒）
近年、ウェアラブル端末の市場が拡大している。ウェアルブル端末とは、多様なセンサーが内蔵してある端末であり、人の身体に装着し、情報を収集する機器である。これらウェアラブル端末を利用し、自身の日常行動のデータ（ライフログ）を、収集、保存、組織化し、個人データのアーカイブを構築する行動を、ライフログ活動と呼ぶ。ウェアラブル端末市場の拡大から、ライフログ活動を行う人口が今後も増加すると考えられる。
ライフログの主なユースケースに、過去の振り返り行動がある。また、五感の中で、視覚情報が振り返り行動に有用であることが先行研究によって示されている。そのため、本研究では、ウェアラブルカメラによって収集されたライフログ画像に着目した。
収集されたライフログ画像を振り返りに活用するためには、日常活動や活動場所（状況） など、ライフロガーのニーズにあったラベルを画像に付与する必要がある。しかし、ライフログ画像における活動や状況など比較的抽象度の高いラベル付与に関する研究は少ない。そこで本研究では、NTCIR-13 のライフログタスクで提供されたデータセットのうち、画像約 19000 枚（ライフロガー2 名、計 3 週間分）に対し、1）ライフロガーのニーズから抽出された、活動に関するラベル群 11 ラベル、状況に関するラベル群 5 ラベルの計 16 ラベルの付与を人手で実施することで、アノテーションの課題を明らかにすること、2）アノテーションを行なった画像データ群を用いて、機械学習による分類精度を測定し、効果的な素性を明らかにすることを主な研究目的とした。
アノテーション作業の結果、Eating food、Drinking drinks、Socialising / casual conversation、Reading a book / paper、Watching(TV)、Walking、Street の 7 ラベルは、他のラベルと比較して、アノテーションの判定基準設定が難いことが分かった。また、分類精度の測定の結果、Other sports/exercise、street 、Travelling の分類は比較的容易である一方、Preparing meals、reading a book/paper は難易度が高いことが分かった。また、素性群の分析から全体的には画像オブジェクト素性が分類に効果的であるものの、センサーデータが有用なラベルや両者を合わせることにより精度が向上するラベルがあることがわかった。
これらの知見は、今後ライフログラベルの自動付与技術の開発において必要となる教師データ構築に役立つと考えられる。今後の課題としては、1）より多くの画像サンプルを用いた分類精度評価や、2）作成したラベル付与ルールの再現性の検証が挙げられる。