主専攻実験
令和２年度 知能情報メディア実験
T－９ ヒューマンセンシング
実験概要
本実験の目的は，顔，手形状，顔向き，ゼスチャー，動作などの人の動きを認識するアルゴリズム・システムの試作を通して，画像認識の基本原理を数理レベルから深く理解することにあります．同春学期に開講する画像認識工学と併せて受講すると，講義で紹介する画像認識における高次元ベクトル空間の基本数理や識別理論に対する理解が，本実験で扱う具体的な課題を通して，より深まることが期待されます．
本実験で使うRealSenseセンサーとは？
インテル社によって開発されたRealSense Depth Camera D415はステレオカメラの1種であり，2つのカメラの撮像結果の差分に基づいて深度結果を推定する深度センサとなっています．長さ99mmというコンパクトさとUSB給電による動作でありながら高い撮像結果の精密さとリアルタイム処理可能な深度推定速度を有しています．
Matlabについて
Matlabは，Mathworks社が開発している数値解析ソフトウェアの名称であり，インタプリタ形式のプログラミング言語の一種です．Matlabの特徴としては，数値線形代数の処理性能，関数とデータの可視化，ユーザーフレンドリなGUI，多様な他言語とのインターフェースが充実していることが挙げられます．さらに，Toolboxが豊富に用意されているので，プログラミングでの実装にあまり精通していない方でも高度な数値解析を実現できます．
進め方の基本方針：
前半：識別対象を顔あるいはポーズに定め，リアルタイムで動作する識別システムを試作してもらいます．RealSense + Matlab を使う．
後半：ゼスチャー，全身動作，歩容（人の歩き方）などを対象とした識別アルゴリズム(深層学習も含む)を自分なりに考え，Matlabを使って実装・性能評価してもらいます．こちらはオフライン処理を想定しています．
前半の成果を中間報告会で発表してもらいます．
後半の成果を最終報告会で発表してもらいます．
全受講者に１台づつRealSenseを貸し出します．
プログラミングが苦手でもＴＡが懇切丁寧に指導するので心配無用です．
ヒューマンセンシングの流れ
手形状を用いたじゃんけんシステムの例で基本的な流れを概説します．
＊学習フェース
手形状クラス（グー，チョキ，パー）毎に以下の処理を行う．
（１）RealSenseを用いて距離画像を手の形状を変化させながら複数枚入力する．
（２）距離情報を用いて，各距離画像からそれぞれの手領域を抽出する．
（３）各距離画像から識別に有効な特徴を抽出する．
（４）複数枚の距離画像から抽出された特徴セットから主成分分析を用いて辞書を作成する．
＊識別フェーズ
（１）識別したい手形状の距離画像を入力する．
（２）距離情報を用いて，手領域を抽出する．
（３）手領域の距離画像から特徴（学習フェーズと同じ）を抽出する．
（４）（３）で抽出された特徴を予め用意されている各手形状クラスの辞書特徴を比較し，類似度を求める．
（５）全クラスの中で最大類似度を有する形状クラスを該当するクラスとする．
（６）識別結果を用いてコンピュータが出したＣＧ手と比較し，勝ち負けを判定する．
レポート
以下の項目を含んだレポートを提出してもらいます．
アルゴリズム（ソースコード）
アルゴリズムの基本アイデアの説明
実験結果
実験結果に対する考察
感想
お知らせ
課題が早く済んだ人は，次の課題をアップするのでＴＡに声をかけてください．
10月07日（水）は１２：１５から説明会を行いますので，３Ｅ２０５（コンピュータビジョン研究室）に集まってください．
11月06日（金）はお休みです．
11月18日（水）は中間報告会です．各自が前半の実験で取り組んだこと等を発表しましょう．詳細はこちら．
12月09日（水）～12月23日（水）は皆さんに成果物の進捗を報告してもらおうと思います．発表順はメールで通知されます．
02月05日（金）は最終報告会です．各自が後半の演習で取り組んだこと等を発表しましょう．詳細はこちら．
02月10日（水）は最終レポート締切日です．詳細はこちら．
実験スケジュール
学校から公開されている実験スケジュールはこちら．
課題・資料
第1回：初回ガイダンス(10月7日) （資料はこちら）
第4,5回：画像処理（資料はこちら）
第9,10回：部分空間法による認識（資料はこちら，サンプルコード，顔データ，部分空間法実装用コード, face_dataのパスワードは[face_recog_09]です）
第12回 : 中間報告会（資料はこちら）
後半第1回 (MATLAB演習)（資料はこちら）
最終報告会（資料はこちら）
参考サイトなど
TA
高松哲哉 （コンピュータサイエンス専攻 博士前期課程２年）
tetsuya_takamatsu AT cvlab.cs.tsukuba.ac.jp
Hao Guoqing （コンピュータサイエンス専攻 博士前期課程２年）
hao_guoqing AT cvlab.cs.tsukuba.ac.jp