2013.08.04 16:14 | EDIT
行動理解の研究において,"Dense Trajectories"という技術が注目されようとしています.

H. Wang, A. Klaser, C. Schmid, "Dense Trajectories and Motion Boundary Descriptors for Action Recognition", International Journal of Computer Vision (IJCV), 103, pp.60-79, 2013.

Dense Trajectoriesはフランスの研究所・INIRIAにて研究開発された技術で,OpenCVやC++ Boostを使った.ソースコードも配布されています.

INRIAというと,Space-Time Interest Points(STIP)やHollywood2データセットが(Ivan Laptevさんによって)公開されているくらい,人の行動理解研究に強い研究所です.

最近参加した学会MVA2013でもINRIAの研究者がDense Trajectoriesを適用していることからも,実際に精度が良いと思われます.

Dense Trajectoriesについての基本として,

0. 入力した画像をピラミッド分割する
1. ピラミッド画像それぞれについて,Farneback Optical Flowを計算
2. 時系列での特徴点追跡
3. 軌跡上で局所特徴量HOG, HOF, MBHを計算
HOG: Histograms of Oriented Gradients
HOF: Histograms of Optical Flow
MBH: Motion Boundary Histogram
(4. Bag-of-wordsで特徴表現)
といった手順となります.

特徴点を追跡して,その周りから特徴量を取得できるので同じ位置の微小な動作も捉えられるとのこと.また,追跡した軌跡自体も特徴量として加えています.MBHはx方向,y方向それぞれにモーションを取得していて,かなり精度が良かったという実験結果があります[Wang, IJCV2013].

下は実際にソースコードを試した結果です.

walk.pngwalkdt.png

図では特徴点が追跡されている様子が確認できます.
この特徴点周りで特徴量を取得するので,高精度な識別が実現できます.

[参考]
H. Wang, A. Klaser, C. Schmid, "Dense Trajectories and Motion Boundary Descriptors for Action Recognition", International Journal of Computer Vision (IJCV), 103, pp.60-79, 2013.

Dense Trajectories Video Description

Dense Trajectories sample code (OpenCV-2.4.2 and ffmpeg-0.11.1)

スポンサーサイト
コメント:
コメント:を投稿する

トラックバック: