「あの人、角を曲がった先でどんな格好してるだろう」を推定する技術カーネギーメロン大学が開発 - ITmedia

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米カーネギーメロン大学の研究チームが開発した「Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation」は、障害物で見通せない角を曲がった先にいる人の3次元姿勢を推定する手法だ。

NLOS（Non-line-of-sight ）イメージングと強化学習フレームワークを用いて、障害物で見えない人の3次元姿勢を推定する

　障害物で見えない角を曲がった人を捉えるために、パルスレーザーと飛行時間型（ToF）センサーを用いたNLOS（Non-line-of-sight）イメージングを使用している。

　NLOSイメージングとは、壁などの面にレーザー光を反射させ、物体に当たって帰ってきた光の移動時間を測定した、空間領域と時間の両方を捉えた計測情報（Transient Image）からシーンの3Dジオメトリ（Albedo）を復元する技術である。

　取得した計測情報から、人の動きを3次元で再構築するのがこの手法の目的。しかし、既存のNLOSでは、空間と時間の両方で画像の解像度が制限され、また反射後の光も分散して少なくなるため、人の3次元姿勢を推定のに必要な詳細画像や動きは不足する。

　この問題を解決するために、人の基本構造や運動法則を取り入れた強化学習ベースのフレームワークを使う。ヒューマノイドモデルを用いた物理シミュレーション環境で、NLOSで取得した画像から人の3次元姿勢を推定できる制御ポリシーを訓練し、精度を向上させる。

強化学習ベースのフレームワーク

　訓練したモデルを使用することで、NLOSで取得した画像を入力に用いると、物理法則に従った、人の3次元姿勢の推定を出力できるようになる。実験では、歩き回る、手を上げる、腰をそらす、膝の屈伸、ジャンプなどの基本動作を捉えることに成功した。

（上）障害物で直接見えない曲がった先の人の動き　（下）本手法を用いて3次元姿勢を推定した出力結果

　自動運転車で死角の人物を事前に認識して事故防止に役立てる、家庭用ロボットで家のコーナーでの衝突を回避する、などへの応用が考えられるだろう。

Search