スイング動画の
画像領域と位置推定
あとで読む保存した記事へ →
まず答え
人物の切り抜きは「画像のどの画素が人物か」という領域の推定です。関節位置の推定は「肩や肘などがどこにあるか」という点の推定です。領域が分かっても、関節やクラブの位置まで自動的に分かるわけではありません。
詳しい解説
スイング動画で人物の背景を消す処理と、身体に点を付ける処理は、求めている答えが違います。
画像の領域分割は、画素ごとに人物や背景などのカテゴリーを割り当てる処理です。GoogleのMediaPipe Image Segmenterでも、人物と背景を分けるモデルや、髪、肌、服などを分けるモデルが紹介されています。出力はカテゴリーを示す画像や、そのカテゴリーに属する確信度を示す画像です。
一方、姿勢推定は肩、肘、腰などに対応する点の位置を求めます。人物全体の輪郭を得ることと、輪郭の中の身体位置を推定することは同じではありません。背景をきれいに消せても、正しい関節角度を測れたことにはなりません。
また、領域分割で何を分けられるかは、そのモデルが対応しているカテゴリーによります。人物を分けるモデルを使っただけで、ゴルフクラブや小さなボールも別々に識別できるとは限りません。ゴルフ解析では、人物、クラブ、ボールをどの処理で扱うのかを分けて確認します。