AIでラート競技の跳び乗り動作を分析～演技の完成度を左右する重要なポイントを解明～

＜ポイント＞

• どのような成果を出したのか：ドイツ発祥のスポーツである「ラート（2本の鉄の輪を平行につないだ器具、及びこの器具を使った演技の完成度を競う競技）」で、勝敗の分かれ目になりやすい重要な局面（体操選手がラートに跳び乗り、そこから跳躍を行う直前まで）の一連の動作をAIで解析する手法を確立し、大幅な減点につながる姿勢の特徴を解明した。

• 新規性（何が新しいのか）：従来、選手の足がラートに着いた/離れた瞬間の体勢など技の出来栄えを評価するために必要な場面や情報はラート競技を熟知した人間の審判が経験と感覚で判断していたが、今回開発した手法を用いると、それらを動画のみから自動で取り出せるため、選手は自身の演技を定量的なデータとして把握できるようになった。

• 社会的意義／将来の展望：ラートのみならず様々な演技を採点するスポーツにおいて、成功・失敗時や熟練者・初心者の間で具体的にどの動作が違ったかを可視化できるため（図）、アスリートがエビデンスに基づいた効率の良い練習を行うことができるようになり、さらに指導者の育成にも活用することができる。

図. 提案手法による良い/悪い演技での膝の角度の比較。

＜発表内容＞

① 研究の背景・先行研究における問題点

　ラートは鉄製の大きな輪を2つ平行につけた運動器具を使って選手がアクロバティックな体操を行う採点スポーツで、ヨーロッパで人気があります。ラート競技の中でも跳躍種目では、選手が転がしたラートに華麗に跳び乗り、高さ2メートル以上あるラートの上から跳び降りるダイナミックな演技で観客を魅了します（例えば文献 [1] をご参照ください）。ただし、ラートの技術習得は決して容易ではありません。跳躍種目では助走に相当する第一局面を経ての第二局面で選手は前方に転がっていくラートを手でつかんで跳び乗り、頂上に到達する付近で一度ラートの上に立つ動作を行いますが、足が床から離れてラートに着くまでの間、選手は両腕だけで体重を支える姿勢を保つことが要求され、実力の差が技の完成度として出やすいと言われています。しかし、その出来ばえの違いが具体的に選手のどの動作に表れるのかは明らかになっておらず、採点の内訳も公表されません。そのため、コーチがいない選手はどこから改善したら良いかがわからないまま練習するしかありませんでした。

②研究内容（具体的な手法などの詳細）

　本論文の筆頭著者（北島）は自身も琉球大学体操部に所属し、ラートを競技種目として選びました。しかし、他大学との交流が難しい琉球大学において独学での練習に限界を感じたため、AIを使って自分の演技を分析し、大きく減点されたときとされなかったときで身体のどの部分にどれくらいの違いがあったか定量化する“AIコーチ”なるものを思いつき、これを大学院での研究テーマとしました。指導教員の宮田助教、学生時代に体操競技の経験がある沖縄高専の佐藤准教授らと競技の映像の分析に関する試行錯誤を重ね、ラート跳躍の第二局面に関する動作解析の方法論を確立しました。
　この方法論ではまず、ラートの跳躍演技を収めた動画から出来ばえの採点に必要な場面を二種類のディープラーニングを使って自動抽出します。一つ目はRecurrent All-pairs Field Transforms (RAFT) [2] と呼ばれるオプティカルフロー推定^注1を行います。これを使うと動画に映っている人物が動いている速度を矢印（ベクトル）として表示できます。例えば、足を踏み込んでジャンプする際の速度ベクトルの向きの変化を検出することで、図1のように跳び出す瞬間を自動で捉えられます。二つ目はXMem [3] と呼ばれるビデオオブジェクトセグメンテーション^注2を行います。これを使うと動画に映っている特定の人物の領域を追跡できるため、図2のように選手の足がラートに触れた瞬間を自動切り取りできます。
　上述の方法で第二局面を印象づける場面を収めた画像を自動抽出した後は、OpenPose [4] と呼ばれる姿勢推定^注3を行うディープラーニングを使って、画像に映る人物の肩や腰、膝といった関節の角度を図3のように計算します。これにより、各場面での肘の曲げ具合や膝の伸展度合を数値データとして扱えるようになりました。

図1：提案手法の手順1（RAFTを使って踏み切りの場面を自動抽出した例）。緑色の矢印がRAFTで推定したオプティカルフローで、ジャンプ動作により矢印が全体的に←から↖に変わる直前の1コマを切り取っている。

図2：提案手法の手順2（XMemを使って体操選手の右足がラートに接触した瞬間を自動抽出した例）。薄青色と薄緑色で囲われた領域がXMemでそれぞれ検出した選手の下半身とラートで、赤い点線で両領域が接触していることが確認できる。

図3：提案手法の手順3（OpenPoseを手順1・2で抽出した各場面に適用し、選手の関節角度を自動計算した例）。各画像内の白文字は頭から近い方から順に、首、肩、肘、腰、膝、足首の角度を表している。

　最後に、Random Forests [5] と呼ばれるAIにOpenPoseで取り出した各場面での体操選手の関節情報を入力し、演技の出来ばえに関して審判がつけた減点を予測すると、6点満点のうち平均誤差0.140点と高いテスト精度を実現しました。参考までにラート競技の跳躍と似た種目である体操競技の跳馬では、採点スコアと実際の基準点に0.66の平均偏差があることがわかっているため、本研究で得られた結果は妥当性があると考えられます。さらに予測に貢献した情報、すなわち大幅に減点された演技とされなかった演技で違いがあった動きの特徴を調べると、図4のように「ラート上に滞在した時間が4.9秒以内かつ跳び上がり場面での膝の角度が162.5度より大きかった演技は、減点を0.4未満に抑えられる」といった具体的な傾向が明らかになりました。実際に映像（図5）で見ると、減点が小さかった跳び上がり場面での膝の角度はたしかに162.5度を超えており、ラート競技採点規則 [6] にある「膝がまっすぐ伸びた」理想に近い姿勢だったことが、写真越しでも伝わる技の雄大さの正体だと考察しています。

 図4：提案手法の手順4（Random Forestsで得られた演技の減点と関連する動きの特徴を可視化した例）。この中で減点が最小と最大だった条件をそれぞれ緑色と赤色で表示した。 

図5：提案手法で演技の良し悪しで異なると目された、跳び上がり場面での膝の角度。

③社会的意義・今後の予定

　現在、ラート競技に限らず様々なスポーツや武道で指導者・後継者不足が叫ばれています。本研究で開発した手法は選手が着目したい動作を撮影した動画さえあれば、例えば調子の良し悪しで変化しやすい部分の特定や、理想のフォーム実現には現状だと何がどれくらい足りないかを明確に、しかも自動的に可視化できます。そのため、今後は本手法を他の演技系スポーツに適用することで、選手自身が自分の課題を見つけ、なんとなく行っていた練習をデータに基づく効率良いものへとアップデートできると考えられます。

＜用語解説＞

(注1) オプティカルフロー推定：動画のコマとコマの間でそこに映った人物がどの方向にどれくらい動いたか（カメラ自体が動く場合もあり得るので、厳密には動いて見えたか）矢印（ベクトル）で表示する技術。
(注2) ビデオオブジェクトセグメンテーション：動画の最初の1コマでターゲットとする人物の縁取り（アノテーション）を行うと、以降は自動で対象領域を追従する技術。
(注3) 姿勢推定：動画のみからそこに映る人間の肩や腰などの関節の位置を推定する技術。 

＜参考文献＞

[1] ラートインカレ実行委員会 (2021) 第16回全日本学生ラート競技選手権大会 自由演技の部 (8月29日). https://www.youtube.com/watch?v=R9arBuQ6O8s&t=6543s
[2] Teed, Z., & Deng, J. (2020) RAFT: Recurrent all pairs field transforms for optical flow. Computer Vision – ECCV 2020::402-419.
[3] Cheng, H.K., & Schwing, A.G. (2022) XMem: Long-term video object segmentation with an Atkinson-Shiffrin memory model. Computer Vision – ECCV 2022:  640-658.
[4] Cao. Z., et al. (2019) OpenPose: Realtime multi-person 2D pose estimation using part affinity fields. IEEE Transactions on Pattern Analysis and Machine Intelligence: 43: 172-186.
[5] Breiman, L. (2001) Random forests. Machine Learning 45: 5-32.
[6] International Wheel Gymnastics Federation (2019) IRV Vault Regulations 2019-2020.  https://wheelgymnastics.sport/files/uploads/2019/01/IRV-Vault-Regulations-2019-2020-English-v1_0.pdf

＜論文情報＞

•  論文タイトル: Automatic feature selection for performing Unit 2 of vault in wheel gymnastics   (ラート競技の跳躍種目で第二局面を実施するための特徴自動抽出）

•  雑誌名: PLOS ONE

• 著者名: Eiji Kitajima*, Takashi Sato, Koji Kurata, and Ryota Miyata* (北島 栄司 (琉球大学大学院理工学研究科), 佐藤 尚 (沖縄工業高等専門学校メディア情報工学科), 倉田 耕治 (琉球大学工学部), 宮田 龍太 (琉球大学工学部))

•  DOI番号：https://doi.org/10.1371/journal.pone.0287095

•  アブストラクトURL：https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0287095