五輪観戦が変わる 目の前でリアル対戦 NTTの「Kirari!」






 東京五輪・パラリンピックでは競技会場から遠く離れた別の場所でも目の前に選手がいるかのような観戦が可能になる。NTTの映像通信技術「Kirari(キラリ)!」は現実空間に3次元(3D)の映像や文字情報を重ねて表示する「拡張現実(AR)」技術を応用。人工知能(AI)が2D映像を3Dに瞬時に変換し、特殊なスクリーンに立体映像を映し出す。

 空間そのものを別の場所に移送するという構想がスタートだった。バトミントンやテニス、卓球など激しいラリーの応酬が見所の競技で使えば、コートの奥行きなども表現できる。

 2D映像を3Dに転換し、空間を再現するには音と映像の処理技術のほか、もとの画像からいかに正確に立体映像にする被写体を抽出できるかが大きなカギを握る。AIが被写体の動きを分析し、周囲の風景と区別して切り出す。例えば、鳥や犬、人間など、さまざまな動物やモノの動きを事前に学習し、リアルタイムで被写体を切り出して立体のホログラム映像に変換する。

 スポーツ分野での活用に先立ち、娯楽分野で実用化され、28年に歌舞伎に取り入れられた。

 自分と同じ動きをするコピーをリアルタイムで表示する「分身」や分身した映像の見た目だけを変える「変身」など演出も年々進化を続けてきた。

 令和元年8月には、京都市の南座で行われた「八月南座超歌舞伎」で約1カ月間の長期公演を乗り切った。公演では、AIが主役を務めた中村獅童さんや敵役の澤村國矢さんの動きや衣装から、それぞれの動きの“らしさ”を判別するまでに進化しているという。



Source link