世界中どこからでも参加できるスポーツ空間。
「超高臨場メタバース空間」の可能性

数年前、新たな市場として多くの企業や研究者が参画したメタバースはその後、どのような変化を遂げているのでしょうか。NTT人間情報研究所では、様々な世界的なビッグイベントでもメディア処理の専門家として活躍したメンバーが集まり、次世代の「超高臨場メタバース空間」の創造へ向けた技術開発を着々と進めています。
リアルへ近づけるのではなく、リアルを超えた世界を創出した先に、メタバースの本当のムーブメントが到来する。メタバース研究の最前線と未来について、サイバー世界研究プロジェクトで主任研究員としてシステム開発を担当する宮川和と、映像のメディア処理を担当する黒住隆行に聞きました。

---

リアルを超える世界の創造で、再びメタバースの時代が来る

コロナ禍という社会背景も要因となり、数年前から大きな注目を集めることとなったメタバース。多くの研究者や企業が市場に参入したものの、実験や実装での成果が期待に達しなかったのか、今は市場参加者から期待度が下がっている幻滅期に突入しているという声も聞かれるようになりました。これまでのメタバースが市場の期待を超えられなかった要因はどこにあるのか。黒住は、技術的な壁が大きかったと分析します。

「メタバースの中でも映像の領域で言うと、例えばヘッドマウントディスプレイの映像は、実際に人間が見ている景色の一部を切り取り映している、解像度が落ちるなど、これまであくまで現実とは違う仮想世界を見ていることを自覚させてしまう程度の再現度にとどまっていました。ところが、生成AIが出てきたことで、撮影しきれなかった部分も生成、補完して現実と見間違えるような映像を再現できる時代になっています」。（黒住）

生成AIの他にも、高解像度のヘッドマウントディスプレイや、撮影後に好きなところに焦点を合わせて現実にそっくりな環境を再現できるライトフィールドカメラなど、新たなデバイスや関連技術が次々と誕生しているメタバースは、黎明期から一時的な幻滅期を経て、これから本格的な波が起ころうとしている段階だと、黒住は強調します。「現実と見間違えるような世界を再現できる技術が成熟した今、メタバースはリアルに近づけるだけではなく、リアルを超える世界や価値を創造するプロジェクトになっていきます。そこに、ビジネスとしての大きなポテンシャルがあると考えています」。（黒住）

「映像・音響・振動」によって実際のサイクルロードレースの環境を再現

NTT人間情報研究所のサイバー世界研究プロジェクトが超高臨場メタバースの研究で挑んでいるのは、まさにリアルを超えること。その研究概要について、宮川は次のように解説します。

「私たちが目指しているのは、マルチモーダルなメディア処理を組み合わせることで、超高臨場なメタバース空間を構築することです。これまでのプロジェクトで映像のコーデックや伝送に携わっていたメンバーも多かったことから、まずはスポーツを研究開発のフィールドとして設定し、技術開発を進めることにしました。中でも、コロナ禍における健康志向の高まりから自宅でエアロバイクを漕ぐ人が増えたことを背景に、データ取得用の市販デバイスを利用しやすくなったことから、サイクルロードレースを最初のテーマとして取り上げ、『XRスポーツ空間生成技術』の研究開発を進めています」。（宮川）

サイクルロードレースのXR空間を生成するにあたり、プロジェクトチームはまず「映像・音響・振動」におけるメディア処理の基礎技術を開発。宇都宮市、NPO法人ジャパンカップサイクルロードレース協会と共同実験契約を締結し、2023年10月のレースで実証実験を行いました。超高臨場メタバース空間の構築に向け、収録のために用意した実験環境ではなく、実際に行われるレースの本番環境で「映像・音響・振動」のデータを収録し、それを基に研究所のリモート環境においてレース当日の空間を再現することが目的です。収録当日はレース開始の30分前という短時間で全長約2.25キロメートルにわたるコースの「映像・音響・振動」データを取得。さらにレース中には選手に360度カメラを取り付け、ゴール前とコーナー付近にもカメラとマイクを設置し、映像と音響データを収録していきました。

そして、レース会場で収録した「映像・音響・振動」のデータは、それぞれの担当者が開発した技術を駆使して処理を施した上で融合し、レースから1ヶ月後にはレース環境の一部をメタバース空間として再現。NTT R&Dフォーラム2023ではデモ展示を行い多くの反響を呼びました。その後さらに2ヶ月間のブラッシュアップ期間を経て、実際にレースに参加した選手にも体験してもらったところ、「これなら本番の会場を想定した練習や振り返りにも活用できる」と高い評価を得ることができました。

過去の再現から、リアルタイム、未来予測できるメタバースへ

リアルなレース空間に近いメタバース空間の構築を目指すこれまでの実証実験は、過去の再現であるという意味では、プロジェクトにとってまだ初期段階と言えるでしょう。ここからリアルを超えていく、超高臨場メタバース空間へと進化させていくため、これから研究開発はどのように進められていくのか、宮川は今後のプランを語ります。

「次の段階では、現地で行われているレースの空間をリアルタイムでリモート環境に再現したいと思っています。リモート環境で、現地のレース環境とそこに参加する選手をリアルタイムで横に感じながら、本来ならば競技に参加できない人たちが自転車に乗って競争することができる。これは現実では考えられないリアルを超えた体験になります。昨年の実証実験では30分間収録し、1ヶ月かけて空間を再現しました。この時間を1週間、1日、1時間、5分後という風に短くしていくことで、今年度はリアルタイムでの再現を目指していきます。その際に重要なのは、高速大容量で低遅延な通信を支えるネットワークです。光を中心とした革新的技術によって実現したNTTのIOWN（Innovative Optical and Wireless Network）の活用を想定しています」。（宮川）

過去の再現から、リアルタイムへ。プロジェクトではさらにその先、未来の予測までできるメタバース空間の実現を見据えていると黒住は語ります。

「人間情報研究所という部署の名前にもある通り、私たちは空間をつくる時にも人間を取り巻く環境として再現することを目指しています。さらに、それを利用する人に多様な感覚、感情までをも生み出すところまで踏み込んでいくため、サイクルロードレース空間をつくる上でも、“共走感”というキーワードを掲げています。人間情報研究所では、私たちの他に、人間をデジタルツイン化して再現する研究に取り組んでいるチームもあります。この技術を取り入れ、選手をアバターとして忠実に再現できれば、メタバース空間でレースのシミュレーションができるようになります。前回のレースは晴れていたけど、雨の日だったらどんな展開になったのか。あのコーナーでハンドルをこう切ったらどんな展開になったのか。現実の選手の行動や環境を再現するだけなく、デジタルツインを掛け合わせることでアバターを生み出し、『if…』の未来を超高臨場空間の中でシミュレーションできるメタバースを実現していきたいと思っています」。（黒住）

人間の特性を情報化する技術を幅広い分野に役立てたい

昨年同様、今年も10月のジャパンカップサイクルロードレースで、2回目の実証実験を予定しているというプロジェクトチーム。再現するコースを全コースへと拡大し、またメディア処理もアルゴリズムの変更などにより大幅なリファインを施し「映像・音響・振動」の再現精度を向上させていきます。また今後は、マルチモーダルなメディア処理という点で「映像・音響・振動」だけでなく新たな知覚を取り入れ、より臨場感を高めたリッチな体験を再現することにも挑戦していくと言います。そして最終的には、現地のレース環境をリモート空間に再現するにとどまらず、リモート空間で走る選手を現地にも双方向で再現し、遠くにいる選手同士がお互いをすぐそこにいると感じながら競争できる世界を目指しています。そのために、実際に競技をしている選手だからこそわかる感覚をヒアリングすることも重要で、今取り組んでいるサイクルロードレースにおいては、自転車競技の経験もある黒住の視点がヒントとなることも多いそうです。しかし、真の目的はあくまで超高臨場なメタバース空間を構築することであって、その研究開発の過程で磨いた技術をサイクルロードレースに限らず、スポーツ以外の分野も含めて多様な分野で活かしていくことが重要であると、宮川はプロジェクトの意義を語ります。

「これまでにいただいた声から、まず思った以上に自転車レースに興味を持っている方は多いと感じていますので、観客目線での体験などサイクルロードレースでの活用の可能性は探っていきたいと考えています。また構築するシステムとしては、映像や音響など、人間の五感に関わるデータを再現していくものですから、例えば今後は観光業もターゲットとして想定しています。新たなメディアとして匂いのデータを加えることで、ハワイの空港に降りた瞬間に感じる花の匂いを再現し、リモートでリアルにハワイを実感できるサービスなども考えられます。他にも、スポーツサイエンスという分野から、再現した空間に分析という視点を入れて、筋肉のセンシングと連携させることでレースのペース配分の最適化に役立てるのではないかという声もいただいています。

私たちはNTT人間情報研究所として、『感性』『知覚』『身体』『思考』『環境』『行動』という人間の特性を情報化し、通信として伝えることで人々のよりよい生活、人生、ウェルビーイングの向上に貢献していくことを目指しています。超高臨場メタバース空間の構築を目指す研究が私たちの専門ですが、そこで生まれる技術の応用分野は想像できる範囲に収まらないはずです。より多くの方に私たちの研究を知っていただき、人間の五感を再現する技術の活用アイデアを膨らませていければと思っています」。（宮川）