“実験”がビジネスに昇華するとき。
メディアアーティスト真鍋大度氏と考える、IoTの未来

デバイスの進化やデータ利活用ビジネスの加速などから、今後拡大が見込まれているIoTのビジネス活用。一方で、「活用方法がわからない」「ビジネスモデルを構想できない」といった理由から、IoTのビジネス導入に停滞があると指摘される声もあります。

そこで今回は、2016年リオ五輪における閉会式の壮大なAR活用セレモニーやPerfumeの大規模デジタル演出、坂本龍一やBjorkといった世界的なアーティストとのコラボワークなど、センシング技術をはじめとするさまざまな先進テクノロジーの活用で知られるメディアアーティストの真鍋大度氏と、IoTビジネスに精通する未来戦略コンサルタントでOPEN HUB Catalystの藤元健太郎氏による対談を実施。

実験的なアプローチによって、先進デジタル技術とアートを融合させるメディアアートの視点から見たIoTビジネスの課題と解決策、実験から新たな価値を生み出す方法論、IoTにおける今後の可能性について語ってもらいました。

---

5年後の当たり前を可視化する。今メディアアートが注目される理由

藤元健太郎氏（以下、藤元氏）：最近は経済やビジネスの界隈でも、論理的思考のみでは問題解決に至らないような行き詰まり局面を打破する、アートやクリエイティブに根差した感性的なアプローチへの注目度が高くなっていますが、そもそもメディアアートとはどのようなものなのでしょうか？

真鍋大度氏（以下、真鍋氏）：メディアアートは、コンピューターやデジタルテクノロジーにおける先進技術を活用した芸術表現の総称です。現代アートと似た領域もあれば、未来を見据えたプロトタイピングのような取り組みも含まれていて、ジャンルは幅広いのですが、僕が行ってきたのはどちらかというと後者になります。

これまで、美術館やシアターなどで「5年後には当たり前になるかもしれない未来」を形にして、その一端を予見するようなプロジェクトを手がけてきました。「テクノロジーの可能性を探る実験場」というとイメージしやすいかもしれません。

実際、ドローンショーのような新しい表現方法は、最初はオーストリアにある有名なメディアアートの研究所であるArs Electronica Futurelabによるアート作品として実験的に始まり、その後エンターテインメントや商業利用へと発展していきました。

東京五輪の開会式ではIntelによるドローンショーが話題になりましたが、Intelもまた2016年ごろからドローンショーの開発に取り組み、独自のシステムを構築しています。このように、メディアアートの実験的な取り組みが、後に広く社会に普及していく例は数多くあります。

藤元氏：すでに一般化している大規模な商業サービスも、メディアアートにおけるプロトタイピングから始まっていたりするわけですね。

真鍋氏：実は僕らRhizomatiks Research（現：Rhizomatiks）も同様の“実験”を行っていて、2014年に「24 Drone Flight」というメディアアート作品を制作しています。これは、屋内の専用スペースで24台のドローンによる光と動きのパフォーマンスを行った作品でした。当時はドローンの群制御技術がまだ発展途上で、24台という数でも相当チャレンジングな取り組みでしたが、いずれは街の上空でのドローンショーが当たり前になり、数千台、数万台という規模に広がることを想定していました。

藤元氏：そうした先進技術を使ったメディアアートはいつごろから注目されるようになったのですか？

真鍋氏：1960〜70年代前半に、マイロン・クルーガーが人の動きをカメラで解析してリアルタイムでグラフィックに変換する技術を開発しました。特に1974年制作の「Videoplace」は、参加者の動きに反応するインタラクティブな作品として、現代のインタラクティブ映像の先駆けとなりました。

当時は特殊な機器と高度な技術が必要でしたが、SonyのPlayStation 2用「EyeToy」（2003年）を皮切りに、任天堂「Wiiリモコン」（2006年）、MicrosoftのXBOX用「 Kinect」（2010年）と進化し、現在ではiPhoneに搭載されたAR機能「ARKit」やTikTokのエフェクトなど、スマートフォン1台で実現できるようになっており、数十年の時を経て一般化しています。

藤元氏：なるほど。実験的な“楽しさ”を通じて先進技術が社会に普及していくお話を聞いていて、1999年から2020年まで続いていたSETI@homeのプロジェクトのことを思い出しました。多数のPCをオンライン上で連携させて仮想のスーパーコンピューターをつくる、いわゆる分散コンピューティングの研究で、スクリーンセーバーをダウンロードすると自動的に宇宙データの分散解析のメンバーとしてアサインされ、世界中の人たちで地球外知的生命体の探査活動をするというものです。ギミックが面白くて、すごくワクワクさせられたことを覚えています。

そう考えると、アートをつくることと、実験や研究開発というのは、実は線引きがほとんどないのかもしれませんね。真鍋さんは、ビジネスパーソンはメディアアートからどんなことを学べると思われますか？

真鍋氏：例えば、昨年末にOpenAIから、テキストを入力するだけでリアルかつハイクオリティな動画の生成が可能なAI「Sora」が登場してすごく盛り上がっていましたが、そういった仕組み自体はもっと前から存在していました。ただ当時の技術では画像の品質が低く、一般のユーザーが使えるクオリティには程遠いものでした。

それでもメディアアーティストたちは、自分も含め、その段階の技術を作品に活用していました。クオリティが十分に高くなくても、その技術が近い未来で社会実装され、人々がそれにどう反応するかを先読みして、さらに誰がいち早く活用するかという競争にも身を投じながらプロトタイプしていくのです。こうした実験的アプローチを取り入れることで、既存のビジネスに新しい価値を生み出すきっかけになると思いますね。

藤元氏：確かに、新しいビジネスモデルを創出するヒントを探しているビジネスパーソンにはうってつけだと思いますし、次なるブルーオーシャンにいち早く参入するためにも、アンテナを立てておくべきジャンルですね。

真鍋氏：世界には、Ars Electronicaのフェスティバルや、アメリカ・ミネアポリスで開催されるEyeoフェスティバルなど、メディアアートやインタラクションデザインに関する大きな祭典が何十年も前からあって、現場に行くとApple やGoogleのデザイナーが毎年当たり前のように参加しています。また、そうして得た技術や知見などをプロダクトやサービスとしてビジネス化し、社会実装へとつなげるプロセスも徹底されていますよね。

僕は以前から、日本でもこうしたイベントが開催されるようになればいいと思っているのですが、なかなか実現していないこともあり、革新的なビジネスアイデアが生まれにくい環境にあるのかもしれません。

藤元氏：今回はIoTのビジネス導入がテーマですが、技術そのものへの理解を深め可能性を探求することの重要性を踏まえると、積極的な情報収集や新しい市場開拓への意識づけというのは、これからIoTを導入・活用していく企業だけでなく、IoTサービスの提供を通じて新しい未来を提案する企業も協調して取り組んでいくべきテーマでしょうね。

ビジネスモデルまでを見せるために。実験から生まれる新しい価値

藤元氏：ではここからは、「実験的なアプローチから新しい価値を生む」プロセスをもう少し具体的にイメージするために、真鍋さんの手がけてこられたプロジェクトについて詳しく伺っていきたいと思います。

IoTに近しい領域の作品としてすぐに思い浮かぶのは、2021年の東京都現代美術館でのライゾマティクス個展でも展示された「particles」という作品ですね。

レールの上を滑走するボールをトラッキングして照射し、多様なタイミングで発光させてさまざまな光の残像をつくり出すインスタレーション。一見するとボール自体が発光しているように感じられるほど、正確無比なトラッキング技術によってコントロールされている

真鍋氏：これは、2005年にイタリアで開発された「Arduino」というオープンソースハードウェアを用いています。Arduinoは、テクノロジーに疎い人でも簡単に電子工作やプログラミングが楽しめるツールなのですが、実はこれ自体が当初アートプロジェクトのような形で開発をスタートしていて、僕らも面白がってよく使っていました。

それが数年後に世界中で普及して、人の動きを検知して自動で点灯するスマートライトや自動温度制御システム、工場の生産ラインの自動化などに活用されています。

藤元氏：トラッキングでいえば、東京五輪のフェンシング競技で採用された剣先を可視化するトラッキング技術も、よく知られているプロジェクトのひとつですよね。

24台の4Kカメラで死角が生まれないように選手を動画撮影、1フレームごとに切り出した画像からAIが剣先の位置を特定し、その動きをトラッキングする。細くよく曲がるフェンシングの剣は通常の物体よりも検出が難しいため、12人の選手の動きを複数の照明条件で撮影した20万枚以上の静止画から、100万枚以上のCGのデータセットを作成。AIに深層学習させることで、剣先にマーカーをつけずにリアルタイムトラッキング可能な検出精度を実現した

真鍋氏：最初のきっかけは「東京五輪招致の映像をつくってほしい」という依頼でした。スポーツ×テクノロジーで何か面白いことができないかとテーマをもらって。そこで僕から、フェンシングの剣先の軌跡を可視化できたら面白いのでは？と提案したのです。

藤元氏：フェンシングって本当に一瞬で試合が終わってしまうので、ルールや見どころを理解していないと、素人には少し難しいスポーツでもありますよね。

真鍋氏：そうですね。提案内容には、招致委員の太田雄貴さん（日本初のフェンシング銀メダリスト）からも賛同を得ることができました。

最初は、剣先に再帰性反射材のマーカーをつけてARで軌跡を表示するデモを制作しました。そして「7年後の2020年までに機械学習が進化してマーカーレスのトラッキングが可能になる」と予測して、東京五輪での実用化を提案しました。実際の試合での活用を視野に入れた提案だったため、太田さんからも前向きな反応をもらえましたね。

藤元氏：当初のオーダーは招致のためのプレゼン映像で、フィクションとしての映像化にとどめることもできたはずです。それでもCGではなくリアルタイムで動くシステムでのデモにこだわることで、実際の試合に導入するビジョンを掲げて、そこで初めて本当のニーズを引き出せたということですね。

真鍋氏：結果的にはそうなりますね。そこから研究開発が本格化し、2018年ごろにディープラーニングの代表的手法であるCNN（Convolutional Neural Network）を使った物体認識の技術が登場したことで、一気に精度が高くなりました。ただし、20万枚の写真に人力で剣先位置を指定して学習データをつくるなど、地道な作業も必要でした。

藤元氏：IoTビジネスを成功させるための、たくさんのエッセンスが詰まったお話ですね。データ学習においても、苦労をかけてでもリソースを割く重要性が伝わってきます。

何より、少し先の未来を目に見えるようにして、しっかりステークホルダーたちにわかりやすく説明し、理解を得て進行されたというのが素晴らしいと思いました。7年後はこうなっているはずだから……という約束も、決して簡単にできることではないと思うのですが、プロジェクトを進める際に心がけていることなどはあるのでしょうか。

真鍋氏：理想だけを語るのではなく、日ごろから実証実験も行うことですね。プロジェクトによって規模や難易度は違っても、コア技術の実証実験が済んでいれば説得力も出ますし、信用も得やすいですから。

あと、今回の剣先のトラッキングにおいては、以前から担当しているPerfumeのライブ演出で行った、彼女たちの爪にARマーカーをつけてレーザーをトラッキングした経験や、フィギュアスケートのスケーターをハイスピードカメラでトラッキングして、スケートリンクに映像を投影する作品制作の経験などが活きました。オファーをきっかけに、過去事例の思いがけない応用法が生まれることもあります。

藤元氏：なるほど。招致委員側としても、真鍋さんと出会うことでフェンシングの新しい価値を発見することができたわけで、実験や共創がいかに大切か、改めて実感しました。

真鍋氏：予算や開発期間、人的リソースなどは案件によって当然限りはあるわけですが、すると最先端の技術だけで実現するというのは難しくなってくるので、“枯れた技術”といわれるようなローテクやアナログな方法も組み合わせて最善策を探っていきます。

藤元氏：伺っていて思い立ったのですが、それはまさに日本人が得意としているワークスタイルかもしれませんね。要件を汲みながら理想形を探る「擦り合わせ」と、持っている技術や知恵をフル稼働させて要望に応える「つくり込み」が、まさに職人的というか。メディアアートの最前線から、日本企業の伝統的な部分に通ずる話を聞けたのは意外でした。

真鍋氏：どちらも重要ですね。僕はプロジェクトを牽引する立場にありますが、ビジョンを提示できて、さらにテクノロジーによる実現性を示せるリーダーでないと、なかなか勝負できない時代になってきているのかなと思います。

「ヒトのインターネット」時代のビジネスとは。IoT×クリエイティビティーが生む可能性

藤元氏：テーマを未来に向けると、今や誰もがスマートフォンを持ち、Apple Watchを装着し、近い将来にはスマートグラスの普及も見込まれています。IoTは「モノのインターネット」ですが、私たちはすでに体中に驚くほど高性能なセンサーを装備し始めていて、こうした「ヒトのインターネット」におけるデータ利活用が今後の鍵になると考えています。

真鍋さんの2024年の作品「PolyNodes Visualization」でも、人の位置情報データを活用されていますよね。

鑑賞者の位置情報データと展示場所の空間特性データを解析して、リアルタイム生成ソフト「PolyNodes」のパラメータ制御による音響生成を行い、さらにシンセサイザー、ドラム音などを追加した音響を作成しアウトプットを行う。プロジェクション映像もまた、PolyNodes、音響、そしてセンサーデータを用いてリアルタイムで生成される

真鍋氏：そうですね。乱数を用いた数学的なアプローチで音響や映像を生成していますが、位置情報データを生成時のファクターとして取り入れています。

ちなみに、実は今日もスマートグラスをかけているのですが、すごく便利です。例えば、レコード店でヒップホップのサンプリング元を知りたい時に、視覚認識と音声ガイドで元ネタを教えてくれるといったAIアシスト機能なども近い将来実現するでしょう。

藤元氏：少し前だと、頭のジェスチャーを検知したり周囲の音を収集したりできるAirPodsにも驚かされました。ウェアラブルデバイスのポテンシャルはすごいですよね。こうして考えると、非常に高度なデバイスを身に着けるようになったヒトは、新たな利便性を享受する一方で、日々膨大なデータを発信してしまう時代に突入したともいえそうです。

この流れが進めば、Apple Intelligenceは、ヒトから発信されるさまざまなデータをリアルタイムで捕捉・解析し、その場でAIが対応する、という世界を実現できるかもしれない。これは、OpenAIでもまだ到達していない領域です。

真鍋氏：ただ、プライバシーの問題は気になりますね。スマートグラスも撮影時に光る仕組みになっていて、自分の行動データを守りながら他者のプライバシーにも配慮できるような仕組みづくりができるとよいのかなと思います。

藤元氏：そこはまさに、IoT提供事業者に率先して取り組んでもらいたい領域ですね。私は以前から、個⼈の実効的な関与（コントローラビリティー）の下でパーソナルデータの流通・活⽤を効果的に進める仕組みである「情報銀行」推進派なのですが、特にNTT Comのような公共的な側面も担っている企業にはその役割を期待しています。「消費者の個人情報を消費者自身の手に取り戻す」ということももちろん大切ですし、そもそも、すべての情報を個人で管理するのは不可能でしょう。仕組みが整えば、ヒトにまつわるデータの流通はスムーズになり、政策立案などにもより簡便に活かされるのではないかと考えています。

真鍋氏：僕はどんなデータも共有されたくないと思っているタイプなので、たとえ同意の範囲内でデータを信託するにしても、提供される際の匿名性にはしっかりとした安心安全を求めたいですね。

以前、Rhizomatiksで、アーティストの部屋に本人合意のもとでセンサーを設置して日常を可視化するエンターテインメントコンテンツを手がけたことがあり、人のデータがビジネスになっていく流れの一端を実感しました。解析技術はこれからも進化していくわけですから、今は問題がなくても、10年後には思いもよらないデータが他人に渡ってしまうかもしれない。あるいは逆に、「〇時から〇時の自分のデータを販売する」といったデータビジネスなども出てくるかもしれない。そう考えると、制度設計はますます重要になってくると思います。

藤元氏：アーティストの話はちょうど良い例だと思いますが、人間というのはもともと人格が複数あるものだと思っています。先ほどアイデアを述べた情報銀行も、複数の人格ごとに情報を分けて管理・運用することができるようになれば、真鍋さんが指摘されたような問題もおのずと解決していくのではないかと私は思っています。

真鍋氏：場面ごとに情報を開示する人格が選べるイメージでしょうか。確かに、それは理にかなっているかもしれない。

藤元氏：NTT Comは5Gよりも高速化・大容量化を実現できる次世代ICTインフラのIOWNを推進していますし、IoTの進化におけるクリティカルな部分を担っていると思うので、そこも期待したいですね。

また、IoTビジネスの未来を考えていく上では、真鍋さんのようなトップクリエイターが、日本企業の強みといわれる「擦り合わせ」と「つくり込み」的な方法で仕事をされていることを知れたのはうれしかったです。こういう仕事の仕方であれば得意だという人材は企業の中にきっといるはずなので、アートの視点をすぐにビジネスに応用できる人材を育てるのが難しくても、まずはそういう人材を探すことから始めてみるのもよさそうだと思いました。

真鍋氏：先ほど述べた動画生成AI SoraやArduinoの話もそうですが、専門技術がなくてもアイデアを実現できる方法も増えてきています。僕も近ごろは、散歩中ずっとブツブツChatGPTにつぶやきながらプログラムを書いていますが、新しい可能性が広がっているなと感じています。

藤元氏：この流れは、実験的なアプローチによるビジネス着想のきっかけを増やすでしょうし、おのずと新しい価値を創出するIoTビジネスの普及も後押ししていくものになると思います。

センシングデバイスや通信、データ分析、AIなど、さまざまな技術領域が織り重なるIoTビジネスにおいては、技術に触れて理解を深めることがまず重要です。さらにその第一歩から実験や共創が生まれ、新規ビジネスだけでなく時には既存アセットにも新たな価値が見いだされていく。こうしたプロセスそのものに大きな可能性があると、真鍋さんのお話を伺って改めて感じました。本日はありがとうございました。