アンドロイドは音楽の夢を見せてくれるのか？
芸術とAIの幸福な関係を示唆するアーティストの視点
ー 渋谷慶一郎

連載シリーズ「Creator's Voice」では、さまざまなジャンルの有識者を招き、よりよい社会の在り方について探求していきます。第9回となる今回のゲストは、AIとの共創によって作詞、作曲を行い、国内外で話題を呼ぶ公演「アンドロイドオペラ」をプロデュースしている音楽家の渋谷慶一郎氏。
AIと音楽、アーティストと企業の幸福な関係性とはいかなるものか。指揮者、作曲家としての音楽活動も行う、NTTコミュニケーションズ（以下、NTT Com）の谷川晃を聞き手に、お話を伺いました。

---

歌うアンドロイド、僧侶、子どもたちと、
オーケストラ＆ピアノ演奏の壮大なセッション

谷川晃（以下、谷川）：渋谷さんがプロデュース、作曲されたアンドロイド・オペラ「MIRROR」の東京公演を先日、生で体感しました。ステージ中央で歌うアンドロイドの「オルタ4」、高野山真言宗の4名の僧侶とのセッション、そして、視覚や聴覚に障害のある子どもたちによる「ホワイトハンドコーラスNIPPPON」、そして、渋谷さんのピアノ演奏と、総勢40名のオーケストラが素晴らしかったです。AIを駆使して作られたという歌詞もスクリーンに映し出され、胸に突き刺さりました。私にとってこれまで感じたことのない音楽の体験だったのですが、オーディエンスの反応なども含めて、渋谷さんご自身は今、どのように今回の「アンドロイドオペラ」を振り返りますか？

渋谷慶一郎氏（以下、渋谷氏）：コンサートの次の日、僕は大抵、機嫌が悪くなりがちなのです。あれがダメだった、これはこうした方が良かったと、マイナスに感じた部分がどうしても気になってしまう。だけど今回は珍しく機嫌がいい（笑）。ホワイトハンドコーラスや声明（しょうみょう／お経に旋律をつけて唱える声楽曲）とのコラボレーションも上手くいったし、オーケストラのクオリティも非常に高く、オーディエンスの反応、そして自分自身の作曲や演奏などがうまくいったという満足感、手応えがあったからだと思います。

谷川：これまでにない満足感ですか？

渋谷氏：このプロジェクトに関してはそう言っていいかもしれません。僕は、コンサートそのものをプロジェクトとして立ち上げ、コンセプトをつくり、音響や照明をどうするかといったプロデューサーとしての役割から、作曲やオーケストラのアンサンブルをどうするかとか、もちろん自分自身のピアノ演奏など、音楽的な部分もすべてを担っています。なので、コンサートを成立させるための要素がとてもたくさんあって、一回で成功するのはなかなか難しい。2021年にドバイ公演、23年にはパリ公演、そして24年の東京公演と毎回、アップデートしていくんです。いろいろな反省がある中でアップデートしてきた成果が今回の東京公演でした。

あと、東京が一回きりの公演だったということも大きかったかもしれない。僕自身もそうですし、演奏家、アンドロイドのプログラマー、その他すべてのスタッフの集中力が非常に高かった。だからこの公演を見なかった人は本当に損をしたと思います（笑）。

作詞において、
人間とAI、どちらが優位という発想はない

谷川：普段、新しいサービスを企画している私の立場から見ると、カスタマーサクセスのストーリーづくりやサービス開発の仕様では伝えるための言葉が重要になってきます。そこで、最も興味があるのは渋谷さんがAIを駆使して手掛けたという作詞の部分です。どのようなプロセスで詞ができあがっていったのでしょう？

渋谷氏：いろいろな方法があるんですが、ひとつはChatGPT4を使った作詞です。まず、曲のテーマを決めてそれに合う声明はありますか？と僧侶のリーダーにお尋ねすると、「テーマをこう解釈すると、このような声明があります」と教えてくれるんですね。で、その声明のテキストをいただいて英訳した上でChatGPTに学習させるんです。その上で、「この声明に被せる歌詞を作ってほしい」「ステージには僧侶がいる」「コンサートは終盤でクライマックス」といった複数の要素をインプットするんです。結果として1200年前に書かれた仏教音楽のテキストを元にした、アンドロイドの歌う歌詞が出来上がる、といった流れです。

谷川：一度で渋谷さんの納得いく歌詞ができあがるのでしょうか？

渋谷氏：いえ、ここからまだやりとりが続きますね。僕がもうちょっとここをこう変えたいと伝えると、ChatGPTは、例えば「ですよね！僕もそう思ってました」とか言いながら次の歌詞が10秒くらいで出てくる（笑）。そういうやりとりを続けていって完成に至ります。ChatGPTに任せっきりでもなければ、僕の指示がすべてでもない。一緒に構築していく感覚ですね。

谷川：なんだか人間味がありますね。

渋谷氏：ChatGPTは非常にコミュニケーティブだと思います（笑）。ただ、こちらからインプットする際に、問いの出し方を変えてみるとか、前回とは異なる視点で注文するとか、工夫をしないと良い歌詞にはなっていきません。だけど、これは人間と同じですよね。同じような注文を繰り返していてもいい結果にはならない。 

谷川：人間の作詞家と比較した印象はいかがですか？

渋谷氏：ChatGPTは2から使用していて、その頃は現代詩のような断片的な感じものしか出来なくて、あれはあれで良かったんですけど、3を経て現在のChatGPT4では劇的に進化して、AIがさまざまな状況を鑑みてつくることができるようになったなと感じています。しかも、15秒でクオリティの高い歌詞がつくれてしまうことを考えると、ChatGPTのメリットは多いですね。とはいえ、人間の作詞家よりAIの方が優位だという発想は僕の中にはありません。別物だから面白いのです。

「人間ではないものが中心にいる芸術」により、波紋を起こしたい

谷川：振り返れば、渋谷さんは2012年に人間不在のボーカロイドオペラを制作し、2015年にはパリで人型アンドロイドとの共演によるコンサートを開催しましたね。そもそも、どのような経緯で音楽、ロボット、ショーを融合させようと思ったのですか？

渋谷氏：まず、アンドロイドオペラの構想時に考えていたのは、未来には進化したAIが十分に機能していて、その入れ物として人型のアンドロイドも普及しているだろうということ。ただ、現実はそれほどスムーズではありませんでした。

まず、工学はドラスティックな進化が難しいジャンルですよね。アンドロイドにしても先日のコンサートのような動きを10年前は実現できなかったわけです。それに比べると昨今のAIとそれを取り巻く状況の変化は著しくて、AI側からアンドロイドへの関心が高まっている。今でこそ一般の人々がAIを使うようになって、アンドロイドオペラというものがリアリティを持って受け止められるようになりましたが、10年近く前に始めたときは「あいつ、変なこと始めたな」という反応もあったと思います（笑）。でも、AIの入れ物としてのアンドロイドという現状は予見していたので、そのシナリオでプロジェクトを進めていたら時代が追いついたという感じです。 

2023年、パリ・シャトレ座での公演の様子

谷川：そのような試みの原動力は一体どのようなものでしょう？音楽家として新しい領域に踏み込まなければならないというある種の義務感、あるいは、音楽やコンサートのあり方を変えていこうという挑戦でしょうか？

渋谷氏：音楽家としてやらなければならないという義務感はまったくないんです。ただ僕の場合、活動の場は日本だけではないので、西洋人が思い付かないことをやったほうが有効なんです。かといって安直なオリエンタリズムでもなく、単に最先端のテクノロジーを！というだけだとエンタメにしかならない。エンタメの領域は混雑しているし、ちょっと僕のやりたいことが収まらない。どんなコンセプトがこの時代に有効か、それをどう音楽で形にするか、コネクトするかを考えるのが面白い。そう考えた時、“人間ではないものが中心にいる音楽”は意外に存在してないなと思ったのです。アンドロイドオペラは人間のためのものでもないし、その中心には人間もいない。そもそも西洋では、芸術とは人間のために人間が行うものと捉えられているでしょう。だからアンドロイドオペラが内包するコンセプトはポップミュージックを含めた西洋音楽の文脈ではとても違和感があるし、それこそ実現する意味があるなと思ったんです。

谷川：なるほど、よく理解できました。ところで今、お話の中で「人間のためではない」というフレーズがありましたが、その本意がとても気になりますね。

渋谷氏：人を喜ばせようと思ってやったことは、人が喜ばなかった時に悲惨ですよね（笑）。僕には人を喜ばせたいというモチベーションがそんなに、ないのです。世の中の気分や流れは見ますけど、それは「喜んでほしい」とか「楽しんでほしい」という欲求ではありませんね。こういうことが可能なのだということを提示すると、ショックというか、波紋が広がるだろうと。そこに興味がある。要は「問い」になるようなことをしたいんです、答えではなくて。

谷川：確かに私自身、ショックを受けました。アンドロイドから「この世界がもう終わってしまう」と断言するようなメッセージを受け取って、どう感じ取ればいいのだろうと戸惑いもしました。

渋谷氏：でも、それを伝えているのは僕ではなくて、ChatGPTなのです。言い換えれば、未知の場所から飛んできたメッセージが受け手に刺さった時、どう解釈してどう対処するかというのは最近可能になった新たな問題設定です。

谷川：大人気のロックバンドがヒット曲を演奏しても、そのようなショックは受けませんね。

渋谷氏：エンタメとしての音楽においては、予定調和の中で誰かが歌ってオーディエンスが喜ぶという状況になりがちで、僕はそこに辟易しています。

今、表現において
AIを使わない方が不自然だと思う

谷川：歌詞で言えば、「世界は終わるけれども、その先の世界はまた美しい」といったメッセージも興味深かったです。絶望とは異なる不思議な感覚を覚えました。

渋谷氏：10年以上前、「THE END」という死や世界の終わりをテーマにしたオペラをつくりました。でも、その頃は世界の終わりを見ることは絶対ないだろうと思っていました。でも10年経った今、世界は離婚寸前の夫婦のような状態になっているじゃないですか（笑）。毎日、どこかで爆発が起きていたり、戦争が活発化していったり。この状況を見て、100年後の世界が安泰だとは誰も思えないですよね。だから終わりがくるというメッセージは全然、誇張ではなくなった。逆に、終わりを止めようとか状況を良くしようというメッセージの方が、僕は空虚に感じます。終わりに向かう過程や、終わったあとの世界の美しさを考えたりシミュレートする方がリアルだと思うのです。人間はもうおらず、アンドロイドや、祈る僧侶といった存在しかいない情景。終わりのあとの、今までと違う世界を夢想して色々やるほうが、現状の過ごし方としては有意義な気もします。

谷川：AIとアンドロイドの実演によってそのような示唆が生まれたということが、やっぱり面白いし、新鮮ですね。歌詞だけではなく、アンドロイドのヴォーカルが発する声も刺激的で、世界観をつくり出していましたよね。聴いたことのない音質、未体験の感覚を得た気がしています。

渋谷氏：6種類ほど重なっているのです、声が。その6つのうち最も目立たないパートにだけリバーブ（残響音や反射音を加えること）をかけるとか、非常に細かいことを行っています。聴いていてそのリバーブには気づかないかもしれませんが、全体としては人間のボーカルにはできない、ある種の雑な感じが生まれてくるのが面白い。こういう作業はAIではなく僕自身がやっています。

谷川：AIに考えさせるだけでもなく、渋谷さんが指示するだけでもない。その結果、新しい感覚の音の世界が生まれるわけですね。

渋谷氏：今はAIを使わない方が不自然だと思うのです。でも、音楽とAIの現状の関係の大方は、ロック風とかジャズ風の音楽をオートマティックかつスピーディーに作るというレベル。何かを簡単につくるためのテクノロジーに僕は興味がなくて、人間だけではつくれない音楽をつくるためにAIを使うほうが面白い。それはひょっとすると複雑すぎて人間には感知できないものかもしれないけれど、それを作曲家である僕が整形していく。こうした協力関係こそが面白いと感じています。

人間には感知できない
未知のグルーヴを求めて

谷川：今後は、作曲の領域にもどんどんAIを利用していくお考えですか？

渋谷氏：そうですね。今回の公演の一曲目に序曲としてプロトタイプ的に発表しました。AIへの指示としては、オーケストラのすべてのパートの音の関係が究極にランダムになるようにと。そうすると、自分で書いたとしたら3ヶ月位かかるような音符の羅列が一瞬で生成されるんです。それを調整、編集することで作曲としてみました。

谷川：不思議な旋律はそのようにできあがっていったのですね。私自身も作曲や編曲を行うのでとても興味深いプロセスです。

渋谷氏：例えば、AIが作った曲の一部分を切り取って一小節だけ反復させると、グルーヴはしているけれども各パートが複雑すぎて、どんな音が繰り返しているのか、グルーヴして気持ちいいのかを人間は把握できない。
実は、この面白さは現代アートだと割と普通に受け入れられていて、ゲルハルト・リヒター（ドイツの現代美術家）のアブストラクト・ペインティング（離れて見る時と、近づいて見る時で、色の見え方や風合いが大きく変化するリヒターの抽象画シリーズ）は良い例ですよね。一見するとストライプに見えるのですが、スキャンした画像をデジタル上で操作、配置していて、横線、縦線、反転、水平といったいくつもの要素が絵に凝縮されている。
美術館でこの作品を見ていると、その情報量に対して視覚と脳が追いつかず、静止している絵画のはずなのに揺れているように見える。僕は音楽でこうしたことをやりたいと以前から考えていました。この曲は確かにグルーヴしているのだけど、どんな楽器がどんな音符に沿って音を鳴らしているか分からない。そして、そういうマッシヴデータのような音の群を作るにはAIが有効だと思ったんです。

谷川：AIが単独でつくったわけではなく、完全な共同作業ですね。

渋谷氏：やってみて「そりゃそうだよな」と思ったのは、いくらAIを使っても12音すべてを使って音群を生成すると、シェーンベルクとかストラビンスキーみたいになっちゃうんです。だからやっぱり音階を自分で設定するとか、それをどう組み合わせるかというのは僕自身でやるべきことがあるなあと思いました。

テクノロジーの進化を見据えると、僕は現在50歳過ぎなので、まあ死ぬくらいまでは作曲家という職業があるだろうという感覚を持っています。だから作曲家としては最後の世代として、AIを使ってなるべく極端なものをつくりたい。AIの使い方としては極めて一般的じゃない使い方をしていきたいですね。

企業とアーティストが共に創意工夫することで
互いのプレゼンスが上がっていく

谷川：渋谷さんの公演を体感して思ったのは、テクノロジーの開発や推進を進める企業人である我々は、アーティストや芸術とどんなコラボレーションができるのだろう、ということ。例えば、どんなに遠隔でも臨場感たっぷりに且つリアルタイムで音楽を届ける安定したシステムとか、仮想空間においてもコンサートを楽しめるプラットフォームの構築、音楽家が求めるAIアルゴリズムの設計など。逆に、渋谷さんの側からNTT Comをはじめ、読者である大企業のみなさまに期待するテクノロジーやコラボレーションの手法について、何かアイデアはありますか？

渋谷氏：具体的なこの技術というより、共同体としてのあり方ですね。アーティストにも企業にも双方にメリットがあるだろうと思うのは、コンサートであれ展示であれ、「ともに空間をつくる」ということ。協賛として企業が資金を出し、あとはアーティストや運営側に任せるというパターンが通常ですが、そうではなく、コンサートを一緒につくるんだという意識でともに空間をつくっていくというのは面白い相乗効果があると思います。

谷川：そのようにアーティストと企業が協働するとどのようなメリットが生まれますか？

渋谷氏：僕も含めてアーティストは危機感がものすごく強くて、非常に厳密です。ここはなんとなくという感じで決めていくのではなく、細部に至るまですべての物事を極限まで考えながら決めていく。特にコンサートは一回限りで、それを全世界に配信しようとなれば、絶対に失敗できない緊張感があります。妥協なくすべてを共につくっていくという意味ではコンサートの緊張感は格別で、力やアイデアを最大限発揮することになるので、企業にとっても、普段は経験できない緊張感を乗り越えるという意味で収穫も多いでしょう。

谷川：企業の人たちにとっては無理難題な注文も出てきそうで苦労するかもしれませんが、今までにない芸術が生み出される期待が高まり、面白そうですね。

渋谷氏：普段は交じり合わない世界の人間と協働することで、通常のビジネスの場においては出会わないような例外的な要求があると知ることができます。また、無理をしてでもこれに応えていこうという中で創造性が進化していくと思います。もちろんアーティスト側も、これまで実現できなかった演出や展開を、企業の創意工夫とテクノロジーによって実現できるという大きなメリットが得られます。もうひとつ言えるのは、企業とアーティストが真の意味で共にコンサートをつくっていくという行為は、意外に海外でも実践されていません。つまり企業がお金や設備を提供するというだけでなく、協働で制作するスタイルが増えてくると、芸術や産業分野における日本のプレゼンスが上がると思います。それは企業にとって効果的なプロモーションにもなり得ます。

谷川：夢想しているとワクワクしてきますね。ぜひ、そのような共創をわれわれも実現したいと思います。テクノロジーはビジネスだけでなく、芸術をも拡張する。そんな可能性を感じた渋谷さんとのお話でした。ありがとうございました。