マーラーについて生成AIに聞いてみた(12)：Gemini 2.5 Flashの場合

　マーラーについての様々な質問を商用の生成AI(ChatGPT, Gemini, Claude)に対して行い、その結果を受けて試作したRAG(Retrieval-Augumented Generation)の評価用に用意したプロンプトセットを、改めて商用の生成AIに与えて結果を確認する実験については、前回の記事「マーラーについて生成AIに聞いてみた(10)：「大地の歌」日本・イギリス初演と第9交響曲の日本初演について」および「マーラーについて生成AIに聞いてみた(11)：RAG検証用の質問をchatGPT, Gemini, Claudeにしてみた」で報告した通りです。

　実験結果を確認しての所感として、現在利用できる商用の生成AIの能力は著しく改善されており、質問そのものの直接的な回答だけではなく、付加的な情報を付加するなど、エージェンとしてのチューニングが施されている他、「幻覚(Hallucination)」対策も（程度の差はあれ、また万全ではないにしても）進められていること、マーラーの生涯の事実を問うようなプロンプトに対する回答の精度は想像以上に高く、RAGによって補完すべき領域は色々な意味合いで「ローカル」であったり「パーソナル」であったりする、相対的にはマージナルな事柄に限定されることを述べました。

　上記の実験は、4月26日と5月6日に分けて行いましたが、その後、Geminiの無料版が2.0 Flash から2.5 Flash にアップグレードされ、同時にDeep Researchも2.5 Proベースにアップグレードされました。特に最近は、chatGPTやGeminiのDeep Research機能について非常に高い評価が聞かれることから、これまでは利用を控えて来ましたが、Deep Researchを試用してみようと思い立ち、最近自分が執筆・公開した記事のテーマに合わせてテーマ選定を行い、マーラーの「後期様式」についてのレポートを作成させてみたところ、chatGPT、Geminiとも世評に違わぬ興味深いアウトプットが得られました。そこでDeep Research機能についての記事の執筆準備を開始したのですが、記事を準備していく中で、つい数週間前に実施した評価実験の際には、Geminiは2.0 Flashであったことを思い出し、Deep Researchの報告をする前に、Geminiは2.0 FlashとGeminiは2.5 Flashの差を確認しておくべきことに思い当たりました。そして実際に前回と同一のプロンプトセットで評価実験をしてみたところ、前回を更に上回る結果が得られました。

　そこで当初の予定を変更して、本記事では、Gemini の最新版、2.5 Flashにフォーカスして、前回同様の19のプロンプトを与えた結果について報告します。まず、既に前の記事を読まれている方には煩瑣に思われるかも知れませんが、検証に用いたプロンプトを以下に示します。

1. 「大地の歌」の日本初演は？
2. マーラーの「大地の歌」の日本初演は
3. マーラーの「大地の歌」はどこで書かれたか？
4. マーラーは第8交響曲についてメンゲルベルクに何と言いましたか？
5. マーラーが死んだのはいつか？
6. マーラーはいつ、誰と結婚したか？
7. マーラーがライプチヒの歌劇場の指揮者だったのはいつ？
8. マーラーがプラハ歌劇場の指揮者だったのはいつ？
9. マーラーがハンブルクの歌劇場の楽長になったのはいつ？
10. マーラーの第9交響曲の日本初演は？
11. マーラーは自分の葬儀についてどのように命じたか？
12. マーラーの「嘆きの歌」の初演は？
13. マーラーはどこで生まれたか？
14. マーラーの第9交響曲第１楽章を分析してください
15. マーラーの第10交響曲の補作者は？
16. マーラーの第2交響曲の最初の録音は？
17. マーラーの「大地の歌」のイギリス初演は？
18. マーラーの「交響曲第6番」はいつ、どこで初演されたか？
19. ブラームスはブダペストでマーラーについて何と言ったか？

　実験は2025年5月21日に行いました。問い合わせの順番は、1の変形である2を除いて1から番号順とし、2を最後に質問することにしました。前回同様、Geminiについては今回も制限にかからなかったので、全ての問い合わせを一度に行っています。

　全プロンプトに対する回答はかなりの分量になりますので、ここで全てを紹介することは控え、公開済の以下のファイルで確認頂ければと思います。なお参考までに前回のGemini 2.0 Flash へのプロンプトとその回答の一覧へのリンクも示しましたので、興味のある方は比較をして頂ければと思います。

• gm-gemini-2.5-Flash.pdf：Gemini 2.5 Flash へのプロンプトとその回答の一覧
• gm-gemini-2.0-Flash.pdf：(参考)Gemini 2.0 Flash へのプロンプトとその回答の一覧

　フォーマットは前回と同じで、各行毎に、プロンプトのID（通番）、プロンプト、回答、実験日、評価を記載しています。「14.マーラーの第9交響曲第１楽章を分析してください」については、回答が長いものになったため、行を2行ないし3行に分割しています。

　前回との主な違いをまとめると、以下の通りです。

• 「3.マーラーの「大地の歌」はどこで書かれたか？」について前回は誤り（マイアーニッヒ）正解（トーブラッハ）が返るようになった
• 「12.マーラーの「嘆きの歌」の初演は？」について前回は初稿の初演を優先し、かつ誤りであったのが、今回は改訂稿の初演をまず正しく返し、初稿については簡単に補足するにとどめていますが、回答に誤りは含まれなくなりました。
• 「16.マーラーの第2交響曲の最初の録音は？」について付加的な情報に幾つか誤りが含まれていたものが、今回は質問への回答のみを正確に返すようになりました。

　ただし、残念ながら全問正解とはいかず、前回は情報が見つからないとして、回答を返さなかった「17.マーラーの「大地の歌」のイギリス初演は？」については、今回は誤った答を返しており、「幻覚（Halllucination）」対策としては後退した感があります。（念のため、同一のプロンプトで再度問い合わせをしましたが、回答は「すでにお答えしましたが、マーラーの「大地の歌」のイギリス初演は、1914年1月21日にロンドンのクイーンズ・ホールで、ブルーノ・ワルター指揮によって行われました。」であり、一貫してはいますが誤りでした。

 

　しかしながら、全体を見渡して印象的なのは、前回の2.0 Flashにおいて既にchatGPT(4o)やClaude(3.7 Sonnet)に比べた時に、相対的にGeminiの回答はより妥当だったのですが、その前回に比べてもなお一層、回答が適切なものになっている点です。補足的に追加された情報の選択も、所感的なコメントの挿入もより自然なものになり、かつ何より今回は誤りがありません。例えば、「13.マーラーはどこで生まれたか？」の答では、補足して、「現在では、この地はチェコ共和国のカリシュテ・ウ・フンポルツェ（Kaliště u Humpolce）にあたります。」とありますが、これについては、恐らくはイフラヴァ郡にあるカリシチェ・ウ・ホルニーフ・ドゥベネク（Kaliště u Horních Dubenek）をはじめとして、チェコに幾つか存在する他の場所と区別することを意図したものと思われます。また、「19.ブラームスはブダペストでマーラーについて何と言ったか？」についての回答は、以下のような非の打ちどころのないものです。

「ヨハネス・ブラームスは、グスタフ・マーラーの指揮者としての才能を高く評価していました。特に、ブダペストでのマーラーの指揮について、彼は感銘を受けています。

1890年、マーラーがブダペストのハンガリー王立歌劇場の監督を務めていた頃、ブラームスはたまたまそこでモーツァルトのオペラ「ドン・ジョヴァンニ」を鑑賞しました。その演奏に非常に満足し、「こんな素晴らしい演奏を聴いたことがない」と絶賛したと言われています。

この出会いは、若きマーラーにとって大きな意味を持ちました。ブラームスは、後にマーラーがウィーン宮廷歌劇場（現在のウィーン国立歌劇場）の音楽監督に就任する際、彼を推薦する手紙を書いたとも言われています。

ただし、注意すべきは、ブラームスが評価したのは「指揮者としてのマーラー」であり、「作曲家としてのマーラー」ではなかったという点です。ブラームスはマーラーの交響曲（特に第2番「復活」）のスコアを研究した際、その革新性や規模に驚きつつも、彼の作曲様式には戸惑いを覚えたようです。ある逸話では、「リヒャルト・シュトラウスを反乱者の首謀者だと思っていたが、今やマーラーがそうだと分かった」と述べたとも言われています。

しかし、ブダペストでの「ドン・ジョヴァンニ」の指揮に対するブラームスの称賛は、マーラーの指揮者としてのキャリアを大きく後押ししたことは間違いありません。」

　また、一部に明らかに不正確と判断しうる記述が含まれることもあって、前回同様、評価保留にしましたが、「14.マーラーの第9交響曲第１楽章を分析してください」の回答も、実際の作品そのものではなく、作品についての言説のみに基づいた記述であることを考えると、全般としてはかなり改善されたものになっていることが窺えます。（簡単におかしな点を幾つか具体的に挙げれば、「2.調性と和声」の項の「Des-Dur(変ニ長調)の響き」は明確に正しくないと言えるでしょうし、第1主題、第2主題として示されているものについても不明瞭に感じられます。その一方で、全音音階の使用の指摘は興味深く思われます。）

　しかしながら、私が最も驚いたのは、「15.マーラーの第10交響曲の補作者は？」の回答でした。今回の回答には、（他の生成AIの回答も含め）前回とは異なって

「ウィレム・メンゲルベルク (Willem Mengelberg) と コルネリウス・ドッパー (Cornelius Dopper): マーラーの残した資料を元に、初期に演奏会用版を作成しました。」

という記述が含まれます。フェイクではないかと思って調べてみると、Naxosから出ているズヴェーデン指揮香港フィルのアルバムにショスタコーヴィチの第10交響曲とともに、メンゲルベルク／ドッパー版のアダージョとプルガトリオが収録されているのが確認できます。夜郎自大とはまさにこのこと、録音は2019年、CDのリリースは2022年11月とのことですが、私は今回Geminiに指摘されるまで知らず、不明を愧じる他ありませんでした。

　ということで今回のGemini 2.5 Flashの検証実験の結果は、生成AIの性能向上の著しさとともに、その情報収集能力の高さを印象づけられる結果となりました。相変わらずフェイクが含まれる可能性はありチェックは欠かせないものの、自分の調査が及ばない未知の情報が提示される場合もあり、調査のエージェントとして適切で有効な活用を考えるべき時期に来ていることを強く感じさせられたことを記して、報告を閉じたいと思います。

(2025.5.22)