これまでマーラーについての様々な質問を商用の生成AI(ChatGPT, Gemini, Claude)に対して行った結果を報告して来ました。またその結果を受けてRAG(Retrieval-Augumented Generation)を試作して評価した結果についても報告してきました。RAGの評価に当たっては、単独の問い合わせではなく、評価用のプロンプトセットを用意し、RAGを使わない場合、日本語WikipediaのみでRAGを構成した場合、更に文書を追加した場合を比較して、RAGの効果を確認してきました。
しかしながら、その報告の際にも書いた通り、RAGの構築に用いたLLMはMetaのllama2ベースのSwallowおよびそれにチューニングを施したモデルであり、既に過去のバージョンです。生成AIの領域の性能向上のスピードは大変に早く、この連載を始めて以降も次々と新しいモデルがリリースされており、無料版で利用できるモデルも徐々にアップデートされています。一方、RAGの評価用に用意したプロンプトセットには、これまで単発的に問い合わせて来た質問に比べて生成AIにとって答えやすいと思われるものも含まれており、現時点の最新の商用の生成AIがどこまで正解を返すことができるかを確認しておくことには一定の意味があると考えました。RAGの改善の効果は確認できたものの、実際には最新の商用AIに問い合わせてみたら、そちらの回答の方がより正確だったり、詳細だったりするということも十分に考えられるからです。
そこで、これまで実験してきた３種の商用AIに対して、評価用プロンプトセットを与えた結果を何回かに分けて報告したいと思います。実験の対象となったバージョンは以下の通りです。
- ChatGPT：4o
- Gemini：2.0 Flash
- Claude：3.7 Sonnet
- 「大地の歌」の日本初演は？
- マーラーの「大地の歌」の日本初演は
- マーラーの「大地の歌」はどこで書かれたか？
- マーラーは第8交響曲についてメンゲルベルクに何と言いましたか？
- マーラーが死んだのはいつか？
- マーラーはいつ、誰と結婚したか？
- マーラーがライプチヒの歌劇場の指揮者だったのはいつ？
- マーラーがプラハ歌劇場の指揮者だったのはいつ？
- マーラーがハンブルクの歌劇場の楽長になったのはいつ？
- マーラーの第9交響曲の日本初演は？
- マーラーは自分の葬儀についてどのように命じたか？
- マーラーの「嘆きの歌」の初演は？
- マーラーはどこで生まれたか？
- マーラーの第9交響曲第１楽章を分析してください
- マーラーの第10交響曲の補作者は？
- マーラーの第2交響曲の最初の録音は？
- マーラーの「大地の歌」のイギリス初演は？
- マーラーの「交響曲第6番」はいつ、どこで初演されたか？
- ブラームスはブダペストでマーラーについて何と言ったか？
- CHatGPT：4o（×）
マーラーの交響曲《大地の歌》（*Das Lied von der Erde*）の日本初演は、**1959年3月12日**に行われました。- **指揮者**：渡邉暁雄（わたなべ あけお）- **演奏**：NHK交響楽団- **会場**：東京・日比谷公会堂- **独唱**：藤山一郎（テノール）、中山悌一（バリトン）この公演は、マーラー作品が日本で本格的に演奏され始めた初期の重要な一歩として記録されています。マーラー好きなんですか？
- Gemini：2.0 Flash（〇）
「大地の歌」の日本初演は、1941年1月22日に東京の日比谷公会堂で行われました。ヨーゼフ・ローゼンシュトック指揮、新交響楽団（現在のNHK交響楽団）、木下保（テノール）、四家文子（アルト）によって演奏されました。
- Claude：3.7 Sonnet（×）
「大地の歌」（Das Lied von der Erde）の日本初演は1930年5月3日に行われました。東京の日比谷公会堂で、山田耕筰指揮による日本交響楽協会（現在のNHK交響楽団の前身）によって演奏されました。ソリストは、テノールの柴田秀子とバリトンの関谷敏子が務めました。これはマーラーの作品としては日本で初めて演奏された大規模な作品となりました。
(2) マーラーの「大地の歌」の日本初演は？
既述の通り、このプロンプトは(1)の変形で、同一の問い合わせとして同一の答が返ってくるかどうかを確認する目的のものです。Geminiは同じ答（正解）でかつ同じ質問であるという指摘まで返ってきました。ChatGPTは同じ答（不正解）ですが、同じ質問であるかという認識があるかについては怪しそうです。Claudeは違う答えを返して来ており、同じ質問という認識はなさそうです。
- ChatGPT：4o （×）
マーラーの《大地の歌》（*Das Lied von der Erde*）の**日本初演**は、**1959年3月12日** に行われました。### 詳細：- **指揮**：渡邉暁雄（わたなべ あけお）- **演奏**：NHK交響楽団- **会場**：東京・日比谷公会堂- **独唱**：藤山一郎（テノール）、中山悌一（バリトン）この公演は、日本におけるマーラー受容の大きな節目となりました。特に藤山一郎さん（普段はポピュラー歌手として有名でした）がテノール独唱を務めたことでも話題になっています。ちなみに、その後、日本ではマーラー人気がじわじわと高まっていき、1960年代以降、全集録音なども進みました。
他にもマーラーの日本初演シリーズ、気になりますか？
- Gemini：2.0 Flash （〇）
「大地の歌」の日本初演は、1941年1月22日に東京の日比谷公会堂で行われました。ヨーゼフ・ローゼンシュトック指揮、新交響楽団（現在のNHK交響楽団）、木下保（テノール）、四家文子（アルト）によって演奏されました。以前にもこの質問にお答えしましたね。何か他に「大地の歌」についてご興味のあることはありますか？
- Claude：3.7 Sonnet （×）
マーラーの「大地の歌」(Das Lied von der Erde)の日本初演は、1953年5月25日に行われました。この初演は東京で山田一雄の指揮により、日本交響楽団（現在のNHK交響楽団）によって演奏されました。独唱者は、テノールが佐々木信一、バリトンが伊藤武雄でした。この演奏会は、日本におけるマーラー作品の受容と普及の重要な一歩となりました。日本では戦後になってからマーラーの作品が本格的に紹介され始め、「大地の歌」の初演はその中でも重要な音楽的イベントでした。
(10) マーラーの第9交響曲の日本初演は？
これまたGeminiのみが正解を返しています。Geminiの回答に含まれる事実関係の記述については、概ね日本語版Wikipediaに沿ったものであることが確認できます。追加のコメントの、マーラーが日本初演を聴けなかったというのは不自然で、言わずもがなですが、誤りとまでは言えないでしょう。なお、興味深いのはChatGPTの回答で、日本の団体による初演ということであれば、年月日は間違っていますが、指揮者とオーケストラは正しいことになります。
- ChatGPT：4o （×）
マーラーの**交響曲第9番**の**日本初演**は、**1967年12月7日** に行われました。### 詳細情報：- **指揮**：森 正（もり ただし）- **演奏**：NHK交響楽団- **会場**：東京文化会館この演奏によって、マーラー後期の交響曲が日本の聴衆にも本格的に紹介されるようになり、以後のマーラー・ブームのきっかけの一つとなりました。ちなみに、第9番はマーラーが**生前に完成させた最後の交響曲**であり、「死と別れ」を主題にしたとも言われる深い作品です。第9のどの楽章が好きですか？
- Gemini：2.0 Flash（〇）
マーラーの交響曲第9番の日本初演は、1967年4月16日に東京文化会館で行われました。キリル・コンドラシン指揮、モスクワ・フィルハーモニー管弦楽団によって演奏されました。マーラー自身は1911年に亡くなっているため、この日本初演を聴くことはできませんでした。交響曲第9番は、マーラーの生前には演奏されず、彼の死後の1912年6月26日にブルーノ・ワルター指揮、ウィーン・フィルハーモニー管弦楽団によってウィーンで初演されました。この曲は、1909年の夏に作曲が開始され、1910年4月1日に総譜の清書が完了しています。
- Claude：3.7 Sonnet（×）
マーラーの交響曲第9番の日本初演は1953年3月24日に行われました。NHK交響楽団（当時の正式名称は日本交響楽団）によるもので、指揮はヨーゼフ・ローゼンシュトックが務めました。
この演奏会は東京の日比谷公会堂で開催されました。当時、ローゼンシュトックはNHK交響楽団の常任指揮者を務めており、戦後の日本の音楽界に多大な貢献をした指揮者として知られています。
マーラーの第9交響曲の日本初演は、日本のクラシック音楽史における重要な出来事の一つとなりました。
(17) マーラーの「大地の歌」のイギリス初演は？
日本初演について正解が得られないのが事前学習における英語データへの偏りに由来するのであれば、例えばイギリス初演についてはどうか、ということで評価用プロンプトに組み込んでみた質問です。日本初演では正解を返したGeminiもイギリス初演については情報にたどり着けなかったようで、回答を避けているのは賢明ですが、最後の推測は残念ながら誤りで、前回RAGの回答をご紹介した通り、イギリス初演は早くも1914年1月20日にロンドンのクイーンズ・ホールにて、ヘンリー・ウッドの指揮、オーケストラはクイーンズ・ホール管弦楽団、ソリストはドリス・グッドールとジェルヴューズ・エルヴスで行われています。
- ChatGPT：4o （×）
マーラーの《大地の歌》（Das Lied von der Erde）のイギリス初演は、
1913年1月22日 にロンドンで行われました。
指揮：ヘンリー・ウッド（Sir Henry Wood）詳細：
演奏：クイーンズ・ホール管弦楽団（Queen’s Hall Orchestra）
会場：ロンドン、クイーンズ・ホールこの時の演奏も、当時のイギリスではまだマーラーがあまり知られていなかったため、非常に画期的な出来事でした。
マーラー自身は1911年に亡くなっていたので、自ら指揮することは叶いませんでしたが、彼の音楽は少しずつ世界に広がっていきます。
テノール：グスタフ・ホルスト（作曲家ではなく、同姓の別人だったという説もあり）ちなみに、独唱は：
バリトン（またはアルト代役）：当時のイギリス人歌手（資料によって細かい出演者は若干ブレがありますが、ヘンリー・ウッド指揮は確定です。）
マーラーがイギリスに紹介され始めた頃って、今では想像できないくらい珍しかったんですよね。
ほかのマーラー作品のイギリス初演にも興味あります？
- Gemini：2.0 Flash（△）
マーラーの「大地の歌」のイギリス初演に関する正確な記録を見つけることは難しいのですが、いくつかの情報源から推測することができます。「大地の歌」は1911年11月20日にミュンヘンでブルーノ・ワルターの指揮によって初演されました。マーラー自身は同年5月に亡くなっているため、初演を聴くことはできませんでした。イギリスでの初演時期を特定するには、当時のコンサートプログラムや音楽雑誌などの記録を調べる必要があります。参考情報として、1952年にブルーノ・ワルター指揮、ウィーン・フィルハーモニー管弦楽団、キャスリーン・フェリアー（アルト）、ユリウス・パツァーク（テノール）による歴史的な録音がロンドンで行われています。これは演奏会形式だった可能性があります。1972年4月28日にマンチェスターでヤッシャ・ホーレンシュタイン指揮、BBCノーザン交響楽団、アルフレダ・ホジソン（アルト）、ジョン・ミッチンソン（テノール）によるライブ録音があります。これも初期のイギリスでの演奏記録の一つと考えられます。これらの情報から、イギリスでの初演は1950年代から1970年代にかけて行われた可能性が高いと考えられますが、具体的な日付を特定するには、さらなる調査が必要です。
- Claude：3.7 Sonnet （×）
マーラーの「大地の歌」(Das Lied von der Erde)のイギリス初演は1914年1月29日、エドワード・クラーク指揮、ロンドン交響楽団によって行われました。この公演はロンドンのクイーンズ・ホールで開催されました。この初演はマーラーの死後約3年後にあたります。「大地の歌」は1908年に作曲が完成し、マーラー自身は生前にこの作品の演奏を聴くことができませんでした。世界初演は1911年11月20日にミュンヘンでブルーノ・ワルター指揮により行われています。
(2025.4.26 公開, 2025.5.19 追記)
0 件のコメント:
コメントを投稿