これまで「マーラーについて生成AIに聞いてみた」と題して、近年急速な性能向上が見られる商用生成AIに対してマーラーに関する問い合わせを行い、返って来た答についてファクトチェックを行う検証の結果について報告してきました。
最初の検証は2025年3月に実施、商用AIの無料版を対象をすることにし、ChatGPT, Gemini, Claude の3つを選択しました。最初の検証対象となったのは、ChatGPT4o, Gemini 2.0 Flash, Claude 3.7 Sonnetでしたが、このうちGeminiのみがWeb検索を併用、ChatGPTとClaudeはWeb検索なしで、LLMの事前学習結果に基づく回答を行うものでした。回答には多くの誤りが含まれ、特にマーラー没後の受容についての情報、特に日本での受容のようなローカルな情報についての精度が低く、そのためにRAGを構築してその効果を検証するといったようなことも試みてきました。
そうした一連の検証結果の整理が一通り済むか済まないかの2025年5月には対象としている生成AIの側で幾つか動きがありました。Geminiではバージョン2.5がリリースされ、無料版での標準はGemini 2.5 Flashにバージョンアップされました。それを追うようにして、Claudeもバージョン4がリリースされ、Sonnet4が標準になりました。更にLLM自体のバージョンアップだけではなく、Geminiでは3月時点で利用可能になっていたWeb検索との併用が、ChatGPTとClaudeの無料版においても可能になりました。特に後者は、LLMの事前学習の結果のみではなく、リアルタイム検索によって得られた情報も利用するという点において、RAGと同様の効果が見込まれ、大幅な精度改善が期待できることから、再検証を実施しました。
その結果は、方向性としては想定通りながら、想定を上回る高精度の回答が返って来るようになり、最早RAGの構築の必要性を感じさせないものになっていました。正しい情報に基づいているかという点は当然として、回答に添えられる付加的な情報の選択についても自然なものとなっており、頻度は大幅に下がったものに時折発生する誤り（「幻覚（Hallucination）」）についてのファクトチェックは依然として欠かせないものの、充分に実用に耐えるレベルになっていることが確認できました。もともと近い将来に改善されるものとは思っていましたが、タイミングによる偶然もあるとはいえ、わずか3か月足らずでここまでドラスティックな性能向上が見られるとまでは予想しておらず、率直に、その性能向上のペースに驚きを禁じ得ません。
しかしながら生成AIの性能向上は、上記の検証結果の範囲に留まるものではありません。時に最近のトレンドは、単純な情報検索と整理に留まらず、サブタスクへの分解や複数のステップを踏んだ処理を必要とする複雑な問い合わせに対応できる、所謂「深い」推論ができるようになった点に寧ろ重点があり、始めから人間の能力を上回る情報収集能力に加えて、情報収集した結果を整理・統合してレポートとしてまとめる能力が喧伝されています。推論を得意とするLLMのモデルは各生成AIの無料版で利用できるものとは別に用意されており、従来は有料版でのみ利用可能だったのですが、最近のバージョンアップによって、本企画で検証対象としている商用生成AIのうちGeminiとChatGPTについては、回数制限付きながらDeep Researchの機能が無料版でも利用可能になりました。
そこで本企画においてもDeepResearchの機能の検証を行いましたので、本記事ではその結果を報告します。
問いとして用意したのは、「マーラーにおける後期様式」に関する問です、とはいえこの問は検証用に誂えたものではなく、これまで「マーラーにおける「老い」についての論考に向けての準備作業」というプロジェクトにおいて、従来は完全に「人力」で調査を行ってきたものの中核部分を成すものです。特に「後期様式」という規定を巡っては、アドルノが『マーラー 音楽観相学』（邦訳は龍村あや子訳, 法政大学出版局, 1999）において言及している、ゲーテの「現象からの退去」としての老年という捉え方がその焦点となると考えていますが、これはジンメルのゲーテ論における「老齢藝術」論をベースにしたものであることから、DeepResearchのためのプロンプトとしては以下のものを用意しました。
Deep Research用のプロンプト：
「ジンメルがゲーテの「現象からの退去」を「老齢藝術」の特徴としたことを踏まえたアドルノの「後期様式」についての考え方に基づいて、マーラーの作品における「後期様式」について論じ、特にそれが音楽的形式にどのように影響しているかを分析して下さい。」
検証対象は以下の通りです。既に述べたように無料版で利用できるDeep Research 2種（LLMはChatGPT o3とGemini 2,5 Pro）がメインの検証対象です。ClaudeにもClaude Opus 4という推論を得意とするモデルが提供されていますが、無料版では利用できないため、今回は対象外です。比較のために、無料版で利用できる標準のモデルへの問い合わせ結果も示すことにします。
- 検証1：ChatGPT Deep Research with o3
- 検証2：Gemini Deep Research with 2.5 Pro
- 比較検証1：ChatGPT 4o
- 比較検証2：Gemini 2.5 Flash
- 比較検証3：Claude 3.7 Sonnet
- 比較検証4：Claude Sonnet 4
実験はそのほとんどを2025年5月19日に行い、翌日5月20日に検証1の2回目を実施、その後Claude Sonnet 4のリリースを受けて6月8日にClaude Sonnet 4での比較検証を実施しました。検証結果は、今回はいずれも簡単なものとはいえ、レポートの形式となっており、それなりの量になることから、本稿の中で紹介することはせず、以下の通り、pdf化したファイルを公開することにしました。
後述する経緯によりChatGPTについては若干プロンプトが異なる2バージョンの結果が得られましたので、その両方を公開します。また比較検証2は実際にはリサーチ計画のみの提示でした。比較検証3,4はいずれもレポート形式の出力を採用していますが、比較検証3では上記の標準プロンプトでレポートが出力されたのに対し、比較検証4ではレポート形式にならなかったため、プロンプトを若干変えてレポート形式の出力となるよう明示的な指示を与えた結果になっています。いずれについても詳細は後述します。
以下では、各検証結果について順次簡単にコメントをしていきます。
* * *
(A)検証1：ChatGPT Deep Research with o3について
ChatGPTのDeepResearchは、プロンプトを与えると、それに対してシステムの側から調査の方針についての問い合わせが来て、こちらがそれに回答すると調査を開始するという段取りになっています。そこで、調査開始までのやり取りについても報告することにします。
上記のプロンプトに対するChatGPTからの返答は以下のようなものでした。
マーラーの後期様式についての考察をまとめるにあたって、もう少しだけ詳しくお聞きしたいです。
1. どのような観点を重視した考察をご希望ですか？（例：音楽的構造、哲学的観点、感情表現、文化史的文脈など）
2. 対象としたいマーラーの具体的な作品や時期（例：交響曲第9番以降、あるいは『大地の歌』など）はありますか？
3. 論文、レポート、エッセイなど、どういった形式でのまとめを想定されていますか？
当然のことながら、これに対してどのように答えるかで返って来る結果は変わります。1回目は以下のように回答して調査を進めてもらいました。
1.観点としては哲学的観点とそれが音楽的構造にどう反映されているか。2.どこからを後期様式とするかという範囲の問題も含めて考察してください。この場合第8交響曲の位置づけが問題になると思います。3.論文
ChatGPTでは調査にかかった時間、情報源の数、検索した回数といった情報も一緒に帰ってきます。1回目はそれぞれ9分、36件の情報源、87件の検索に基づいて、上記のマーラー後期様式_ChatGPT_DeepResearch_20250519.pdfで確認できる「マーラー後期様式における「現象からの退去」と音楽的構造」と題する小論文が返ってきました。なお、「アクティビティ」として、検索・推論のプロセスのログが確認できるようになっており、何をしようとして、どれを検索したか、その結果どのような情報が得られたかといったリサーチの流れをトレースすることが可能です。ここではその詳細は割愛しますが、ご参考までに、本検証の「アクティビティ」の冒頭部分と末尾部分を以下に示します。日本語に翻訳する過程でやや不自然な表現になっている部分もありますが、訂正せずに出力をそのまま示すことにします。
ChatGPT
アドルノの「音楽的表現の心理学」を通じて、シンメルの老齢芸術の概念とガスタフ・マーラーの後期様式の音楽的・哲学的関係を探る。
Searched for アドルノ・ジンメル 老齢芸術
ChatGPT
アドルノとジンメルの「外見からの撤退」を英語で検索している。
Searched for Adorno Simmel aging art withdrawal
ChatGPT
結果0は「晩年のスタイル: 単一の歳老いの年齢差別」に関する内容のようです。ただし、シンメルやアドルノに特化しているわけではなさそうです。[1]「アドルノの美学理論の老化」も関連する可能性があります。
Favicon
shc.stanford.edu を読み込みました
ChatGPT
「Late Style」に関連する一般的な学術記事で、アドルノの理論が脚注で言及されているかもしれない。
Favicon
shc.stanford.edu からさらに読み込みました
ChatGPT
元の引用が必要かもしれないし、アドルノの『マラー』やシンメルの『ゲーテ』に触れるかも。
（中略）
Searched for マーラー 現象 退去 アドルノ
ChatGPT
山崎さんのノート.comの資料を探しています。
Favicon
note.com を読み込みました
ChatGPT
アドルノはマハーの晩年のスタイルをシンメルの「老いの芸術」と関連付けて、断片化、解体、別れ、反対の調和を探求している。彼の分析は、マハーがワーグナーと新作に橋渡しをしている点を強調している。
Favicon
u-gakugei.repo.nii.ac.jp を読み込みました
ChatGPT
アドルノの「老齢藝術」「現象からの退去」というテーマで、マーラーの後期スタイルと音楽構造について詳細に分析し、ジンメルの考え方と結びつけています。
上記引用には含まれませんが、このプロセスをトレースすることでChatGPTのDeep Researchの挙動について色々なことがわかるので、検証結果とは別に、参考資料として、アクティビティのログを保存したものを以下の通り公開していますので、興味のある方はご覧ください。
内容の詳細は上記ファイルをご覧いただければと思いますが、冒頭、「後期様式の範囲と第8交響曲の位置づけ」と題する節が設けられ、事前の指示の第2項がきちんと反映されていることが確認できます。第8交響曲を後期作品に含めるという主旨の文章で、その判断自体は首肯できるものですが、その傍証の2つ目として挙げられたザンデルリング・ベルリン放送交響楽団の「大地の歌」、第9交響曲、第10交響曲のセットのCDの解説の引用は、その意図するところが不明瞭で、有効なものになっていないように感じます。実際、その後の本論では第8交響曲への言及はなく、第8交響曲を含めて後期様式を論じてはいない点で、第2項の指示への対応が皮相なものに終わっている憾みがあります。
小論文で参照されている文献は6件、アドルノについては東京学芸大学の森田数実先生の、アドルノのマーラー・モノグラフを取り上げた「音楽の批判的理論(4)」が参照されていますが、ジンメルの方は英語版の芸術・美学論集（編者によるイントロダクションつき）以外は私自身のnoteの記事が参照され、それ以外には「大地の歌」と第9交響曲の演奏会の解説記事が参照されているのみであり、36件の情報源、87件の検索の結果としては稍々物足りない印象が否めません。また、先にマーラーの個別作品における「物象的な外界からの距離化」の例を挙げた後、アドルノのマーラー論とジンメルの老齢藝術論との接点について述べるという構成もちぐはぐな感じで、構成的にも改善の余地がありそうです。
具体的な細部について言えば、第10交響曲についての記述にはおかしな部分が多々あり、フェイクに近いものと感じられますが、これは第10交響曲についての参考文献が示されていないことと関係しているように思われます。また、後半のアドルノとジンメルの比較の部分でも「アドルノ自身は直接「現象からの退去」という語を使わないが」といった誤った記述が見られますし、再び第10番について言えば、完成されるべく企図された、ありうべき形態を仮定してならともかくも、その未完形態を「既存の形式を一種の仮構的配置として構築しなおす試み」とするのはさすがに無理があるでしょう。一方で「異邦性の仮面として中国詩に求めた」ことを、「作品が自己の個人的感覚（作曲者のアイデンティティの葛藤）を内的に覆い隠す媒介を用い、外界から
一歩退いた視座で世界に向き合っていることを示唆する表現」と捉えた箇所などは、やや表現がちぐはぐに感じられる点を措けば、指摘として興味深い側面を含むように感じます。（但し一般に「仮晶」を「後期様式」と単純に結びつけることには留保が必要であり、「後期様式」の固有性という観点からは、寧ろ「仮晶」として他ならぬ東洋が選ばれた点に重点を置いて捉えるべきかと思いますが、こうした点は寧ろ私自身のマーラー後期様式論で論じるべき内容ですので、詳細は後日の宿題とさせて頂きます。）
全般としては、大きくみれば致命的な誤りがあるわけではなく、一部に興味深い細部があるものの、細部において明確な誤りや不自然な論理の流れが目立ち、検索して得られた結果を継ぎ接ぎして何とか体裁を整えるという域を超えているとは言い難く、全体の構成にも無理があり、それほど高い評価はできないでしょう。とはいうものの、これがプロンプトと簡単な指示だけで生成されたことを思えば、――そして、同じ問いを人間に与えた時のことを思えば――わずか10分足らずでこれだけの内容をまとめることができること自体は驚異的なことに思われます。
また参考までに付記しておくと、上記の小論文作成後、「参考文献をリストとして示してください。」というプロンプトを（Deep Researchに対してではなく、4oに）与えてみたところ、「それらしい」リストは返って来たのですが、内容上は存在しない論文、存在しない翻訳など、多くのフェイクが含まれていました。その内容をここで示すことはしませんが、これはChatGPTに関してはしばしば報告されていることでもあり、利用にあたっては注意と確認が必要だと思います。
ChatGPTについては、上記1回目の検証の後、翌日に2回目の検証を行いました。その理由は、その後他のシステムでの検証を実施した結果を踏まえると、プロンプトを与えた後のChatGPTからの問い合わせに対する答で、第8交響曲を後期作品に含めるかという論点を与えるなど、調査の方向性を拘束しすぎて、稍々他の結果とは異なった内容となってしまったと感じたためです。そうした背景から、調査の方向を限定するような指示を極力避けて2回目の検証を行いました。その結果はマーラー後期様式_ChatGPT_DeepResearch_20250520.pdfでご覧になれます。所要時間はほぼ同じで10分弱。情報源、検索についても同様な傾向でした。
2回目の小論文は、序論・理論的背景・マーラーの後期作品の形式分析・考察・結論という構成となっており、1回目と比べて自然な流れになっています。しかしながら、その細部は第1稿に比べてもなお一層問題含みに感じられます。今回は第10交響曲についても参照した文献が示されていますが、その内容は、確かに参照された文献の情報を利用してはいるものの、その要約としては不適切なものですし、通常は引用と了解される括弧「」の使用も不適切で、私が確認した限り、その内容に正確に該当する箇所は元の文献には存在しないようです。前回同様ここでも、作品が未完であること自体を「構造的完成の回避」と捉えていますが、これは無理のある主張だと思います。個別の作品の内容についての記述の奇妙さは、第10交響曲のみならず第9交響曲、「大地の歌」の記述にも散見されます。一つには、参照した英語の文献を日本語に翻訳しつつ利用していることから、翻訳がこなれていないという問題が少なからず関与しているとは思いますが、それを差し引いても、序論末尾に要約された「和解の欠如」「形式と素材の対
立・不一致」「未完性・断片化」「沈黙や空白の利用」といった後期様式の特徴の例示としては不適切・不十分に感じられます。考察の内容も、大筋では間違っていないのと引き換えに、皮相な印象は否めません。
参考文献として最終出力の小論文に記載があるのは8件、そのうち2件が私のnoteの記事である点は措くとしても、、『ベートーヴェン――音楽の哲学』（作品社）の出版年が誤っていたり（正しくは2000年ではなく1997年）、リンクが何故か原著の一部（タイトル、目次と編集者による序文のみで、本文は欠）であったりするなど、第1稿同様、あるいはそれ以上に不適切・不十分に感じられます。
第2稿は、体裁こそ第1稿よりも整っていますが、その内容は、結局のところ検索で得られた情報を継ぎ接ぎして体裁と整えたというレベルを超えるものではなく、Webでは基本的な文献（ここではジンメルの『ゲーテ』やアドルノの『マーラー』）自体を参照できるわけではなく、二次的な文献の文章を介してその内容を窺い知ることができるに過ぎないという制限のために、その記述は皮相なレベルに留まっており、見るべきものがほとんどないように感じられました。
ChatGPTのDeep Researchの結果についてのコメントは以上として、次にGeminiのDeep Researchの結果を確認することにしようと思います。
（続く）
（2025.6.9）
0 件のコメント:
コメントを投稿