2021年12月19日日曜日

MIDIファイルを入力とした分析：データから見たマーラーの作品　これまでの作業の時系列に沿った概観（2022.5.20更新）

これまでこのブログにおいてはMIDIファイルを入力としてマーラーの作品の分析を行う試みについて断続的に報告してきたが、最初の記事の公開から既に5年が経過し、記事数も30件に達したところで、これまでの作業を時系列に沿って振り返ってみたい。


A.これまでの作業の時系列に沿った概観

2015年頃にマーラーの作品のMIDIファイルのWeb上での公開状況について調査し、データ収集に着手し、その結果を2016年初頭に記事として公開した。（1.調査報告・資料：分析の入力となるMIDIファイルの状況について）

その後、MIDIシーケンサーなどの調査と並行して、MIDIファイルを解析した結果を集計・加工する環境をExcelマクロとC言語のプログラムでWindows上に構築し、更に統計分析用の言語であるR言語およびそのプラットフォームであるR StudioやRinean Graph 3Dといった作図ツールによるデータ分析環境を整備して、データ分析を行うとともに、その結果の一部については断続的にWeb上で公開してきた。（2.データ公開：基本データとその解析結果について）

一方、データ分析を行う当初の動機が、マーラー作品の調的な遷移のプロセスを可視することであったので、最初に行ったのは、各拍あるいは各小節頭拍の和音の重心を五度圏上に定義し、その軌道の遷移の様子を可視化することであった。（3.五度圏上の重心計算について）

その結果に基づき、続いて各拍あるいは各小節頭拍に出現する主要な和音の分類とパターンの可視化を試みるとともに（4.和音の分類とパターンの可視化）、並行して行った先行研究の文献調査などを踏まえて、予備作業として和音の自動ラベリングと調的遷移の推定を行った（6.和音の分析への準備）後、一旦は動的な遷移プロセスではなく、和音の出現頻度という特徴量に基づく分析を進めながらマーラーの作品のデータ分析のあり方を検討し、その検討の経過を備忘を兼ねてWeb上に公開して、一旦、作業を終えた（5.考察：マーラー作品のありうべきデータ分析について）のは、丁度新型コロナウィルス感染症の蔓延による影響が様々な活動に出始めつつある時期であった。

その後、繰り返される新型コロナウィルス感染症の流行の波の中で、一旦終了した作業について結果をWeb公開することにして、当初、小節頭拍のみを対象としていた分析を、全拍対象に拡大しながら、それら分析の成果をWebに公開する作業を進め（7.和音の出現頻度から見たマーラー作品）、2020年7月にその作業を完了した。

それから1年程経過し、一旦日本国内での新型コロナウィルス感染症の流行が概ね収束に近づいた（実際にはその後新たな流行の波に曝されることになったが）2021年後半になり、Google Magentaを用いた機械学習の実験データとしてMIDIファイルを活用すべく予備的な調査や実験を行っていく中で、和声の出現頻度の分析結果を見直していくうちに、基本的には同じ手法を用いながら、若干分析の条件を変化・拡大させ、かつ集計・分析結果の表示手段として幾つか従来とは異なったツールを利用した再分析を実施することになった（8.再分析）。またそれと並行して、当初よりの課題であった時間方向の動的な遷移のプロセスの分析に向けての準備作業として、まずは長三和音と短三和音のみに注目して、その交替の頻度に対象を限定した分析を実施（9.長短三和音の交替から見たマーラーの交響曲）し、再分析の結果とともに記事として公開した。

［以下、2022.5.20追記］

2021年の年末に、厚意により私的な場ではあるが有識者に対してzoomで報告をする機会を設けて頂き、これまでの作業のうち、和声の出現頻度の分析を中心に、五度圏上の重心計算にも触れる形で報告させて頂けたことから、そこでの報告のために整理した内容に基づき、これまでの作業の時系列に沿った概観（本稿）と、和声の出現頻度の分析のまとめを2022年の年初に公開した。(10.これまでの作業の時系列に沿った概観)

その後、報告において今後の課題として掲げた点の中で、未分析の和音の解消について取り上げるとともに、それまでのデータ分析では用いてこなかったMIDIファイルを含めた分析用データを作成・公開(10.)するとともに、特に歌曲のMIDIファイルで多く見られ、拍頭ないし小節頭で鳴っている和音を分析するというここでの分析にとっては妨げとなっていた拍頭の音のずれを、MIDIファイルから抽出したデータに対して後処理として補正した上で、歌曲について分析データを作成した結果を報告している。（11.補遺：未分析和音の解消と同一曲の別データとの比較、歌曲の分析）


B.マーラー作品の分析にMIDIファイルを用いることの可能性

まずもって音楽の総体の中から、MIDIファイルのフォーマットで表現されている対象とする範囲を限定して分析をすることが、音楽の中でも、その作品の構造的な側面に関心を限定したものであることは言うまでもない。更にここでは、複雑な音楽作品の構造の中から基本的ではあっても極めて限定された特徴量だけを抽出して分析しているに過ぎないことから、分析を通してわかることには自ずと制限があるのは明らかなことだろう。また使用した分析手法の種類も一般的なもの数種に限られており、結果として多くは期待できず、ほとんどの場合、データ分析のようなアプローチを経ずとも明らかなことを追認するに過ぎないだろうが、それでもなお、多くの場合、マーラーの作品の構造についての言説が多くの場合、データ分析のようなアプローチによる裏付けを経ずに、優れた分析家の直観に基づいて行われていることを思えば、データ分析を行うことで裏付けが得られることそのものにも一定の意味があるのではないかと考える。

ことマーラーの作品に関して言えば、その作品規模の大きさ・複雑さを勘案すれば、他の作曲家に比べても比較的MIDIデータの整備が進んでいるようには見受けられても網羅的とは到底言えないし（マーラーに限って言えば、目下のところ最大の欠落は「嘆きの歌」だろう）、これまでのところその蓄積は主として個人のDTMの活動の中で、いわばボランティアとして打ち込まれたものに拠るもので、それも一時期に比べると寧ろ近年は退潮気味にすら感じられ。更にはこの5年間のうちに幾つかのWebページが閉鎖され、以前は公開されていたMIDIファイルが既にWeb上での入手が不可能になっているようであることを踏まえれば、当初はそのような意図はなかったのだが、放置すれば情報ネットワークのエコシステムの中で忘れ去られていきかねない状況の中で、蒐集して手元に保管しているMIDIファイル自体は著作権などの問題もあり簡単には行かなくとも、それを利用した分析を行って、たとえささやかなものであってもその結果を公開すること自体に意味があるようにも思えるのである。

と当時に、これまで個人のDTMベースでWeb上で公開されてきたMIDIファイルをデータ分析に用いることの限界についても指摘しておきたい。最大の問題は、分析目的での利用を行おうとした場合のデータとしての正確さ・精度にある。MIDIファイルの作成のされ方としては大きく、(1)MIDIキーボードでの人間の演奏を保存するか、(2)MIDIシーケンサーソフト等を用いて入力していくかのいずれかと思われるが、特に前者の場合には、演奏上のミスタッチの発生や、楽譜上の小節の区切りや拍と記録されたサンプルの対応づけの困難さがあって、今回の分析のように小節頭拍や各拍における和音をサンプリングを行おうとした場合、現実の演奏におけるずれやゆらぎのせいで、譜面上「正しい」和音が認識できない場合が多い。後者の場合には、現実の演奏のずれやゆらぎのレベルの問題は起こらないが、その一方で、しばしば誤入力が見られるし、マーラーではごく普通の変拍子に忠実な小節の設定をするのは煩瑣な作業となることが避け難い。この点は既述のMIDIファイルの作成過程を考えれば無理のない側面もあって、(1)におけるアコースティック楽器の録音の代替であったり、(2)における実際の楽器を用いた演奏の代補として用いられる限りにおいては、分析の場合に必要となる正確さは必ずしも必要とされないであろうから、それをデータ分析という別の目的で利用とした時に限界があるという指摘は、或る種の無い物ねだりに他ならないのである。信頼性の高い本格的な分析を行おうとするならば、そのための条件を満たしたMIDIファイルを整備していく必要があり、これまでは専ら楽譜というフォーマット上でのみ行われてきた校訂が、MIDIファイルという媒体においても行われるようにならないだろうか、というのが実際にWebから入手したMIDIファイルを分析に利用するために調査を行っての、偽らざる実感である。

上記のような問題はあるにせよ、MIDIファイルの活用の可能性は狭義のDTMの領域を超えて広がっており、その存在価値は増えこそすれ減ることはないように思われる。Google Magentaについては既に触れたが、そこでは深層学習のための時系列ネットワーク（LSTM）への入力として主としてMIDIファイルが用いられている、ここで振り返る各種の集計・分析に利用したことがあるMIDIファイルから比較的簡単に実験用のサンプルデータを作成することが可能であった。未だ試行段階ではあるものの、既にGoogle Magentaで用意された幾つかのモデルを用いた検証には着手している。ここで振り返ったデータ分析同様、今後、その結果に基づいた方針検討を行った上で多少なりとも実験を実施し、結果が得られた折にはこちらも同様に記事として公開することを目指しているが、このような形で活用の成果を公表することが、MIDIファイルを利用させてもらう立場として可能な「応答」の一つの方法ではないかと考えている。

上述のような様々な制約はあるものの、それでは分析しても意味のある結果が得られなかったかと言えば、必ずしもそうとは考えない。（もし、本当にそのように判断したのなら、公開は控えることにしたであろう。）繰り返しになるが、これまでマーラーの作品について指摘されてきた特徴が、データ分析の結果と整合的であることが確認できれば、それだけでもデータ分析を実施した意義は充分にあると考えるし、非常に限定され、単純化された特徴量からさえ、そうした手がかりのようなものが確認できたことに寧ろ驚きを感じた程であった。

実際に和音の出現頻度にしても、長短三和音の交替にしても、マーラーの音楽が持つ複雑で重層的な構造のほんの一断面に過ぎない。和音については（実際には、基本データとしては推測を行った結果が存在するのだが）、解離・密集の区別も、転回形の区別もないし、機能和声において基本中の基本である筈のドミナントとトニックの区別すら行っていない。ごく基本的なこととして、和音の機能を特定するためには主音がわかっている必要があるが、現象論的にアプローチする限り主音の決定の方が和音のパターンの遷移から浮かび上がってくるものであるという循環があるのに対して、ここでは後者のアプローチを採用しているためである。勿論、分析する人間が外から主音が何であるか、調性が何であるかを与えることは可能だが、ここでの関心は、そうした知識なしでデータから何が導き出されるかの方にある。専門の音楽学者の指摘は、非常に高度な前提知識の上に成り立っているから、その指摘をそのままデータ分析によって検証するのは困難であるので、遥かに肌理の粗い特徴量を通して、そうした指摘と矛盾せず、寧ろその傍証となるような傾向が発見できればここでの目的は達成されたことになると考える。

一方において、これまで指摘されたことのないような結果が得られた場合に、それをどのように解釈するかというのも問題含みであり、それが意味のない偶然なのか、それとも一見したところでは気付かれないような隠れた特徴を捉えたものであるのかの判断もまた難しく、結果的に私にできることと言えば、とにかくも、ある条件下で集計・分析を行ったら、しかじかの結果が得られたという事実を記録して公開することに留まらざるを得ない。ここでは分析結果について、分析の入力となったデータとともにＲ Studioを用いた分析のログを含めているが、それは私個人では判断できず、他者の判断を仰がざるを得ないものについて、他者による検証ができるように分析の具体的な内容をアーカイブすることが私のなしうる最善であるという認識によっている。既にどこかで高度な分析が行われていて、単に私がそれにアクセスできないだけかも知れないが、現実問題として知る限り、ここで行っているような報告に接する機会はないのであれば、結局私にできることは、将来そのような分析がマーラーの作品に対して行われるまでの間の繋ぎとして、自分が確認した内容を報告することの他ないのである。あわよくば将来行われるであろうより高度な分析の呼び水となれば、ここでの報告はその役割を十二分に果たしたことになると考える次第である。

（2021.12.19-20記）


［参考］これまでの作業成果の公開経過

1.調査報告・資料：分析の入力となるMIDIファイルの状況について(2016.1)



2.データ公開：基本データとその解析結果について(2019.9/2020.2)

3.五度圏上の重心計算について(2019.9)



4.和音の分類とパターンの可視化(2019.11)

5.考察：マーラー作品のありうべきデータ分析について(2019.11～2020.1)
6.和音の分析への準備（2020.1）



7.和音の出現頻度から見たマーラー作品
7.1.その１～3：小節頭拍対象（2020.2～3）



7.2.その４～６：全拍対象（2020.7）




8.2.その８：他の作曲家との比較の再分析（2021.11～12）

9.長短三和音の交替から見たマーラーの交響曲(2021.12)
11.補遺：未分析和音の解消と同一曲の別データとの比較、歌曲の分析

[ご利用にあたっての注意] 公開するデータは自由に利用頂いて構いません。あくまでも実験的な試みを公開するものであり、作成者は結果の正しさは保証しません。このデータを用いることによって発生する如何なるトラブルに対しても、作成者は責任を負いません。入力として利用させて頂いたMIDIファイルに起因する間違い、分析プログラムの不具合に起因する間違いなど、各種の間違いが含まれる可能性があることをご了承の上、ご利用ください。  

（2021.12.19公開, 2022,5,20その後の経過を追記）


Posted by at
Labels: , ,

0 件のコメント:

コメントを投稿

登録: コメントの投稿 (Atom)