MIDIファイルを入力とした分析：状態遷移パターンの出現確率に注目した予備分析（2024.5.11更新）

1.はじめに

　これまで記事：MIDIファイルを入力とした分析の準備(3)：状態遷移の集計手法の検討と集計結果の公開、MIDIファイルを入力とした分析の準備(4)：状態遷移の集計結果の公開（続き）およびMIDIファイルを入力とした分析の準備(6)：状態遷移の集計結果の公開（補遺その2）にて、状態遷移の集計方法の検討、検討内容に基づいた集計結果を公開を行い、更に本格的な分析の予備作業として、状態遷移パターンの多様性についての確認と簡単な分析を行った結果を記事：後期マーラーの「挑戦」？：MIDIファイルを入力とした分析：状態遷移パターンの多様性に注目した予備分析において報告しました。今回はその続きとして、集計した状態遷移パターンの出現確率についての集計・分析の結果を報告します。

　前回の分析では、状態遷移パターンの出現頻度ではなく、パターンの異なり数にフォーカスし、いわばパターンの多様性の観点から、マーラーの作品間に見られる傾向の違いや、他の作曲家の作品との比較を通して見たマーラーの作品の特徴を調べてみました。その結果、マーラーの作品は状態遷移の多様性において際立っており、更に後期になればなるほど多様性が増大し、深い状態遷移パターンにおいては多様性が極限まで拡大していくという点がユニークな特徴であることを確認しました。

　そこでここではいよいよ一般的に状態遷移の分析において行われるように、パターンの出現頻度にフォーカスし、その出現確率の偏りや不確実性の大きさを調べてみることにします。通常、状態遷移のプロセスは、マルコフ過程として捉えられることが多く、またその特徴量としてはエントロピー（情報量）に注目することが多いのですが、ここではマルコフ過程としてのエントロピーの計算の前に、和音の出現確率（状態遷移パターンとしてみた場合には深さ＝0に相当）、状態遷移パターンの出現確率のエントロピーを計算してみることにします。そして最後に参考情報として、比較的計算が容易な単純マルコフ過程としてみた場合（これはこれまで公開してきた集計結果では、深さ＝1の場合に相当します）のエントロピーの計算を行い、その結果と比較できるようにしました。

　結果を先回りして述べると、今回の分析結果を眺めるにあたり、エントロピーという量の定義を念頭において、どうしてそういう結果になったかを理解する必要がありました。そしてその過程で、幾つかの補足的な計算を行い、その結果とともに以下では報告させて頂くことになります。また、計算対象として、以下の分析条件に記載する通り、和音のパターン（例えば「長三和音形」）のみを状態とする(pcls)条件での集計結果を用います。更にこの集計結果は、休止の拍は当然として、単音・重音の拍はスキップし、同じ和音パターンの連続もスキップした系列となっていること、更に、これはこれまでも常に問題になってきた点ですが、同じ和音パターンには、ある和音の移置・転回も含まれますから、機能的には異なる和声として区別されるべきものを区別していないという点に留意すべきと考えます。

　要するに、ここで計算対象としている系列は、通常、楽曲分析において楽典の知識を有する分析者が抽出する和声進行とはかなり異なったものであるという点は強調し過ぎてもし過ぎということはありません。和音のパターンの出現頻度のような特徴量ならば、テクスチュアのような表層的なレベルを扱っているというような見方が可能でしょうが、状態遷移パターンを扱う今回の分析では、「聴いた感じ」とはかなり異なった情報を抽出していると言えると思います。つまり人間の分析者が行ったかも知れない分析を自動化したという見方は本稿で報告する内容についてはできないと考えます。実はこれは本稿をお読み頂いた方の一人から頂戴した指摘をそのまま受け入れて記載させて頂いているのですが、それに意味があるかどうかは措いて、人間ではなく、機械が楽曲を（人間とは異なった視点で）「分析する」としたら、という「ありえるかも知れない分析」の一つの可能性を示したものと見做すのが適切と考えます。（勿論ここでのケースに限れば、機械が自分で分析条件を設定し、興味深いパターンを発見するといった水準には程遠く、分析が「つまらない」ものであることの責任は、ここでは偏に私に存するわけですが。）

　一連の計算と計算結果の分析をした上での率直な感想を申し上げれば、パターンが多くなりすぎることと、「差分」「変化」ではなく単独で定義できる「状態」を対象とするという点を踏まえて、和音のパターンのみを状態とする(pcls)条件を用いたわけですが、その結果は、何をパターンとするかに関して余りに人間の感覚から離れすぎてしまって結果の意味づけを行うことが困難であるというように感じています。後述するマルコフ過程として見た場合の「吸収的状態」の発生に関しても、パターンが多すぎて状態遷移の経路が一意に決まる方向性も考えられる一方で、パターンが過度に同一視された結果、人間にとっては異なるものが同一のパターンと判定された結果、その条件限りでの「吸収的状態」が発生するといった方向性も考えられそうです。従って、状態遷移の分析を本格的に行うのであれば、せめてもう少し「変化」をきめ細かく捉えた条件で生成した系列を用いて行うのが適切ではないか、というのが現時点での偽らざる認識です。本稿を「予備分析」としているのは、そうした点を踏まえて、分析手順を確認し、起こりうる問題を事前に把握して検討することで、来るべき本格的な分析に備えるといった目的があるからです。

　上記のような事情を踏まえ、ここでは従来行ってきたような分析結果に基づく対象の作品に関する検討は行わず、分析の報告のみを行います。

　なお、本稿で報告している分析はごく初歩的なものであり、Webで多数公開されている情報理論についての説明をご覧頂ければ十分に理解可能なものですので、本稿では情報量としてのエントロピーの定義や計算方法についての説明は割愛させて頂き、それらについての知識を前提に分析方法や分析結果についての記述を行わせて頂きますので、予めご了承の程よろしくお願いします。

2.分析条件

　上記を踏まえ、以下のようにレイアウトした分析を行うことにしました。

対象とするデータ：状態遷移をマルコフ過程として扱った場合のエントロピー（記憶を持つ情報源についての条件付きエントロピー）ではなく、無記憶情報源について出現する状態遷移パターンの出現確率からエントロピーを計算する場合に限ると、これまで報告してきたどの条件の集計結果でも計算はできますが、最後に単純マルコフ過程として捉えた場合のエントロピーを計算して比較することを踏まえ、MIDIファイルを入力とした分析の準備(6)：状態遷移の集計結果の公開（補遺その2）で公開した、和音のパターン（例えば「長三和音形」）のみを状態とする(pcls)条件での集計結果を用いることにします。深さに関しては、無記憶情報源について出現する状態遷移パターンの出現確率からエントロピーを計算する際には集計したすべての深さ（深さ0（単独の和音に相当）～深さ5）を用いますが、マルコフ過程としてのエントロピーの計算は、比較的簡単に計算できる単純マルコフ過程の場合（深さ＝１に相当）のみとしました。

分析手法：今回はタイトルには予備分析とあるものの、実際にはエントロピーの計算を行った結果を集計・報告するだけです。計算にあたっては従来から用いてきたＲ言語にあるエントロピー計算用のライブラリ(entropy)とマルコフ過程用のライブラリ(markovchain)を用いました（そのためR言語のバージョンアップを行い、バージョン4.3.1を使用しています）。状態遷移パターンの出現頻度・確率に関するエントロピーは単純に公開している集計結果をentropyライブラリのentropy関数に渡すだけです。エントロピーは対数の底として何を用いるかにより値が異なりますが、ここでは情報量としてのエントロピーで普通に用いられるlog2を用いました。単純マルコフ過程としてのエントロピーの計算で必要となる定常分布の計算にはmarokovchainライブラリのsteadyStates関数を用いました。steadyStatesには状態遷移マトリクスを渡す必要がありますが、これは集計結果から事前に計算をしておいたものを用いました。（本稿末で公開しているデータに含めてあります。）状態遷移マトリクスの作成は、通常のマルコフ過程の場合の分析の場合には、観測によって得られたサンプルは無限に続く系列の一部であるとして推定の上で行われます。markovchainライブラリでもサンプルの系列を基に、様々なタイプの推定に基づいて状態遷移マトリクスを計算する関数(createSequenceMatrix)が用意されていますが、ここでの分析対象である音楽作品は有限の確定した系列を持っており、前提が異なります。従ってここでは公開済の結果からそのまま生成した状態遷移マトリクスを用いました。 

　これは技術的なディティールに属する話かも知れませんが、サンプルそのものから直接状態遷移マトリクスを作成する際に系列がある特徴を持っている場合、問題が生じます。具体的には、単純マルコフ過程として見た場合なら系列の末尾に出現する和音が、それまでに一度も出現したことがない場合です（多重マルコフ過程なら、多重度に応じた長さの和音の部分系列が末尾のみに用いられる場合です）。その和音に続く和音はありませんから、その和音から他の和音への遷移確率は0となってしまい、状態遷移マトリクスを作成する条件を満たしません。このケースについては、その最後の和音を所謂「吸収的状態」と看做し、その和音に続くのは確率1でその和音自身のみであるという閉包として系列を一つ追加してやることで状態遷移マトリクスを作ることができます（ちなみにこの件とは直接の関係はありませんが、今回対象としている和音の系列は、同一和音の反復を取り除いたものを用いているので、この操作をしなければ同一和音が続く遷移は含まれません）。具体的な作品について単純マルコフ過程として見た場合にこのケースは例外的に感じられるかも知れませんが、例えばピカルディ終止のようなものはたちまちに思い浮かびますし、深さが大きくなり、マルコフ過程としての多重度が上がれば、特定の和音の系列が一度きり作品の末尾にしか出現しないというのはあってもおかしくないように思えます。古典期によく見られるような、末尾に反復記号がついて最初に戻って全く同じ系列が反復されるケースは当て嵌まらない一方で、マーラーが志向したような、文字通りの反復を嫌う有機的な音楽の展開を志向した作品の場合には、寧ろ意図的にそのように末尾が構成される可能性すらあるでしょう。また、曲の長さとは必ずしも関係せず、短い曲であっても（否、寧ろ短い曲の方が）末尾にそれまでに出てこない和音を出して終えるということは起こりそうで、実際に今回の一連の分析にあたって、いつも分析用のプログラムの動作確認や、分析手順の確認のサンプルとして用いている歌曲「私はやわらかい香りをかいだ」の今回の分析用に生成した系列を二重マルコフ過程としてみた場合にそれが起きることを確認しています。しかも状態遷移マトリクスが生成できても、それで問題解決というわけには行かないのです。この点についてはもう一度後で述べますが、結論だけ言えば、吸収的状態を含むマルコフ過程のエントロピーは0になってしまい、作品の特徴を分析するための手段としては意味がなくなってしまいます。本稿では単純マルコフ過程のエントロピーの計算結果のみを示し、深さ2以上の多重マルコフ過程としてのエントロピーの計算結果を示すのを保留したのにはこの点が関わっています。

分析対象のデータ：前回の予備分析と同じで、以下の通りです。（括弧内は以下に示す分析結果におけるラベルを表します。）集計・分析は基本的には曲単位で行いましたが、マーラーの作品に関してのみ、個別の作品毎ではなく全交響曲での集計に基づく計算を一部では行っています。

• マーラー：第1～10交響曲、大地の歌(m1～10, erde)、全交響曲(all)
• ブラームス：第1,2,3,4交響曲(jb1,2,3,4)
• ブルックナー：第5,7,8,9交響曲,第9交響曲フィナーレ断片つき(ab5,7,8,9,9f)
• フランク：交響的変奏曲、交響曲 (cfsymvar,  cfsym)
• ラヴェル：左手のための協奏曲、ピアノ協奏曲ト調、優雅で感傷的な円舞曲、ダフニスとクロエ第2組曲 (mr_lpc, mr_pc, mr_vns, mr_dcl)
• シベリウス：第2,7交響曲、タピオラ (js2,7, jsTapiola)
• タクタキシヴィリ：ピアノ協奏曲第1番 (ot)  
• ヤナーチェク：シンフォニエッタ (lj)
• ドヴォルザーク：第7,8,9交響曲 (dv7,8,9)
• スメタナ：我が祖国 (bs)
• カール・シュターミッツ：クラリネット協奏曲第3番、第10番、2本のクラリネットと管弦楽のための協奏曲、フルート協奏曲ト長調作品29,、 ヴィオラ協奏曲ニ長調作品1 (st1, st2, st3, st4, st6)
• ゼレンカ：聖セシリアのミサ、 聖霊のミサ、信仰のミサ、慈善のミサ、ミゼレーレニ短調 (zwv1, 4, 6, 10, 56)

3.分析結果

(1) 状態遷移パターンの出現確率のエントロピー計算結果

(A)マーラー作品間の比較（深さ=0,1,5のみ）

(B)マーラーと他の作曲家の作品との比較（深さ=0,1,5のみ）

　マーラーの作品間の比較に注目すると、深さ=0,1では概ね後期になると増大していたものが、深さ=5においては後期は寧ろ中期に比べて低下していることがわかります。全般に前回の分析において、和音のパターンや状態遷移パターンが分析対象総数との割合で非常に高い場合において、エントロピーは寧ろ低くなる傾向があることがわかります。

　これはエントロピーの定義そのものがその原因であるらしいことが、以下のような簡単な計算から推測できます。シャノン・エントロピーの場合、2のn乗のパターン数で全てのパターンが等確率で生じる場合にエントロピーは最大となり、nになります。パターン数8(2の3乗)のそれぞれのパターンの発生確率が等確率であれば、エントロピーは３です。逆にエントロピーが小さくなるのは、生起しうるパターンのうちの1つが偏って高確率で生起する場合です。つまりエントロピーはパターン数に応じた量であり、各パターンがそれぞれたかだか1回しか起きない場合には、系列の長さに応じた値となることがわかります。系列長が決まればとりうるエントロピーの上限が決まることになります。

　ここで対象としているのは有限の長さを持った音楽作品の拍のうち、三和音以上が鳴っている箇所を抜き出して作成した系列における和音の出現確率や和音の遷移のパターンの発生確率です。従ってパターンの異なり数の系列の長さに対する割合が100%に近づくケースでは、エントロピーの大きさは系列の長さの影響を受けやすくなることが想定されます。つまり作品自体が長いか、テクスチュアが厚くて三和音以上が鳴っている箇所の割合が大きい作品程エントロピーは高くなります。

　そこで系列長xが決まった時に取りうるエントロピーの最大値（系列の全ての時点で異なるパターンとなる場合、つまりパターン数もxの場合に相当します）と、更にパターン数yが決まった時に、その系列長xでそのパターンが取りうるエントロピーの最小値（こちらはパターンのうち、ある1つのパターンを除く他のパターンはそれぞれ1回のみ出現し、ある1つのパターンだけが系列長とパターン数の差分であるy-x+1回出現する場合に相当します ）とを計算し、実際の作品の持つエントロピーとの比較をすることによって、とりうるエントロピーの値の幅がどれくらいで、実際の作品のエントロピーがその中のどのあたりに位置しているのかを確認することが考えられます。例えば系列長x=8の時、シャノン・エントロピーの最大値は3であり、系列長x=8においてパターン数y=5の時、シャノン・エントロピーの最小値は2となります。系列長に対するパターン数の割合が大きくなり、系列長とパターン数との差が小さくなると、エントロピーの幅は小さなものになっていきます。例えば既に取り上げた例、系列長x=8の場合なら、パターン数y=5の場合のシャノン・エントロピーの最小値は2ですから最大値3との幅は1ですが、パターン数y=6になるとシャノン・エントロピーの最小値は2.405639、パターン数y=7なら最小値は2.75となり、最大値との幅は0.25まで縮まります。またパターン数は深さが浅ければ小さく、パターンが深くなれば大きくなっていきますから、エントロピーの幅は、深さが浅ければ大きく、深さが深くなるにつれて小さくなっていきます。

　以下に示すのは、このアイデアに基づく計算の結果です。

　(2-i)のグラフでは青で下限値を、灰色で上限値を示して比較できるようにしています。実際に、青の下限値と灰色の上限値の幅は、深さが深くなると急速に狭まるのが確認できます。またマーラーの作品の場合、特に深さが深くなるにつれて系列長に対するパターン数の割合が極めて大きなものになるため、深さが深い場合においては、実際上、系列長がほぼエントロピーの大きさを決めていることが確認できます。

(2-i)状態遷移パターンの出現確率のエントロピー計算結果（上下限つき）

(A)マーラー作品間の比較（深さ=0,1,5のみ）

(B)マーラーと他の作曲家の作品との比較（深さ=0,1,5のみ）

　(2-ii)では左側（オレンジ）が下限値とのマージン、右側（青）が上限値とのマージンを表します。

　特に深さ=5においてパターンの異なり数の系列の長さに対する割合が100%に近づくケース（マーラーであれば特に後期作品、他の作曲家との比較においてはマーラーの第1、第6交響曲（この2曲はソナタ形式の第1楽章において提示部の反復を持つ点がパターンの異なり数の系列の長さに対する割合に大きく影響しています）以外が顕著ですが、それ以外でもフランクの交響曲、ラヴェルやゼレンカの一部作品などが該当します）では、マージンがほとんどないことがわかります。従って、エントロピーについてはマーラーの大地の歌、第9,10交響曲が、より長大で変化に富んだ第6,8交響曲に比べて大きな値をとり得ないことがわかります。

(2-ii)状態遷移パターンの出現確率のエントロピーの上下限とのマージン

(A)マーラー作品間の比較（深さ=0,1,5のみ）

(B)マーラーと他の作曲家の作品との比較（深さ=0,1,5のみ）

　最後に、いよいよマルコフ過程として見た場合のエントロピーを計算した結果を示して、本稿を終えたいと思います。本稿で「深さ」と述べてきたのは、謂わば記憶の深さのことであり、マルコフ過程としてみた場合には多重度に相当します。ここでは比較的簡単に計算できる深さ=1の場合、つまり単純マルコフ過程としてみた場合のエントロピーの計算結果のみを示します。

　実は既に多重度=2のマルコフ過程と看做した場合について計算をしてみたのですが、markovchainライブラリのsteadyStates関数で定常状態を求めるところで、作品によってはある状態のみが確率1となり、他の状態が0となるようなケースが出現することがわかりました。当然この場合、定常状態におけるエントロピーは0となってしまいます。

　実はこのケースは、本稿2節で分析条件について述べた際に触れた吸収的状態の存在が関わっています。ここでは一例として何種類かの和音が1回ずつ順次出現するような系列をもった作品を仮定します。この場合、各和音および状態遷移パターンは等確率に出現しますので、まず和音の出現頻度に関するエントロピーはその系列でとりうる最大値となり、その値は系列長で決まります（系列長が2のn乗なら、エントロピーはnになります）。またこのケースでは単純マルコフ過程の状態遷移マトリクスは、全ての行について、それぞれ異なる1列だけが確率1で残りの列は全て0になりますが、最後に出現する和音の行はその和音に続く和音がないため全体の和が0となってしまうため状態遷移マトリクスが生成できず、そのままでは定常分布の計算もエントロピーの計算もできません。そこで最後に出現する和音についてはクロージャ（閉包）として自分自身のみに確率1で遷移することにします。これにより状態遷移マトリクスが構成でき、それに基づく定常分布の計算はできますが、その結果は最後の和音のみ1で他は0という結果となります。マルコフ過程のエントロピーは状態遷移マトリクスの各行の状態の確率分布のエントロピーをその状態の定常状態における発生確率で乗じたものの総和ですから、結果として1次以上のエントロピーは0になるというわけです。

　ではこのケースは例外的なケースなのかと言えば、実際にはそうとは言えないようです。本稿2節で分析条件について述べた際にも述べた通り、マーラーの作品では歌曲「私はやわらかな香りをかいだ」を二重マルコフ過程として見た場合でも起こりましたし、同様のことが少なくとも第3交響曲、第7交響曲でも起こることを確認しています。これは確認したわけではない推測ですが、多重度が上がれば上がるほど、状態として扱われる和音の系列は長くなるので、末尾に吸収的状態を持つ確率は大きくなると想定されます。

　これは見方を変えれば、離散力学系として見た場合に、必要なだけ長い時間を与えた時、ある音（の系列）に収束してしまうような系に該当するのかも知れません。（実際、三輪眞弘さんの「虹機械」の系列の作品ではそのような力学系が用いられています。ただしそのままではなく、その上で作品構成上の工夫が凝らされているわけですが。）これはウルフラムのセル・オートマトンの分類では、タイプ1の秩序状態になるグループに該当します。こういう言い方をすると、セル・オートマトンのようにタイプ分けができるのではないかという発想になってそれならば面白そうなのですが、現時点でわかっているのは、上記のように、最後にそれまで未知のパターンが現れるという、状態遷移系列全体からすれば局所的な特徴を持つときにそうなるということで、それ以前の系列がどんなものであるかは全く関係がありません。そのような局所的な条件でエントロピーが求まったり求まらなかったりするのだとしたら、その限りにおいては、マルコフ過程としてのエントロピーは作品の特徴づけとしてはあまり適切でないということになるようにも思います。

　これはもともと無限の系列の一部が観測されたものとしてサンプルを扱うマルコフ過程の前提が、決定した有限の長さの系列を持ち、特にその最後の系列に特徴を持ったパターン（音楽理論上は「カデンツ」とか「終止形」と呼ばれるものに対応するものと考えられます）が出現することも珍しくない過去の或る特定の文化的伝統に属する音楽作品という対象にそぐわないという点が露呈されたものと考えることができるように思います。そもそもがそれ自体は統計的な対象ではなく、過去に生成され、閉じた決定論的な過程を持つウニカート（一点もの）な存在である音楽作品の分析を目的として統計的な処理を行うことの持つ意味合いを考えた上で、どのような場合にどのような分析方法を用いるのが適当かを検討すべきように感じます。別のところ（備忘：mathesis singularisとしての「マーラー学」?―アドルノのモノグラフを手掛かりにして―）で、本稿を含む本ブログのアプローチを「個別学」mathesis singuralisとして規定することを試みましたが、「個別学」という観点から、ある分析の結果にどのような意味があるのか、どのような分析が適切なのかが問われているようにも思います。

　結果だけから言えば、今回報告した対象作品に限っては、単純マルコフ過程として見た場合には問題が起こらなかったため、以下にその計算結果を報告しました。一方で既述の通り、二重マルコフ過程として見た場合には上記の問題が起こることを確認しており、しかも繰り返しを厭わずに言えば、それが起きる確率は多重度が増大すればするほど高くなると想像されます。勿論、技術的には、問題となる最後の和音ないし和音の系列を除外した系列で計算をするといった荒っぽい解決方法もあるでしょうし、エントロピーのような巨視的な統計量であれば、必ずしも不適切な操作ではないかも知れないとはいえ、もともとが「カデンツ＝終止形」の近似として状態遷移パターンを捉えてその特徴を調べることが目的であったことを思えば、全曲か、個別の楽章かは措いても曲の末尾を取り除いた系列の分析には強い違和感を感じます。そこで差し当たりここでは単純マルコフ過程として見た場合のエントロピーについてのみ、あくまでも参考として報告することにします。繰り返しになりますが、マルコフ過程としてのエントロピーの計算が前提としている「定常状態」を想定することが、ここでの分析の対象と目的にとってどのような意味を持つのかに（控えめに言っても）議論の余地があり、適切なのかに疑念があるからです。その限りにおいては、本稿でここまで報告してきた、無記憶情報源として扱い、状態遷移パターンの単なる出現確率に基づいた計算結果の方が、ここでの主旨に照らした限りでは妥当であるという見方もできるように思います。

（3）（参考）単純マルコフ過程（深さ=1）として見た場合のエントロピー

(A)マーラー作品間の比較

(B)マーラーと他の作曲家の作品との比較

　ここで特徴的に感じられる点を簡単に述べるならば、以下のようになるでしょうか？

（A)マーラーの作品間の比較においては、初期作品は作品の長さに比して素朴で簡素な印象があり、中期作品（ここでは第6、第7に加えて第8）において複雑さが頂点に達したのが、「大地の歌」に至って、初期の素朴さとは異なった意味合いでの「簡潔さ」が現れるが、第9,10は中期と同様の複雑さを備えているといった印象に対応するような結果が得られているように感じます。

　(B)マーラーと他の作曲家の作品との比較においては、マーラーの作品の複雑さは際立っており、和音や状態遷移パターンの多様性においてはマーラーと比肩するレベルにあったラヴェルやシベリウスの作品のエントロピーが必ずしも高くなく、ブルックナーの第5交響曲、フランクの交響曲やドヴォルザークの第7交響曲、スメタナの「我が祖国」といった作品の方が高い値となっていること（ここでもその原因の一つとして作品の長さが関わっているというのは考えられますが、ブルックナーやドヴォルザークの他の作品やブラームスの作品を考えると、それだけではなさそうです）、特にシベリウスでは後期に向けて作品が圧縮される傾向とその内部における多様性の拡大といった相反する傾向がパターンの多様性と単純マルコフ過程としてのエントロピーとの対比によって読み取れるように思われれることが印象的です。

[追記]二重マルコフ過程（深さ=2）として見た場合のエントロピー計算結果

参考までに、二重マルコフ過程（深さ=2）として見た場合に吸収的状態を含むために定常状態が単一の状態に収束してしまい、エントロピーの計算ができなくなるケースについて、吸収的状態を除去して計算した結果を以下に掲げます。吸収的状態を含む作品は、以下の通りです。

• マーラー：第3交響曲（第1楽章末）(m3)、第7交響曲（第4楽章末）(m7)
• ブルックナー：第7交響曲(ab7)
• ラヴェル：ピアノ協奏曲(mr_pc)・優雅で感傷的な円舞曲(mr_vns)
• ヤナーチェク：シンフォニエッタ(lj)
• スメタナ：「我が祖国」(bs)
• ゼレンカ：聖霊のミサ、慈善のミサ、ミゼレーレニ短調 (zwv4, 10, 56)

(A)マーラー作品間の比較（深さ=1（青）,2（オレンジ））

(B)マーラーと他の作曲家の作品との比較（深さ=1（青）,2（オレンジ））

　なお、個別のどの作品のどこの部分で吸収的状態が生じるかどうかには、今回対象とした系列の性質が少なからず影響することを付記させて頂きます。つまり、今回は、各作品の各拍を対象に、三和音以下（つまり休符・単音・重音のみ）の箇所をスキップし、かつ同じ和音の繰り返しもスキップし、三和音以上からなる系列を各楽章毎に構成し、曲毎にエントロピーを求めています。従って対象の系列には自分自身に遷移するパターンは含まれていません。現実の作品では途中に同じ和音の繰り返し、休止、単音や重音の拍が含まれるので、それらを考慮すれば吸収的状態にはならない可能性があります。

(2023.9.15公開, 9.17-18 技術的な側面での補足を追記。9.21 二重マルコフ過程として見た場合のエントロピー計算結果を追記。9.23 1.はじめに　に本稿の分析の制限について追記。2024.5.10,11 系列長が決まった時のエントロピーの最大、および系列長、パターン数が決まった時のエントロピーの最小の定義を正確なものに修正して、例示を追加。)

[付録] 公開データの内容

(A)マーラーの作品間の比較

　gm_A_cdnz3_pcl_transition.zip には以下のファイルが含まれます。

(A-1）入力データ

• *_A_cdnz3_pcl_transition.csv：状態遷移マトリクス

(A-2)出力データ

• sym_A_pcls3.xlsx：系列長・パターン数のデータおよびエントロピーの計算結果

(A-3)画像

• shanon-entropy-pcls(depth=[0-5]).jpg：和音・状態遷移パターンの出現確率に基づくエントロピーのグラフ
• minmax[0,1,5].jpg：和音・状態遷移パターンの出現確率に基づくエントロピーの計算結果とその上下限の比較グラフ
• margin[0,1,5].jpg：和音・状態遷移パターンの出現確率に基づくエントロピーの計算結果とその上下限とのマージンのグラフ
• markov1.jpg：単純マルコフ過程としてのエントロピーのグラフ

(B)マーラーと他の作曲家の作品との比較

　control_A_cdnz3_pcl_transition.zip には以下のファイルが含まれます。

(B-1)入力データ

• *_A_cdnz3_pcl_transition.csv：状態遷移マトリクス

(B-2)出力データ

• control_A_cdnz3_pcl.xlsx：系列長・パターン数のデータおよびエントロピーの計算結果

(B-3)画像

• shanon-entropy-pcls(depth=[0-5]).jpg：和音・状態遷移パターンの出現確率に基づくエントロピーのグラフ
• minmax[0,1,5].jpg：和音・状態遷移パターンの出現確率に基づくエントロピーの計算結果とその上下限の比較グラフ
• margin[0,1,5].jpg：和音・状態遷移パターンの出現確率に基づくエントロピーの計算結果とその上下限とのマージンのグラフ
• markov1.jpg：単純マルコフ過程としてのエントロピーのグラフ

[参考]

　markov_entropy_A_cdnz3_pcl.zip には以下のファイルが含まれます。

(B-1)出力データ

• markov_entropy_A_cdnz3_pcl：単純マルコフ過程・二重マルコフ過程として見た場合のエントロピー計算結果。数値に*がついている箇所は、吸収的状態を含むため定常状態が収束してしまい、エントロピーの計算ができないため、吸収的状態を除去した計算結果となっています。詳細は記事本文をご覧ください。

(B-2)画像

• markov2_gmsym.jpg：マーラーの交響曲間の比較
• markov2_control.jpg：マーラーと他の作曲家の作品との比較

[ご利用にあたっての注意] 公開するデータは自由に利用頂いて構いません。あくまでも実験的な試みを公開するものであり、作成者は結果の正しさは保証しません。このデータを用いることによって発生する如何なるトラブルに対しても、作成者は責任を負いません。入力として利用させて頂いたMIDIファイルに起因する間違い、分析プログラムの不具合に起因する間違いなど、各種の間違いが含まれる可能性があることをご了承の上、ご利用ください。

MIDIファイルを入力とした分析：状態遷移パターンの出現確率分布の比較(3)マーラーの交響曲間の比較（続報）

 1.はじめに

　記事：MIDIファイルを入力とした分析：状態遷移パターンの出現確率分布の比較において、マーラーの交響曲全体の状態遷移パターンの出現確率分布と、各作品の状態遷移パターンの出現確率分布との比較を行った結果を報告しました。2つの確率分布の比較の方法としては、カルバック・ライブラー・ダイバージェンスと相互情報量の2つを用い、更に参考として、状態遷移パターンの出現確率のエントロピーについて全体と各作品とを比較した結果も報告した他、カルバック・ライブラー・ダイバージェンスと相互情報量を計算するために用意した状態遷移パターンの出現確率分布を表すベクトル自体を特徴量としてクラスタリングを行った結果を併せて報告しました。ここでは上記記事の続報として、上記記事では深さ0および1（つまり和音（ピッチクラスの集合）単独の出願確率および和音の遷移（和音（ピッチクラスの集合）の単純な前・後の2つ組）の出現確率）のみを報告したのに対して、深さ2～5までを含めた全体を報告します。本記事でこれまで一連の記事で報告してきた和音の状態遷移パターンについての集計・分析の報告は一区切りとなるため、参考として、既に報告済の内容の再掲になりますが、状態遷移確率分布のエントロピー、マルコフ過程としてみた場合のエントロピーの計算結果、前回記事で報告した内容も含めて再掲し、本記事のみで一覧できるようにします。一方、計算結果に対するコメントはこれまでの報告同様行わずに、集計・分析条件の説明と結果の報告のみを行うこととし、別にこれまでの一連の集計・分析を通じてわかったことや、やってみて気づいたこと、感じたことに関する記事を起こす予定です。

2.集計・分析の条件

2.1. カルバック・ライブラー・ダイバージェンスおよび相互情報量の計算（追加あり）

　上掲記事におけるのと同様、単音・重音は対象外(cdnz3)/移置・転回を区別しない(pcl)条件で、今回は各拍(A)毎に抽出した和音パターンの系列のみを対象としました。計算対象となる状態は、既報の深さ0（和音＝ピッチクラスの集合のパターン）と深さ1（和音＝ピッチクラスの集合の状態遷移パターン、単純マルコフ過程の状態遷移パターンに相当）に加え、深さ2～5も含めました。

　計算にあたっては上掲記事におけるのと同様、従来から用いてきたR言語にあるエントロピー計算用のライブラリ(entropy)をRstudio上で使用しました。R言語のバージョンは4.3.1です。entropyライブラリにはカルバック・ライブラー・ダイバージェンスと相互情報量を計算するプラグインが用意されています（それぞれKL.pluginとmi.plugin）ので、それを利用して計算を行いました。既述の通り、特にカルバック・ライブラー・ダイバージェンスは、所謂「距離」の公理を満たしておらず非可換ですが、ここでは個別の作品における確率分布を分子側、交響曲全体における確率分布を分母側として計算を行っています。つまりKLD(P||Q)とした時、P：各曲、Q：全体です。（交響曲全体で出現するパターン（Ｑ側）が個別の作品（P側）で出現しない、つまり確率0であることはありえるが、その逆はないため。逆向きの計算では分母が0になり、値が無限大になってしまいます。）なお、交差エントロピーは今回の報告内容では割愛しましたが、これは各曲のエントロピーとカルバック・ライブラー・ダイバージェンスから求めることができます。（即ち、H(P, Q) = H(P) ＋ KLD(P||Q)）

2.2. 各交響曲の状態パターンの出現確率のエントロピー・交響曲全体の状態パターンの出現確率のエントロピーとの差分・マルコフ過程としてのエントロピー（再掲）

　冒頭述べたように、前回の記事で報告済の個別の作品における状態パターンの出現確率のエントロピーと交響曲全体の状態パターンの出現確率のエントロピーとの差分の計算結果（深さ0～5）を再掲します。交響曲全体の状態パターンの出現確率のエントロピーが各交響曲の状態パターンの出現確率のエントロピーよりも大きければプラス、小さければマイナスの値を取るように計算しています。今回の報告では差分だけではなく、元データである状態パターンの出現確率のエントロピーの計算結果（各交響曲と交響曲全体）も参考までに示します。同様にマルコフ過程としてのエントロピーの計算結果も再掲しますが、これは既に過去の記事で報告済の通り、状態遷移マトリクスから計算される定常状態が、深さが大きくなると収束してしまう傾向が見うけられたことから、単純マルコフ過程（深さ1に相当）、二重マルコフ過程（深さ2に相当）のみの計算結果です。

2.3. 状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング（追加あり）

　従来から用いてきたR言語を用い、R言語の階層クラスタリング関数hclustで、complete法により計算を行いました。今回の分析の特徴として、各作品の状態遷移パターンの出現確率分布のベクトル(m1～m10)に加えて、交響曲全体の状態遷移パターンの出現確率分布のベクトル(all)も含めてクラスタリングを行うことで、全体と各作品の距離が視覚的に確認できるようにしてみました。既報の深さ0と深さに加え、深さ2～5も含めました。

3.集計・分析結果

3.1.カルバック・ライブラー・ダイバージェンスおよび相互情報量の計算結果（KLD(P||Q)とした時、P：各曲、Q：全体）

(A)カルバック・ライブラー・ダイバージェンス（各交響曲、対・交響曲全体）

(B)相互情報量（各交響曲、対・交響曲全体）

(参考1)出現確率エントロピー（各交響曲および交響曲全体）

(参考2)出現確率エントロピーの差分（Q－P、但しP：各交響曲、Q：交響曲全体）

※後期作品の深さ0の差分がマイナスになっている点に注意。第8交響曲はわずかにプラスだがほぼ0でした。

(参考3)マルコフ過程としてのエントロピー（各交響曲および交響曲全体、深さ＝0：単純マルコフ過程、深さ＝1：二重マルコフ過程のみ）

※交響曲全体（all）の二重マルコフ過程の状態遷移マトリクスから定常状態を計算すると収束するため、交響曲全体（all）の二重マルコフ過程エントロピーは1になっています。

3.2. 状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果（各交響曲および交響曲全体）

(A)深さ＝0

(B)深さ＝1

(C)深さ＝2

(D)深さ＝3

(E)深さ＝4

(F)深さ＝5

[付録]ダウンロード可能なアーカイブファイルgm_sym_A_KLD_MI_cdnz3_pcl_v2.zipの中には以下のファイルが含まれます。

• 入力ファイル（各交響曲および交響曲全体について）
• gm_A_prob_all.csv：和音パターン出現確率（深さ0）：値のみ
• gm_A_prob2_all.csv：状態遷移パターン出現確率（深さ1）：値のみ
• gm_A_prob3_all.csv：状態遷移パターン出現確率（深さ2）：値のみ
• gm_A_prob4_all.csv：状態遷移パターン出現確率（深さ3）：値のみ
• gm_A_prob5_all.csv：状態遷移パターン出現確率（深さ4）：値のみ
• gm_A_prob6_all.csv：状態遷移パターン出現確率（深さ5）：値のみ
• gm_A_frq_all.csv：和音パターン出現頻度（深さ0）：パターンラベル付き
• gm_A_frq2_all.csv：状態遷移パターン出現頻度（深さ1）：パターンラベル付き
• gm_A_frq3_all.csv：状態遷移パターン出現頻度（深さ2）：パターンラベル付き
• gm_A_frq4_all.csv：状態遷移パターン出現頻度（深さ3）：パターンラベル付き
• gm_A_frq5_all.csv：状態遷移パターン出現頻度（深さ4）：パターンラベル付き
• gm_A_frq6_all.csv：状態遷移パターン出現頻度（深さ5）：パターンラベル付き
• 結果ファイル（各交響曲および交響曲全体について）
• hist.txt：R言語の実行ログ
• 画像ファイル
• KLD.jpg：カルバック・ライブラー・ダイバージェンス（対・全体）
• MI.jpg：相互情報量（対・全体）
• pattern-entropy.jpg：状態遷移確率のエントロピー
• pattern-entropy_diff.jpg：状態遷移確率のエントロピーの差分（対・全体）
• hclust_complete_prob_all.jpg：状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果（深さ＝0）
• hclust_complete_prob2_all.jpg：状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果（深さ＝1）
• hclust_complete_prob3_all.jpg：状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果（深さ＝2）
• hclust_complete_prob4_all.jpg：状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果（深さ＝3）
• hclust_complete_prob5_all.jpg：状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果（深さ＝4）
• hclust_complete_prob6_all.jpg：状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果（深さ＝5）
• gm_A_pcl_KL_MI_summary.xlsx
• 状態（パターン）の出現確率（深さ0～5）
• 対全交響曲の出現確率エントロピー差分（深さ0～5）：（Q－P、但しP：各曲、Q：全体）
• 単純マルコフ過程、二重マルコフ過程としてのエントロピー
• 対全交響曲のカルバック・ライブラー・ダイバージェンス（深さ0～5）：（KLD(P||Q)とした時、P：各曲、Q：全体）
• 対全交響曲の相互情報量（深さ0～5）

(2023.12.4)

[ご利用にあたっての注意] 公開するデータは自由に利用頂いて構いません。あくまでも実験的な試みを公開するものであり、作成者は結果の正しさは保証しません。このデータを用いることによって発生する如何なるトラブルに対しても、作成者は責任を負いません。入力として利用させて頂いたMIDIファイルに起因する間違い、分析プログラムの不具合に起因する間違いなど、各種の間違いが含まれる可能性があることをご了承の上、ご利用ください。

MIDIファイルを入力とした分析：状態遷移パターンの出現確率分布の比較(2) 他の作曲家の作品との比較

1.はじめに

　記事：MIDIファイルを入力とした分析：状態遷移パターンの出現確率分布の比較では、マーラーの交響曲全体の状態遷移パターンの出現確率分布と、各作品の状態遷移パターンの出現確率分布との比較を行った結果を報告しました。一方、他の作曲家の作品との比較については、マーラーの同時代以降の作品との比較を企て、一旦公開まで漕ぎ着けたものの、未分析の和音が占める割合が高いことに気付き、意味のある集計・分析にならないと判断し、記事を撤回しました。その経緯は記事：MIDIファイルを入力とした分析：未分析の和音の出現頻度―エントロピー計算結果の同時代以降の作品との比較の記事撤回についてに記載した通りです。そして同記事ではマーラーの同時代以降の作品との比較の替わりに、比較対象としてきた他の作曲家の作品における未分析の和音の出現頻度を報告しました。その結果を踏まえ、本記事では、他の作品との比較をしようとした場合に、未分析の和音の割合が比較的小さくて、マーラーの作品に出現する和音および和音の遷移のパターンの範囲に収まり、その頻度の分布の比較をすることが概ね可能な作品を選択して比較を行った結果を報告します。以下、これまでの記事同様、計算結果に対するコメントはせずに、集計・分析条件の説明と結果の報告のみを行います。

　但し、これまで本ブログで行ってきた、MIDIファイルを入力としたマーラーの作品の分析を通して見た場合、MIDIファイルから自作のプログラムで抽出した拍毎・小節頭拍毎の和音（ピッチクラスの集合）の連なりを分析しようと試みて、最も初期には和音の系列データそのものを時系列データと見做して、時系列データの比較手法を用いたクラスタリングを検討したものの、和音の系列データの各要素は或る次元を持った量ではなく、ピッチクラスの集合をある規則で符号化して数値化したものであるためにうまく行かず、その後は一定の限定した和音の集合に範囲を限定して、その出現頻度に注目した分析を行ってきたのに対して、状態遷移パターンの出現確率分布を用いて、カルバック・ライブラー・ダイバージェンスのような特徴量を用いた比較を行ったり、出現確率分布のベクトル全体を特徴ベクトルと見做したクラスタリングを行うことによって、漸く和音（ピッチクラスの集合）の系列の全体を表す特徴量を用いた分析が可能になったと言えるのではないかと思います。また、個別の作品間の比較や、それらと他の作曲家の作品との比較に留まらず、マーラーの交響曲全体についての特徴量を計算して、それと個別の作品とを比較することが可能になったこともあって、その一部の次元のみを取り出しているに過ぎないとは言え、漸く「マーラー・オートマトン」の出力の全体を捉えた分析に辿り着いたように感じます。

2.集計・分析の方法

これまでに用いてきた以下の特徴量を集計することとします。各項目それぞれの詳細については各特徴量の集計や分析の結果を報告した過去の記事を参照頂きたく、ここでの説明は割愛させて頂きます。

• 単純マルコフ過程としてみた場合のエントロピー
• 和音パターン・状態遷移パターンの出現確率のエントロピー
• 状態数と系列長の比率
• カルバック・ライブラー・ダイバージェンス
• 相互情報量
• 状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング（階層クラスタ分析：complete法）

　このうちカルバック・ライブラー・ダイバージェンスおよび相互情報量については、マーラーの交響曲全曲についての和音パターンおよび状態遷移パターンの出現確率分布を比較対象とした作品のものと比較しますが、比較対象の作品における確率分布を分子側、マーラーの交響曲全体における確率分布を分母側として計算を行うのは、マーラーの各交響曲との比較の場合と同じで、KLD(P||Q)とした時、P：比較対象の作品、Q：マーラーの交響曲全体です。但しマーラーの各交響曲の場合には、交響曲全体で出現するパターン（Ｑ側）が個別の作品（P側）で出現しない、つまり確率0であることはありえるが、その逆はないという条件が成り立ちますが、今回は他の作曲家の作品との比較のため。必ずしも成り立ちません。この時、比較対象の他の作曲家の作品には出現するがマーラーの交響曲には出現しないパターンを含めて出現確率のベクトルを構成すると、計算上、分母が0になり値が無限大になってしまいます。そこでマーラーの全交響曲に出現するパターンのみを対象にして出現確率のベクトルを構成することになりますが、そうすると今度は比較対象の作品に出現するパターンで集計対象にならないパターンが出てきてしまいます。

　今回比較対象の候補とした作品は、記事：MIDIファイルを入力とした分析：未分析の和音の出現頻度―エントロピー計算結果の同時代以降の作品との比較の記事撤回について記載の確認結果を踏まえ、未分析の和音が無いか、あっても極僅かな作品としましたが、その中でも、実際に計算をしてみると、マーラーの交響曲には出現しないパターンを数多く持った作品が出てきてしまいます。また、その割合は当然ですが、和音のパターンについての場合と、状態遷移パターン（ここでは深さ1のみ）についての場合とでは大きく異なります。Ａ、Ｂという和音が出現しても、Ａ→Ｂという状態遷移が生じるとは限りませんし、Ｂ→Ａについても同じことが言えます。従ってある比較対象の作品に出現する和音のパターンが全てマーラーの全交響曲に含まれる場合でも、それら和音の組み合わせである状態遷移パターンについては、その比較対象の作品に出現するパターンがマーラーの全交響曲に出現するとは限りません。そこで本記事の分析にあたっては、そのような未集計のパターンがどれくらい出現するかの集計も同時に行い、結果を報告する対象に含めるかどうかを判断することにしました。

　具体的には、マーラーの全交響曲（gm_all）との比較対象とする作品の候補として、以下を選択しました。

• ブルックナー：第5,7,8,9交響曲(ab5,7,8,9)
• ブラームス：第1～4交響曲(jb1,2,3,4)
• シベリウス：第2,7交響曲、「タピオラ」(js2,7, jsTapiola)
• フランク：交響曲、交響的変奏曲、弦楽四重奏曲、ヴァイオリン・ソナタ(cfsym, cfsymvar, cfsq, cfvp)
• ヤナーチェク：シンフォニエッタ(lj)
• タクタキシヴィリ：ピアノ協奏曲第1番(ot)
• ラヴェル：左手のための協奏曲、ピアノ協奏曲、優雅で感傷的な円舞曲、「ダフニスとクロエ」第2組曲(mr1, mr2, mr3, mr4)

 これらについて、まず上述のように未集計のパターンののべ数を確認します。まずは単独和音パターン（深さ＝0に相当）についての集計結果を示します。

一見して、ラヴェルの作品における未集計和音の数が多いことがわかります。（他の作曲家は全くないか、あっても1曲につき数個。）ラヴェルの作品の系列長は他の作曲家の作品に比べれば相対的に短めですから、系列長の中で占める割合は更に大きいことになります。

　同様に、前後の和音の対からなる状態遷移パターン（深さ＝１に相当）について、未集計パターンを見ますが、こちらはのべ数そのものではなく、対象となる系列長の中で、未集計のものが占める割合を以下に示します。

こちらでもラヴェルの作品の未集計パターンの割合の多さは明らかです。シベリウスの作品も「タピオラ」はラヴェルの作品と同等の割合であり、第7交響曲も高めですが、ラヴェルにおけるように半分前後の割合に達する作品はありません。また、深さ0の集計結果も併せて考えると、ラヴェルについては系列のうちのかなりの割合が実質的に分析の対象から外れてしまうことになり、結果の意味合いについて留保がつくことになります。

　そこで本記事の分析においては、ラヴェルの作品は対象外とすることにしました。一方、同様にして、深さ=2,3,4,5の状態遷移パターンについても集計を行った時にどのような結果になるのかについても確認してみたくなりますが、本稿では深さ0,1に限定し、それ以上の深さについての集計・分析は後日を期することとします。

3.集計・分析結果

3.1.エントロピーおよび多様性の計算結果（比較対象の作品およびマーラーの全交響曲（右端））

(A)単純マルコフ過程として見た場合のエントロピーおよび状態遷移パターンの出現確率のエントロピー（深さ0～5）

(B)パターン数／系列長比（深さ0～5）

3.2.カルバック・ライブラー・ダイバージェンスおよび相互情報量の計算結果（KLD(P||Q)とした時、P：比較対象の作品、Q：マーラーの全交響曲）

(A)深さ＝0

(B)深さ＝1

(参考)出現確率エントロピーの差分（Q－P、但しP：各曲、Q：全体）

未集計のパターン数が多いシベリウスの第7交響曲、「タピオラ」では深さ0の差分がマイナスになっており、マーラーの全交響曲よりもエントロピーが大きいことが確認できる。

3.3. 状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果

(A)深さ＝0

(B)深さ＝1

[付録]ダウンロード可能なアーカイブファイルcontrol_cdnz3_pcls.zip の中には以下のファイルが含まれます。

• 入力ファイル（比較対象の作品およびマーラーの全交響曲について）
• gm_control_A_prob_all.csv：和音パターン出現確率（深さ0）：マーラーの全交響曲の列を含む。ラヴェルの作品は含まず。クラスタ分析の入力。
• gm_control_A_prob2_all.csv：状態遷移パターン出現確率（深さ1）：マーラーの全交響曲の列を含む。ラヴェルの作品は含まず。クラスタ分析の入力。
• control_A_prob_all.csv：和音パターン出現確率（深さ0）：比較対象作品のみ。ラヴェルの作品は含まず。gm_control_A_prob_all.csvのサブセット。
• control_A_prob2_all.csv：状態遷移パターン出現確率（深さ1）：比較対象作品のみ。ラヴェルの作品は含まず。gm_control_A_prob2_all.csvのサブセット。
• *_A_cdnz3_pcl.csv：比較対象の各作品（ラヴェルの作品も含む）の状態遷移パターン出現頻度（深さ0～5）
• *_A_cdnz3_pcl_transition.csv：比較対象の各作品（ラヴェルの作品も含む）の状態遷移マトリクス
• 結果・中間結果ファイル（比較対象の作品およびマーラーの交響曲全体について）
• hclust_complete_prob_all.jpg：状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果（深さ＝0）
• hclust_complete_prob2_all.jpg：状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果（深さ＝1）
• control_A_pcl_KLD_MI.xlsx
• Sheet1シート：比較対象の作品およびマーラーの交響曲全体について
• 総拍数
• 状態数（深さ0～5）
• 系列長（深さ0～5）
• パターン数／系列長比（深さ0～5）
• 単純マルコフ過程としてのエントロピー
• 状態（パターン）の出現確率（深さ0～5）のエントロピー
• 対マーラー全交響曲の出現確率エントロピー差分（深さ0～5）：（Q－P、但しP：各曲、Q：マーラー全交響曲）
• 対マーラー全交響曲のカルバック・ライブラー・ダイバージェンス（深さ0,1）：（KLD(P||Q)とした時、P：各曲、Q：マーラー全交響曲）
• 対マーラー全交響曲の相互情報量（深さ0,1）
• 対マーラー全交響曲の交差エントロピー（深さ0,1）
• 未集計系列数・深さ0：未集計和音パターンののべ数
• 未集計系列数・深さ1：未集計状態遷移パターンののべ数
• 未集計系列比率・深さ1：未集計状態遷移パターンののべ数の系列長に対する割合
• d0シート：和音パターン出現頻度（深さ0）：比較対象作品のみ。ラヴェルの作品を含む。
• d0pシート：和音パターン出現確率（深さ0）：比較対象作品のみ。ラヴェルの作品を含む。
• d1シート：状態遷移パターン出現頻度（深さ1）：比較対象作品のみ。ラヴェルの作品を含む。
• d1pシート：状態遷移パターン出現確率（深さ1）：比較対象作品のみ。ラヴェルの作品を含む。

(2023.11.13)

[ご利用にあたっての注意] 公開するデータは自由に利用頂いて構いません。あくまでも実験的な試みを公開するものであり、作成者は結果の正しさは保証しません。このデータを用いることによって発生する如何なるトラブルに対しても、作成者は責任を負いません。入力として利用させて頂いたMIDIファイルに起因する間違い、分析プログラムの不具合に起因する間違いなど、各種の間違いが含まれる可能性があることをご了承の上、ご利用ください。

MIDIファイルを入力とした分析：状態遷移パターンの出現確率分布の比較

 1.はじめに

　記事：MIDIファイルを入力とした分析：マルコフ過程としてのエントロピー計算結果（補遺）創作時期別集計において、マーラーの作品を創作時期別に見た場合に、全般的な多様性や状態遷移の深さと多様性の関係において、創作時期によって傾向が変化していく点について、各作品毎ではなく、創作時期別に、更にマーラーの交響曲全体で、単純マルコフ過程として見た場合のエントロピー、深さ0～5の状態遷移パターン出現確率のエントロピー、或いは状態遷移パターン数と系列長の比といった特徴量を集計した結果を報告しました。その結果は、、創作時期によって傾向が変化していくというそれまでの集計・分析に基づく観察と一致するものであったのですが、そこでの比較は数値の単純な比較とそのグラフによる可視化によるもので、定量的に差異を測定した訳ではありません。

　そこで本記事では、マーラーの交響曲全体の状態遷移パターンの出現確率分布と、各作品の状態遷移パターンの出現確率分布との比較を行った結果を報告します。2つの確率分布の比較の方法としては、幾つかの方法が直ちに思い浮かびますが、ここではカルバック・ライブラー・ダイバージェンスと相互情報量の2つを用いました。更に参考として、状態遷移パターンの出現確率のエントロピーについて全体と各作品とを比較した結果も報告します。最後の点は、出現確率分布の比較が、所謂「距離」の定義を満たしているといないとに関わらず（実際にはカルバック・ライブラー・ダイバージェンスは満たしていない訳ですが）、計算して求まる値は両方の差の絶対値であって、非負の量であることから、どちらが多様性がより大きい・小さいといった情報が落ちてしまうのを補うためです。

　更に、カルバック・ライブラー・ダイバージェンスと相互情報量を計算するために用意した状態遷移パターンの出現確率分布を表すベクトル自体を特徴量としてクラスタリングを行ってみましたので、その結果も併せて報告します。なおこれは、以前に行った和音の出現頻度に基づく分類で用いた特徴量と基本的には同じですが、以前の分析では、幾つかの「名前のある」（つまり音楽理論上、機能を持つとされる）和音に対応するパターンに限定して行っていたものを、交響曲全体で出現する全ての和音に対応するパターンを対象として行ったという位置づけになります。直前の記事MIDIファイルを入力とした分析：未分析の和音の出現頻度―エントロピー計算結果の同時代以降の作品との比較の記事撤回についてで取り上げたように、マーラーの作品については未分析の和音はないので、このような分析が可能となっています。

　以下、計算結果に対するコメントはせずに、集計・分析条件の説明と結果の報告のみを行います。また、カルバック・ライブラー・ダイバージェンスと相互情報量の定義などについての説明も割愛させて頂きます。両方とも特に近年の機械学習で用いられていることもあってか、Web上で様々な説明・解説があるようですので、必要に応じてそれらを参照頂けますようお願いします。

2.集計・分析の条件

2.1. カルバック・ライブラー・ダイバージェンスおよび相互情報量の計算

　上掲の創作時期別集計の記事におけるのと同様、単音・重音は対象外(cdnz3)/移置・転回を区別しない(pcl)条件で、今回は各拍(A)毎に抽出した和音パターンの系列のみを対象としました。（A/B系列で大きく見た場合には著しい差異がないと判断し、計算資源の制約に抵触しない限りでは、よりサンプルの多いA系列をもって代表させるのが適当と考えました。）計算対象となる状態は、深さ0（和音＝ピッチクラスの集合のパターン）と深さ1（和音＝ピッチクラスの集合の状態遷移パターン、単純マルコフ過程の状態遷移パターンに相当）です。

　計算にあたっては従来から用いてきたR言語にあるエントロピー計算用のライブラリ(entropy)をRstudio上で使用しました。R言語のバージョンは4.3.1です。entropyライブラリにはカルバック・ライブラー・ダイバージェンスと相互情報量を計算するプラグインが用意されています（それぞれKL.pluginとmi.plugin）ので、それを利用して計算を行いました。既述の通り、特にカルバック・ライブラー・ダイバージェンスは、所謂「距離」の公理を満たしておらず非可換ですが、ここでは個別の作品における確率分布を分子側、交響曲全体における確率分布を分母側として計算を行っています。つまりKLD(P||Q)とした時、P：各曲、Q：全体です。（交響曲全体で出現するパターン（Ｑ側）が個別の作品（P側）で出現しない、つまり確率0であることはありえるが、その逆はないため。逆向きの計算では分母が0になり、値が無限大になってしまいます。）なお、公開した計算結果には交差エントロピーも含めていますが、これは各曲のエントロピーとカルバック・ライブラー・ダイバージェンスから求めることができます。（即ち、H(P, Q) = H(P) ＋ KLD(P||Q)）

　冒頭述べた通り、参考として個別の作品における状態パターンの出現確率のエントロピーと交響曲全体の状態パターンの出現確率のエントロピーとの差分の計算も行いましたが、こちらについては、後者が前者よりも大きければプラス、小さければマイナスの値を取るように計算しました。これは深さ0～5の全てについて計算を行いました。

2.2. 状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング

　従来から用いてきたR言語を用い、R言語の階層クラスタリング関数hclustで、complete法により計算を行いました。今回の分析の特徴として、各作品の状態遷移パターンの出現確率分布のベクトル(m1～m10)に加えて、交響曲全体の状態遷移パターンの出現確率分布のベクトル(all)も含めてクラスタリングを行うことで、全体と各作品の距離が視覚的に確認できるようにしてみました。

3.集計・分析結果

3.1.カルバック・ライブラー・ダイバージェンスおよび相互情報量の計算結果（KLD(P||Q)とした時、P：各曲、Q：全体）

(A)深さ＝0

(B)深さ＝1

(参考)出現確率エントロピーの差分（Q－P、但しP：各曲、Q：全体）

※後期作品の深さ0の差分がマイナスになっている点に注意。第8交響曲はわずかにプラスだがほぼ0でした。

3.2. 状態遷移パターンの出現確率分布を表すベクトルによるクラスタリング結果

(A)深さ＝0

(B)深さ＝1

※深さ0と1では、all（全交響曲）とm6（第6交響曲）の位置が異なりますが、後期作品3曲が概ね同じクラスタに属する点では共通しています。

[付録]ダウンロード可能なアーカイブファイルgm_sym_A_KLD_MI_cdnz3_pcl.zip の中には以下のファイルが含まれます。

• 入力ファイル（各交響曲および交響曲全体について）
• gm_A_prob_all.csv：和音パターン出現確率（深さ0）：値のみ
• gm_A_prob2_all.csv：状態遷移パターン出現確率（深さ1）：値のみ
• gm_A_frq_all.csv：和音パターン出現頻度（深さ0）：パターンラベル付き
• gm_A_frq2_all.csv：状態遷移パターン出現頻度（深さ1）：パターンラベル付き
• 結果ファイル（各交響曲および交響曲全体について）
• hist.txt：R言語の実行ログ
• gm_sym_A_KLD_MI_cdnz3R_pcl.xlsx
• 状態（パターン）の出現確率（深さ0～5）
• 対全交響曲の出現確率エントロピー差分（深さ0～5）：（Q－P、但しP：各曲、Q：全体）
• 単純マルコフ過程、二重マルコフ過程としてのエントロピー
• 対全交響曲のカルバック・ライブラー・ダイバージェンス（深さ0,1）：（KLD(P||Q)とした時、P：各曲、Q：全体）
• 対全交響曲の相互情報量（深さ0,1）
• 対全交響曲の交差エントロピー（深さ0,1）

(2023.11.10)

[ご利用にあたっての注意] 公開するデータは自由に利用頂いて構いません。あくまでも実験的な試みを公開するものであり、作成者は結果の正しさは保証しません。このデータを用いることによって発生する如何なるトラブルに対しても、作成者は責任を負いません。入力として利用させて頂いたMIDIファイルに起因する間違い、分析プログラムの不具合に起因する間違いなど、各種の間違いが含まれる可能性があることをご了承の上、ご利用ください。

MIDIファイルを入力とした分析：マルコフ過程としてのエントロピー計算結果（補遺）創作時期別集計

1.はじめに

　これまで数回に亘って、マーラーの交響曲の各作品毎の和音の状態遷移について、和音ないし和音の遷移パターンの異なり数、パターンの出現確率のエントロピー、マルコフ過程として見た場合のエントロピーの計算を行い、その結果を公開するとともに、計算結果に基づくクラスタ分析や主成分分析を行い、その結果を報告してきました。これまでの集計結果で明らかになったこととして、以下のように創作時期別に傾向に差がある点が挙げられます。

全般的な多様性：後期になると多様性が増大する傾向がある。

状態遷移の深さと多様性の関係：初期作品では深さが深くなるにつれて多様性が増大していくが、後期作品になると浅い状態遷移パターンが既に多様であり、深さに応じた多様性の増大は頭打ちになる傾向にある。

　マーラーの作品は決して均質ではなく、更に創作時期によって傾向が変化していくことが明らかになったと思います。そこで本稿では各作品毎ではなく、創作時期別に集計した結果、更にマーラーの交響曲全体での集計結果を報告します。今回の集計結果に対する関心として、複数の作品間でどれくらい和音の状態遷移パターンに重複があるかというのがあります。また交響曲全体での集計を行うことで、謂わばマーラーという作曲家を一つの状態遷移機械（「マーラー・オートマトン」）と見做した場合の振る舞いを把握することにもなると思います。複数の作品間での重複は、例えばパターン／系列長比について見れば、系列長は作品が3つあれば3曲分の単純合計に概ねなるのに対して、パターンが仮に全く同一であるとしたならば、パターン／系列長比は1/3に低下することになります。一方、エントロピーについて言えば、出現するパターンが同一でそれぞれの出現確率も同一であればエントロピーは変わらないので、それらを基準に結果を確認していくことになります。一方で、各作品毎に系列長が異なり、それがエントロピーの値に影響するように、創作時期別にグルーピングをした場合についても、各グループの系列長は同一ではないことがエントロピーの値に影響することを踏まえて結果を確認する必要があります。また各拍毎にパターンを抽出した場合(A)と各小節毎に先頭の拍のパターンを抽出した場合(B)については、(B)の系列長が小節数の累計になるのに対して(A)の系列長は総拍数の累計で、系列長は(A)の方が(B)よりも数倍長くなることが(A)(B)のエントロピーの値の違いに影響することについても同様です。なお、これまでの報告では、エントロピーの計算に際して、吸収的状態を含む等の理由から、そもそも状態遷移マトリクスが構成できない場合も含め、定常状態で収束が起きてエントロピーが0になってしまうケースがしばしば起きて問題になりましたが、今回のように個別の作品毎ではなく、複数の作品の重ね合わせに対して計算を行う場合には、吸収的状態が生じにくくなることが想定されます。（各作品毎の集計の場合には、基本的に各作品がウニカートな存在と見做されるのに対し、今回の場合には、各作品はグルーピングされた集団におけるサンプルに相当することになります。但し、エルゴード性が成立していると見做すことは相変わらずできません。そもそも創作時期によって傾向が変わるということ自体、マーラーの作品についてエルゴード性を仮定できないことを告げており、「マーラー・オートマトン」の挙動はエルゴード的ではありません。）実際に単純マルコフ過程としてのエントロピー計算では、吸収的状態は起きませんでした。一方、以下の報告には含めていませんが、各拍毎のパターンの系列を二重マルコフ過程として計算した場合には、交響曲全体についてエントロピーが0になることを確認しています。

　以下、計算結果に対するコメントはせずに、結果の報告のみを行い、これまでの一連の集計・分析の補遺とさせて頂きます。

2.分析条件

　単音・重音は対象外(cdnz3)/移置・転回を区別しない(pcl)条件で各拍(A)／各小節頭拍(B)毎に抽出した和音パターンの系列を対象とし、集計は以下のように個別の交響曲ではなく、創作時期別のグループおよび交響曲全体について行いました。

• 初期作品：第1～4交響曲
• 中期作品：第5～8交響曲
• 後期作品：「大地の歌」、第9,10交響曲
• 交響曲全体：第1～10交響曲、「大地の歌」

　また集計は以下の項目について行いました。

• 単純マルコフ・エントロピー
• 深さ0～5の状態遷移パターン出現確率のエントロピー
• 深さ0～5の状態遷移パターン数
• 深さ0～5の系列長
• 深さ0～5の状態遷移パターン数／系列長比

3.分析結果

(1)エントロピー

（A）各拍

（B）各小節頭拍

（2）パターン／系列長比

（A）各拍

（B）各小節頭拍 

[付録]アーカイブファイル和音状態遷移_マルコフ過程_エントロピー_マーラー交響曲_時期別.zipの中には以下のファイルが含まれます。

(A)計算の入力データ

交響曲全曲（第1～10交響曲、「大地の歌」）

• all_A_pcl3_frq3.csv：各拍(A)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に出現する和音パターンの出現頻度の集計結果
• all_A_pcl3_transition.csv：各拍(A)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列を単純マルコフ過程として見た場合の状態遷移マトリクス
• all_B_pcl3_frq.csv：各小節頭拍(B)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に出現する和音パターンの出現頻度の集計結果
• all_B_pcl3_transition.csv：各小節頭拍(B)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列を単純マルコフ過程として見た場合の状態遷移マトリクス

初期交響曲（第1～4交響曲）

• gm_symA_A_pcl3_frq3.csv：各拍(A)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に出現する和音パターンの出現頻度の集計結果
• gm_symA_A_transition.csv：各拍(A)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列を単純マルコフ過程として見た場合の状態遷移マトリクス
• gm_symA_B_frq.csv：各小節頭拍(B)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に出現する和音パターンの出現頻度の集計結果
• gm_symA_B_transition.csv：各小節頭拍(B)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列を単純マルコフ過程として見た場合の状態遷移マトリクス

中期交響曲（第5～8交響曲）

• gm_symB_A_pcl3_frq3.csv：各拍(A)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に出現する和音パターンの出現頻度の集計結果
• gm_symB_A_transition.csv：各拍(A)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列を単純マルコフ過程として見た場合の状態遷移マトリクス
• gm_symB_B_frq.csv：各小節頭拍(B)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に出現する和音パターンの出現頻度の集計結果
• gm_symB_B_transition.csv：各小節頭拍(B)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列を単純マルコフ過程として見た場合の状態遷移マトリクス

後期交響曲（「大地の歌」、第9,10交響曲）

• gm_symC_A_pcl3_frq3.csv：各拍(A)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に出現する和音パターンの出現頻度の集計結果
• gm_symC_A_transition.csv：各拍(A)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列を単純マルコフ過程として見た場合の状態遷移マトリクス
• gm_symC_B_frq.csv：各小節頭拍(B)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に出現する和音パターンの出現頻度の集計結果
• gm_symC_B_transition.csv：各小節頭拍(B)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列を単純マルコフ過程として見た場合の状態遷移マトリクス

(B)計算結果

• gm_sym_entropy.xlsx：計算結果（初期／中期／後期／交響曲全曲）
• シートA：各拍(A)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に関する計算結果
• 単純マルコフ・エントロピー
• 深さ0～5の状態遷移パターン出現確率のエントロピー
• 深さ0～5の状態遷移パターン数
• 深さ0～5の系列長
• 深さ0～5の状態遷移パターン数／系列長比
• シートB：各小節頭拍(B)/単音・重音を含まず/移置・転回を区別しない条件の和音パターン系列に関する計算結果
• 単純マルコフ・エントロピー
• 深さ0～5の状態遷移パターン出現確率のエントロピー
• 深さ0～5の状態遷移パターン数
• 深さ0～5の系列長
• 深さ0～5の状態遷移パターン数／系列長比

[ご利用にあたっての注意] 公開するデータは自由に利用頂いて構いません。あくまでも実験的な試みを公開するものであり、作成者は結果の正しさは保証しません。このデータを用いることによって発生する如何なるトラブルに対しても、作成者は責任を負いません。入力として利用させて頂いたMIDIファイルに起因する間違い、分析プログラムの不具合に起因する間違いなど、各種の間違いが含まれる可能性があることをご了承の上、ご利用ください。

（2023.10.29公開）