2023年3月15日水曜日

MIDIファイルを用いたデータ分析について（2021.12.23報告メモ, 2023.3.15改訂・補記）

1.これまでに実施・公開してきた音楽関係のデータ分析の概観

  • 最初の動機は「五度圏上の和声的重心の遷移の把握・図示」

  • 「新調性主義作品」と密接に関連

  • 三輪さんからのアドバイスでMIDIファイルの活用へ


※「新調性主義」については、三輪眞弘「《虹機械》作曲ノート」（三輪眞弘, 『三輪眞弘音楽藝術 全思考 一九九八-二〇一〇』, アルテスパブリッシング, 2010所収）および拙稿「新調性主義」を巡っての断想を参照。


  • MIDIファイルからの情報抽出プログラムを自作（C言語）

  • 過去に統計分析言語の使用経験があるので片手間で取り組んできた（R言語）

  • MIDIファイル解析・集計・分析をマーラーの作品を対象として実施

(参考)MIDIファイルを入力とした分析：データから見たマーラーの作品　これまでの作業の時系列に沿った概観


2.データ分析の動機・理由づけについて


  • 自分を惹きつける音楽の性質を客観的で検証可能な仕方で把握したい。

  • 自分を惹きつける音楽の特徴を図示(darstellen)したい。

  • 音楽を語るための自然言語とは異なる手段が欲しい。（言語に優越した手段ではない。良くも悪くも認識様式を強く拘束している言語とは別の手段を自分で作りたい(nachkomponieren)。）

  • 音楽についての自然言語による言説 (beschwören) に対する客観的な検証手段が欲しい。


※ beschwören / nachkomponieren / darstellen については、岡田暁生「「話したい人」と「見せたい人」と「やってみたい人」と―人文工学としてのアートの可能性を考える」（京都大学人文科学研究所共同研究プロジェクト「「システム内存在としての世界」についてのアートを媒介とする文理融合的研究」, 第1回研究会,  2019年4月7日）に基づく。


3.データ分析結果の公開に拘る理由


  • 音楽作品についてのデータ分析にはそれなりの歴史と蓄積があるようだが、自分が知りたいと思ったことの分析が既に実施されていることの確認はできていない。

  • 音楽情報処理は、対象となる音楽そのものについての研究ではなく、音楽を対象とした情報処理の手法についての研究なので、そもそも関心がずれている。

  • 先行事例がなければ自分でやってみる(nachkomponieren)。自分ができる手段で（ブリコラージュ）、自分なりの貢献をすることで、自分に到来し、自分を形成した他者への応答としたい。


4.本日の報告対象：和声出現頻度と長短三和音の交替を位置づけ

  • 音楽の構造の中でも和音の種類や変化に注目。音楽の全体を対象としていないことは前提。

  • 最初の一歩。自分が既にやったことのある方法でできる範囲で。

  • 最終的には調的な遷移の特徴を捉えたい。（cf.三輪さんの「新調性主義」）

  • 最初の第一歩として、簡単にできるところから…

  • 和声出現頻度：状態遷移を捨象した量だけでわかることは？

  • 長短三和音の交替：一番簡単に扱える調的な変化として


5.関連する話題（分析のスコープは遥かに限定的なので部分的にしか一致しない）


  • アドルノ他の指摘をデータから裏付けることができるか？

  • 創作時期による変化をデータ上の変化で確認できるか？

  • 発展的調性をデータから特徴づけることができるか？

  • 古典的なパラダイムからの「逸脱」がデータから読み取れるか？

  • ドミナントシステムの代替パラダイムの手がかりが具体的に得られないか？


6.データ分析の限界


  • 本当は個別性に辿り着きたい（ロラン・バルト「個別的なものの学」mathesis singularis）。

  • アドルノのいう「唯名論的」な在り方にどうアプローチできる？

  • 統計的には例外になってしまうものに価値がある筈。

  • 一方で客観的で検証可能な手法でアプローチしたい。

  • 分析を実施する環境上の特性

  • MIDIファイルの質

  • 個人のDTMの蓄積であり、分析目的で作成されたわけではない。

  • MIDIキーボードの演奏の記録だと拍の単位や小節の区切りの情報の正確さ、音のずれなどが生じてしまい、分析上は精度に問題が生じる

  • MIDIファイルの量

  • 作品数は少ないがMIDIファイル化は進んでいる。（交響曲は第10交響曲クック版も含め全て。歌曲は管弦楽伴奏があるものはかなりMIDI化されているが、ピアノ伴奏版しかない初期作品はほとんど行われていない。嘆きの歌のMIDI化も行われていない。）

  • 一つの作品に対して、複数のMIDI化が行われているケースも。（第1交響曲、第5交響曲等が多い。）


7.分析内容の紹介（インフォーマルな説明）


  • 分析対象 

  • 作品間の比較：創作時期・マーラーの交響曲の区分（角笛交響曲…）

  • 他の作曲家との比較：時代区分

  • 分析単位

  • MIDIファイル毎（概ね楽章単位だが稀に作品全体や楽章の一部の場合もあり）

  • 作品単位（特徴量の平均の計算が必要：平均の仕方に選択肢あり）

  • 作品群単位（特徴量の平均の計算が必要：平均の仕方に選択肢あり）

  • 分析対象の特徴量

  • 拍毎に和音をサンプリング（小節拍頭でのサンプリングも実施）

  • 対象となる和音：単音・重音含む・全ての和音を対象としていない

  • 20種類程度の主要な和音

1：単音(mon)、3 :五度(dy:5)、5 ：長二度(dy:+2)、9 ：短三度(dy:-3)、17 ：長三度(dy:+3)、33 ：短二度(dy:-2)、65 ：増四度(dy:aug4)、25 ：短三和音(min3)、19 ：長三和音(maj3)、77 ：属七和音(dom7)、93 ：属九和音(dom9)、27 ：付加六(add6)、69 ：イタリアの増六(aug6it)、73 ：減三和音(dim3) 、273：増三和音(aug3)、51 ：長七和音(maj7)、153 ：トリスタン和音(tristan)、325 ：フランスの増六(aug6fr)、585 ：減三＋減七、89 ：減三＋短七、275 ：増三＋長七、281 ：短三＋長七

  • 出現頻度の上位を占める和音（対象に依存）

  • 分析手法：

    • 階層クラスタ分析

    • 非階層クラスタ分析

    • 主成分分析（因子分析）

  • 結果の表示方法：darstellenの方法

    • 箱ひげ図

    • デンドログラム

    • 主成分平面へのプロット

    • 主成分得点・負荷量のグラフ


8.分析で何がわかったか？


和音出現頻度や長短三和音の交替といった、音楽学的見地からすれば粗雑な特徴量で　　　も作品についての一定の特徴が抽出できていると考える。以下にその一部を示す。


  • 他の作曲家に対するマーラーの特徴づけが、2つの軸の組み合わせでできた。

  • (1)古典派との比較は最も優越した成分で行え、古典派的な機能和声によるドミナントシステムとはやや異なった調的システムの機能がより優位であり、それが付加六の優越ということに繋がっていそうである。(2)概ね世代を同じくする作曲家との区別については別の成分において行え、ここでは3和音・4和音が優位なマーラーに対して、そうではない近現代の他の作曲家との区別が可能に見える。




  • マーラーの作品内での区分については、これまでの分析結果や諸家の分類を本に区分を設定し直したが、和声の出現頻度との関わりがないとは言えないまでもきれいな対応は得られなかった。




  • その一方で、長調・短調の対比の原理とそれとは別の原理の2つが併存・拮抗するという傾向が確認できた。

  • マーラーの作品創作の展開のプロセスは、第1交響曲を出発点として、一旦、角笛交響曲（第2～第4交響曲で）長・短調のコントラストの原理に基づいた後、長・短調のコントラストとは別の原理が登場して拮抗するようになった後、前者が放棄されて後者が優位に立つというものになるだろう。




（参考）MIDIファイルを入力とした分析：和音の出現頻度から見たマーラー作品（その７：交響曲分類の再分析　１.再分析の方針と結果の要約）

MIDIファイルを入力とした分析：和音の出現頻度から見たマーラー作品（その８：他の作曲家との比較の再分析　１.再分析の方針と結果の要約）



9.今後の課題：5.関連する話題の節に記載の論点へのアプローチを継続


  • 更なる統計分析：集計済データで未活用なものを用いた分析

  • 未分析の和音の解消

  • 転回形を区別した分析

  • クラムハンスルの調性推定を用いた調的中心の遷移データの利用

  • 長調・短調の主和音の交替に注目した分析

  • 機械学習の調査・活用：Google Magentaを用いた調査に既に着手済。

  • 汎化・学習よりも記憶装置として捉えて、その能力を分析する方が違和感がない。

  • マーラーもどきの楽曲生成には興味がない（原理的な限界が見えている）。

  • 寧ろプロトタイプのようなものの抽出をしたい（cf. 『分離抽出物N次体』in スタニスワフ・レム「ビット文学の歴史」）

  • 未完成作品の補筆完成：AIによる補作の可能性と限界の検討：（参考）スタニスワフ・レム「ビット文学の歴史」（『虚数』所収,　長谷見一雄・沼野充義・西成彦訳, 国書刊行会, 1998）


参考文献


三輪眞弘,「《虹機械》作曲ノート」（三輪眞弘, 『三輪眞弘音楽藝術 全思考 一九九八-二〇一〇』, アルテスパブリッシング, 2010所収）

岡田暁生,「「話したい人」と「見せたい人」と「やってみたい人」と―人文工学としてのアートの可能性を考える」（京都大学人文科学研究所共同研究プロジェクト「「システム内存在としての世界」についてのアートを媒介とする文理融合的研究」, 第1回研究会,  2019年4月7日）


1.音楽情報処理関連


S. ケルシュ, 音楽と脳科学, 佐藤正之編訳, 2016, 北大路書房

ボブ・スナイダー, 音楽と記憶, 須藤貢明, 杵鞭広美訳, 2003, 音楽之友社

リタ・アイエロ編, 音楽の認知心理学, 大串健吾編訳, 1996, 誠信書房

柴田南雄, 音楽の骸骨のはなし, 1977, 音楽之友社

Walter B. Hewlett, Elenanor Seldridge-Field, Edmund Conrreia, Jr.(Eds.), Tonal Theory for the Digital Age, Computing in Musicology 15 (2007-08), 2007, Center for Computer Assisted  Research in the Humanities, Stanford University

Stephan M. Schwanauer, David A. Levitt, Machine Models of Music, 1993, MIT Press

Fred Lerdahl, Tonal Pitch Space, 2001, Oxford University Press

Dmitri Tymoczko, The Generalized Tonnetz, 2012, Journal of Music Theory, 56.1. Spring 2012

Carol L. Krumhansl, Cognitive Foundations of Musical Pitch, 1990, Oxford University Press

Dmitri Tymoczko, A Geometry of Music, 2011, Oxford University Press

Eliane Chew, Towards a Mathematical Model of Tonality, 2000, MIT 


2.マーラーの作品の分類関連


Graeme Alexander Downes, An Axial System of Tonality Applied to Progressive Tonality in the Works of Gustav Mahler and Nineteenth-Century Antecedents, 1994, University of Otago, Dunedin, New Zealand

Barford, Philip, Mahler Symphonies and Songs, (BBC Music Guides, 1970), University of Washington Press, 1971

Kennedy, Michael, Mahler (The Master Musicians), J.M.Dent, 1975

Redlich, Hans F., Bruckner and Mahler, J. M. Dent, 1955, rev. ed.,1963

Bekker, Paul, Gustav Mahlers Sinfonien, Schuster & Loeffler, 1-3 Tausend, 1921

Schreiber, Wolfgang, Gustav Mahler, Rowohlt Taschenbuch, 1971

Specht, Richard, Gustav Mahler, Schuster & Loeffler, 1-4 Auflage Mit 90 Bildern, 1913

石倉小三郎,『グスターフ・マーラー』, 音楽之友社, 1952

柴田南雄『 グスタフ・マーラー：現代音楽への道』, 岩波書店, 1984


3.音楽を対象とした機械学習関連


Nicolas Boulanger-Lewandowski, Yoshua Bengio, Pascal Vincent,  Modeling Temporal Dependencies in High-Dimensional Sequences Application to Polyphonic Music Generation and Transcription, 2012, Proceedings of the 19th International Conference on Machine Learning

Feymann Liang, et al. Automatic stylistic composition of Bach chorales with Deep LSTM, 2017, Proceedings of the 18th ISMIR Conference

Graham E. Poliner and Daniel R. W. Ellis, A Discriminative Model for Polyphonic Piano Transcription, 2007, EURASP Journal on Advances in Signal Processing

巣籠悠輔, 詳解ディープラーニング　第2版, 2019, マイナビ出版

斎藤　喜寛, Magentaで開発 AI作曲, 2021, オーム社

スタニスワフ・レム『虚数』, 長谷見一雄・沼野充義・西成彦訳, 1998, 国書刊行会,


4.関連記事


総論



分析結果報告

資料


［補記］上記は2021年12月23日に行った私的な発表「MIDIファイルを用いたデータ分析について」のために用意した報告メモに基づき、発表対象となったマーラーの作品分析の部分に限定の上、公開に必要な修正を施した上で公開するものです。発表の機会を与えて下さった三輪眞弘先生（情報科学芸術大学院大学教授）、御忙しい中、拙い発表を辛抱強く聴いて下さり、貴重なコメントを頂いた三輪先生、岡田暁生先生（京都大学人文科学研究所教授）、浅井佑太先生（お茶の水大学基幹研究院人文科学系助教）に遅ればせながら、この場を借りて御礼申し上げます。なお、当然のことながら、上記内容に関する文責は全て作成者である山崎与次兵衛にあります。(2023.3.15)










Posted by at
Labels: , , ,

0 件のコメント:

コメントを投稿

登録: コメントの投稿 (Atom)