第139回音楽情報科学研究発表会【参加報告】

WHAT WE DO on March 2024 -1

2024年3月9日(土)，10日(日)，公立はこだて未来大学（北海道函館市）において第139回音楽情報科学研究発表会が行われ，2日目14:20からの [一般発表] 音色で、M1の永田さんが発表しました。

はじめに

M1の永田です．2024年3月9日~10日に公立はこだて未来大学で開催された，第139回音楽情報科学研究発表会で行った研究発表について報告いたします．
「吹き出し図形を用いた音色の形象化の可能性検証」というタイトルで発表しました．

研究概要

　この研究では，波形ではなく吹き出し図形を用いて楽器の音色を表現し，音色の印象を解釈可能にするアプローチについて検討しました．

　まず，下図のような音色が視える音楽制作環境の実現を目指しています．現在の音楽制作環境では，音色に対して名前やタグといったテキストで整理されていることが多いです．そこで，下図のような音楽制作環境を利用することで視覚的にどのような音色なのかどのように演奏されるのかというのがわかるようになることを期待しています．例えば，下図ではGuitarAが Distortionのような激しい音でメロディラインを弾いており，それに対してGuitarBの音はChorusやFlangerといった少し柔らかく揺れているような音色がコード進行を演奏しているイメージができるかと思われます．このように吹き出しを用意していると，吹き出しをパッと見るだけでどういった音なのかパラメータの意味を知らなくても”音色を見て理解する”ということが期待されます．これにより，音色を検索したり比較したりすることが容易になると考えられます．

　このような音色が視える音楽制作環境の実現を目指しており，今回はそのための検証を行いました．

研究の背景

　音色というものは，実機やDAW上のエフェクターを用いて組み合わせを変更したり，様々な役割の音響パラメータを調整することで作成します．しかし，初心者はどういったパラメータがどういったパラメータがどういった音色と対応しているのかということがわからないためとても難しい作業です．この難しさは，音色が時間的メディアであり，一過性の性質を持つことが要因であると考えられます．

　音色は時間的メディアであるため複数の音色を比較しようとした際に，順番に比較することしかできません．その際に，最初に聞いた音色を忘れずに記憶し続けなければなりません．一方で，イラストのような空間的メディアであれば視覚的に同時に比較でき，違いが一目で分かります．これが音色自体が持つコンテンツの難しさになります．

　また，パラメータ調整も難しさの一つになります．音作りをする際に，エフェクターを色々と組み合わせ，試行錯誤を繰り返し行うことでパラメータを変更していくため，同様にパラメータ情報も一過性の性質を持ちます．
　
　どちらにも共通して一過性の性質があり，同時に情報を見ることができずに記憶しなければならないという点に難しさがあります．
　
　この問題解決のアプローチとして，音色の視える音楽制作環境の実現を考えましたが，そもそも既存のアプローチとして時間的メディアをシンボル化して空間的に表現しているメディアがあります．例えば，音楽に関連するものでは，五線譜が挙げられます．五線譜では線と音符によってどの高さの音がどのくらいの間，音が鳴っているのかということを表現しています．音楽に関連するもの以外でも，漫画で使われている吹き出しが挙げられ，どのようなイメージの発話なのかということを表現しています．これらの事例は，解釈が困難な時間的メディアの情報を空間的メディアとして表現することで視覚的に解釈可能にしている例として考えられます．
　ここから，エフェクターの音色を吹き出しで表現可能になれば，一過性の性質によって音色を覚えないといけないという問題を解決できると考えました．

実験

　吹き出し図形を用いることで楽器の音色を記録することの妥当性を検証することを目的とした実験を実施しました．この実験では，多くの人に共通して音色と吹き出しの間に関係性が結ばれることと吹き出し図形を呈示することが音色の印象を意識して考えるきっかけになるという効果を期待しました．

　実験では，下図のような画面を被験者に見せながら上側にある図形の視覚情報と下側で視聴する音声の音色の情報，視覚情報を紐つけてもらう作業をしてもらいました．手順としては，ヘッドホンを装着して音源を聴取し，それぞれの音源の印象と合致したと感じた図形を回答してもらいます．最後に実験を通しての感想を記述させるアンケートを実施しました．

結果と考察

　まずOverDriveについてです．OverDriveが呈示された問題では，80%を越える回答の偏りが確認されました．特にNoFXと比較した場合では，ほぼ全ての被験者が一致して、OverDriveとこの右図のようなトゲトゲの吹き出しを紐つけた回答が得られました．ChorusやDelayとの比較でも同じように80%以上の人がOverDriveとトゲトゲの吹き出し図形を紐つけていて，強く紐つく図形が存在することが確認できました．

　次にDelayについてです．DelayとNoFXを比較した問題でも，OverDriveが呈示された問題ほどではないものの，回答傾向に偏りが見られました．Delayのような音の反復を2つの吹き出しの重なりと紐つけた可能性が考えられます．

一方で，あまり上手く紐つかないようなエフェクトも存在しました．Chorusを呈示した問題では，回答にばらつきが見られました．特に，NoFXとの比較では，音楽経験者と非音楽経験者で回答が逆転していました．このことから，回答が一致しないだけでなく，音楽経験の有無によって図形と音響特徴との対応づけのモデルが異なる可能性が示唆されました．

他にも質的に結果を見てみると，音楽経験者の感想としては，対応づける際に音のハリや揺れ具合で図形のイメージが変わるという意見がありました．また、非音楽経験者であっても，優しい音や強い音、ポワンポワンした音と表現していて，こういった音色がどういう図形なのかというところに対応づけて考えているということが確認されました．

　こういった結果を元にして考えてみると，構想段階の音色が視える音楽制作環境のような図形によって音色を可視化するという取り組みの妥当性があるのではないかと言えます．まだ，音響特徴量と図形のパラメータの対応づけは行われてないものの、音色の印象と図形との間に関連性がありそうだということが実験の回答傾向からわかったので，こういった仕組みを作っていくエビデンスが得られたと考えています．こういったものが出来上がっていくと，図形を見るだけで視覚的に複数の音色を比較することであったり，図形を見ただけで音色を検索できることや音色について学んだり複数のプレイヤー間で議論する際の意思疎通を図るためのツールとしても利用できるのではないか，それによって議論を活発化させることができるのではないかと考えています．

　今後こういったシステムの開発を進めていきたいと考えています．

おわりに

今回の研究発表では，将来性のある研究を発表した学生に対して贈られる「学生奨励賞　Best Multi/Interdisciplinary部門」を受賞することができました．発表後には，多くの人から質問を受けたり議論したりしました．コツコツと努力し研究に取り組み続けたこと，音作りを知らない人にも共感してもらうために研究の背景や問題点の部分を詳しく説明し他者の興味を惹くような発表ができたことなど，成長できたと感じました．今回の研究発表を通して学んだこと・できるようになったことを今後の研究活動にも活かして取り組みます．

text: エンピツ舎