関西大学 総合情報学部 文化芸術計算機科学研究室では,音楽やゲーム,漫画といった人が感性的に惹かれる文化や芸術を対象として,計算機科学の力によってコンテンツの特性に着目した分析や知的処理を行う技術を開発します.コンテンツをとりまくユーザや産業とのインタラクションも対象とし,コンテンツの利活用についても研究しています.
主な研究プロジェクト
これら以外にも,国内外の連携研究者とコンテンツの特性に着目して,情報処理技術やインタフェースの開発やインタラクションの数理的なモデル化などの研究を行っています.
「人間と同じ様に文化や芸術に感動できる人工知能」の実現を目指して,未だ不明な部分が多い人間の感性に関する知見の蓄積や学術的価値のみならず実用性を念頭に置いた計算機科学技術を開発しています.
ストーリー体験を豊かにする情報提示
小説,漫画,ゲーム,音楽,そして人間同士のコミュニケーションまで.私達が日々「楽しい」と感じるコンテンツの全てが「ストーリー」をもっていると言っても過言でありません.
本研究プロジェクトでは,エンターテインメント体験をより豊かにするためにストーリーを分析したり,コンテンツを具現化するためのシステムを開発しています.対象とするコンテンツの特性に着目したそれぞれのアプローチを適用し,コンテンツの分析,可視化,生成を実現する計算機科学技術を開発しています.
漫画のために
漫画は,現在の世界において日本を代表するポップカルチャーの一つです.浮世絵や日本食といった歴史的で伝統的な文化のように,漫画やアニメはもはや現代の日本を代表する文化的コンテンツとして扱われています.そのような漫画の分析や利活用のために,以下のような研究開発を行っています.
- 森理緒奈,山西良典,松下光範: 発話の役割を要素とするベクトルを用いた登場人物間の有向関係の表現方法の提案, 第4回コミック工学研究会, 2020年9月17日
- 今泉港大,山西良典,西原陽子,小沢高広: 任意の区間での出現傾向の類似性による漫画の登場人物の分類, 第4回コミック工学研究会, 2020年9月17日
- 今泉港大,山西良典,西原陽子,小沢高広: マンガの因子抽出のための登場人物の出現率系列分析の検討, 第3回コミック工学研究会, 2020年3月
- Masahide Kuwano, Ryosuke Yamanishi, Yoko Nishihara, and Naoko Takei: Framework of Manga Application for Teaching Japanese Language, HCI International 2020, pp. 356–367, 2020年7月
- Ryosuke Yamanishi, Hideki Tanaka, Yoko Nishihara, Junichi Fukumoto: Speech-balloon Shapes Estimation for Emotional Text Communication, Information Engineering Express, 10(2),pp. 1-10, 2017年6月
- 山西良典,杉原健一郎,井上林太郎,松下光範:ソーシャルデータを用いたコミックからの感性的ハイライトの抽出,日本感性工学会論文誌 ,14(1),pp. 155-162, 2015年2月
活字コンテンツのために
「読書」はその読書形態において大きく変化しています.電子デバイスが普及したことにより,ほぼ無限の書籍を電子データとして持ち運べるようになりました.しかし,この読書形態の変化は未だ,書籍そのもののコンテンツへは影響していません.新しい活字コンテンツの楽しみを提供するために,計算機科学による分析に基づいた,まったく新しい読書システムを開発しています.
- 山西良典,西原陽子: 連続ドラマにおける「これまでの…」の基礎分析, メディアエクスペリエンス・バーチャル環境基礎研究会, 2020年9月8日
- 山西良典,金田大地,西原陽子: 部分要約とSilver Standard Summary Algorithmの応用による小説の次回予告生成, 2020年度 人工知能学会全国大会, 2020年6月
- 金田大地,山西良典,森晴菜,西原陽子:ワクワクとネタバレの違い −映像コンテンツにおける予告と本編で用いられるシーン時系列の比較分析−, 第14回ARG Webインテリジェンスとインタラクション研究会, 2019年6月28日
- Haruna Mori, Ryosuke Yamanishi, Yoko Nishihara: Important Index of Words for Dynamic Abstracts Based on Surveying Reading Behavior, In Transactions on Engineering Technologies, Springer, pp. 219-232 2019年10月
関連する共同研究・競争的資金等
- 電子書籍における読書状況に応じたストーリー情報呈示システムの開発,日本学術振興会 科学研究費助成事業 基盤研究(C),20K12130,研究代表
- 文化の国際的な普及と伝搬に着目した漫画・アニメに関する技術・処理・楽しみ方のデジタルアーカイブ,立命館大学アートリサーチセンター 「日本文化資源デジタル・アーカイブ国際共同研究拠点」2020年度国際共同研究,研究代表
- コミックコンテンツを対象とした情報編纂技術に関する研究,日本学術振興会 科学研究費助成事業 挑戦的萌芽研究,15K12103,研究分担
あそびの特性の分析と生成,応用
人間は遊ぶ知能を持っています.ゲームは現在,最も人気のあそびと言えるでしょう.数多くのゲームプラットフォームが日本企業で開発されてきた歴史を考えれば,日本こそがビデオゲームの聖地といっても良いはずです.ゲームは楽しいものですが,人間はその「楽しさ」「おもしろさ」を意識的に理解しているわけではありません.何が,そのおもしろさを作り出しているのでしょうか.あそびのおもしろさの秘密がわかれば,そのおもしろさを学術的な発展や社会問題の解決に利用できるかもしれません.
本研究プロジェクトでは,計算機科学アプローチによってあそびのおもしろさの秘密を明らかにするために以下のような取り組みを行っています.
音楽ゲームのおもしろさを探る
音楽ゲームは,音楽とゲームという2種類のエンターテインメントが調和したゲームジャンルです.また,体を動かす,という観点からはエクササイズの側面も持ち合わせています.音楽ゲームをプレイするためには,音楽に対する認知とゲーム画面の理解,そして自らの身体をどのように動かせばよいのかという身体知が必要とされます.ゲームの中でも特殊な「音楽ゲーム」を対象として研究することで,人間のリズム感や身体の動かし方の究明に挑戦しています.
- 辻野雄大,山西良典,山下洋一,井本桂右: ダンスゲーム譜面の特性分析とクラスタリングに基づく特徴的な譜面の自動生成,情報処理学会論文誌 , 61(11), pp.1718-1728, 2020年11月
- 山西良典,辻野雄大: 譜面データ生成モデルの学習装置、譜面データ生成器、及びコンピュータプログラム, 特願2018-099294, 2018年5月24日出願, 2019年11月28日公開
- Yudai Tsujino, Ryosuke Yamanishi, Yoichi Yamashita: Characteristics Study of Dance-charts on Rhythm-based Video Games, Proc. of IEEE Conference on Games 2019, pp.157 (4 pages), 2019年8月
- Yudai Tsujino, Ryosuke Yamanishi: Dance Dance Gradation: a generation of fine-tuned dance charts, The Proc. of IFIP ICEC 2018, pp.175-187, 2018
- 辻野雄大,山西良典,西原陽子,福本淳一:時系列深層学習に基づく難易度間関係モデルを用いたダンスゲーム譜面難易度の自動調整, 情報処理学会論文誌, 59(11),pp.1953 – 1964, 2018年11月
エンターテイメント性を利用する
日々,様々なあそびが生まれているなかで,人々が「楽しんだこと」の利用を考え,あそびを学術的な課題を解決するための手段としても使うフレームワークを研究しています.従来のエンターテイメントコンピューティングは「楽しませる」ための研究がほとんどです.もし,「楽しんだこと」も利活用することができれば,人々を楽しませ,そして,楽しかった経験が社会に還元されていくような楽しさが循環する未来が来ると信じています.
関連する共同研究・競争的資金等
- 音楽ゲーム譜面の自動生成技術の実用化およびプレイヤーの行動予測モデルの構築,ゲーム企業との産学共同研究,研究代表
- 音楽ゲーム譜面の自動生成研究および音楽ゲーム譜面の自動生成技術の精度向上,ゲーム企業との産学共同研究,研究代表
- 音楽ゲーム譜面の自動生成研究,ゲーム企業との産学共同研究,研究代表
- スポーツ中継のように将棋観戦を楽しむ〜主戦場と玉の危険度の可視化による将棋の初心者向けの観戦支援インタフェース〜,中山隼雄科学技術文化財団 平成28年度 研究助成(A-2),研究分担
- 機械学習における事前学習モデル構築のための既存データ セットの応用フレームワーク,国立情報学研究所 戦略研究公募型共同研究,研究代表者
多様な観点からの音楽検索
音楽は,音響と歌詞から構成される時間的な芸術です.また,音楽に対して感じる印象は音響と歌詞の組み合わせのみならず,「歌手は誰なのか」「いつ発表されたのか」など様々な関連情報にも影響を受けます.
本プロジェクトでは,音楽への感性を捉えるために歌詞や音響のみならず様々な情報分析に基づいた音楽検索システムを開発しています.
歌詞にもとづく音楽検索
音楽の言語的側面である「歌詞」は一般的な言語メディアとは異なる性質を持ちます.一般的な言語としては,むしろ不自然とも捉えられる単語や表現こそが詩的な魅力を作り出しており,音楽を聴取する人々の共感や感動を呼びます.音楽の歌詞の特性に着目し,音楽の情景に合わせた楽曲検索を実現するための研究を行っています.
- Yihong Han, Ryosuke Yamanishi, Yoko Nishihara: Music Retrieval Focusing on Lyrics with Summary of Tourist-spot Reviews Based on Shared Word-vectors, Proc. The International Conference on Technologies and Applications of Artificial Intelligence 2020, pp.A4-1, 2020年12月
- 古屋 翔大,木村 和哉,山西 良典,西原 陽子: 単語分散表現を用いた単語・フレーズ・楽曲を横断する探索的歌詞検索システム, 第11回ARG Webインテリジェンスとインタラクション研究会, 2017年12月
- 山西良典,奥健太他: 楽曲推薦システム、コンピュータプログラム、及び方法, 特願2016-42077, 特開2017-157130, 2016年3月4日出願,2017年9月7日公開
- 山西良典,鍵田里沙子,西原陽子,福本淳一:共起語の特異性と繰り返しに着目した歌詞からの印象的フレーズ抽出,日本感性工学会論文誌 ,14(1),pp. 29-35, 2015年2月
感性にもとづく音楽検索
アーティスト名やジャンルだけでなく,聴取者がどのように感じるのかという感性で検索できれば,雰囲気や印象に従って音楽を検索できるようになるはずです.これは,音楽の音響的特徴と音楽に対する印象との対応付けを実現する必要があります.
関連する共同研究・競争的資金等
- コンテキストに応じた歌詞検索のための感性理解エンジンの開発,日本学術振興会 科学研究費助成事業 若手研究(B),16K21482,研究代表
- コンテキストアウェアドライブ楽曲推薦システム,日本学術振興会 科学研究費助成事業 挑戦的萌芽研究,15K12151,研究分担
おでかけ支援のための情報抽出と可視化
旅は自分自身の知識と経験,可能性を広げるアクティビティの一つです.歴史的建造物を観光したり,地域の名物料理をたべたり,同行者や地元の人々と会話したりすることは,まさに我々を「日常」から旅立たせてくれるでしょう.
本研究プロジェクトでは,旅や食事,会話の支援に関わる情報の分析や可視化を行っています.
旅行の支援
旅行は計画を立てるところから始まります.どのような人と,どのような場所へ行くのか,どのような場所に泊まり,何を観光するのか,様々な条件を組み合わせて意思決定しなければなりません.このような複雑な意思決定を支援するための情報抽出と可視化技術を研究しています.
- Yujiro Sato, Ryosuke Yamanishi, Yoko Nishihara: Time-Variable Analysis of Accommodation Reviews Based on a Hierarchical Topic Model, Proc. The Thirteenth International Conference on Advances in Computer-Human Interactions 2020, pp.166-170, 2020年3月
- Ayaka Kodaira, Ryosuke Yamanishi, Yoko Nishihara: Diverse Opinions Extraction from Web Reviews Based on Word Frequency Distribution for Each Evaluation Value, Proc. of International Conference on Data Mining and Applications 2019, pp.231-234, 2019年3月
飲食の支援
食事は特別な体験にもなりますし,日々の生活の一部にもなりえます.飲食店に関わる情報処理や,レシピの分析などから,エンターテインメントであり生命活動でもある飲食体験の向上を支援するための研究を行っています.
関連する共同研究・競争的資金等
- 食の嗜好性の探知アルゴリズムおよび嗜好性に基づく食推薦アルゴリズムの開発,バリスタとの産学共同研究,研究代表
- 外食産業に対する大衆嗜好の地域性に基づく「食に関する感性の可視化」と「メニュー推薦」,すかいらーく財団学術研究助成,研究代表
- オノマトペと比喩を用いた感性描写による曖昧な対象に向けた連想検索手法の開発,一般財団法人人工知能研究振興財団研究助成 ,研究代表
- 会話雰囲気に応じた対話介入による感性インタラクション支援システム,中部電気利用基礎研究振興財団研究助成(A1),研究代表