総合情報学部の学生との研究プロジェクト一覧

音楽を対象とする研究

• 太鼓の達人の譜面難易度デザインに基づく楽曲中のキータイミングの推定：奥村 綾
  　映像やコンサートでは，楽曲中の局所的な盛り上がりであるキータイミングに合わせて，エフェクトや会場の照明，花火などの演出が用いられている．本稿では，キータイミングを推定するために，音楽ゲームの一つである「太鼓の達人」の譜面を利用した．音響特徴量を入力として，「太鼓を強く叩く」「連打する」といった特殊な動作を要求する指示符のタイミングや，ある時刻に対して全ての難易度で共通して指示符が存在するタイミングを推定するモデルを構築した．音楽ゲームの指示符のタイミングを、楽曲のキータイミングを推定するための擬似的な学習データとして利用するアイデアの有用性を検討した．
  　
• 洋楽歌詞とそれに紐づけられた注釈文の内容を複合的に用いた文書分類手法による歌詞解釈対訳コーパスの構築：竹元 亨舟
  　歌詞の理解をたすけるための情報として，ウェブ上で各ユーザが歌詞のフレーズに対して解説を付与するソーシャルメディアを利用する．アノテーションと歌詞フレーズの対応付けられたコーパスを構築することで自動作詞などの歌詞情報処理の基盤データを構築する．代表的な詩的表現である比喩を含むフレーズを抽出するために，正規表現によるルールの組み合わせで適合率高く比喩表現を言及しているアノテーションを抽出した．
  　
• 遺伝的アルゴリズムを利用した任意知識獲得支援を目的とした替え歌自動生成：田所 拓人
  　音楽の中には，音楽の魅力を利用して知識を習得するための歌詞が付与された楽曲が存在する．アルファベットを覚える歌や元素記号を覚える歌など，様々な事例が見られる．本プロジェクトでは，学習対象の重要事項を素材として音楽の歌詞の特性を反映させた教育的歌詞を自動生成する技術の開発を目指す．
  　
• ギターエフェクターを対象とした個々の音感によるチューニング空間：永田 大志
  　エレクトリックギターの演奏では，エフェクターを利用して演奏音を加工することが多い．ギター演奏者はこれらのエフェクターを使い分けて演奏表情付けを行うが，数あるエフェクター間での音響効果と演奏音に対する感性は一般化されていない．本プロジェクトでは，音響効果を可視化することでエフェクター選択の支援を目指す．
  　
• 「踊るは恥だが役に立つ！？」 – 踊ってみた動画を取り巻くコンテンツインタラクションの分析：山西 良典
  　「〜踊ってみた」という形式のダンス動画は動画共有サイトでも人気コンテンツの一つである．本プロジェクトでは，「踊ってみた動画」を対象として，動画内で用いられる音楽やダンス，そして視聴者の行動などを分析する．これにより，多くの人が能動的に楽しみたくなるダンス動画の秘密を探る．

漫画・アニメ・小説・ドラマを対象とする研究

• 漫画作品の担当スタッフと作者によるTwitterでの広告の言語的特徴の分析：青山 千泰
  　書店のポップやウェブ上の広告では漫画の面白さを伝えるための様々な漫画広告を見る機会がある．しかしながら，ネタバレを避けつつ，漫画の面白さを伝えて読者を増やすための漫画広告についての知見や一般的なモデルは見当たらない．本プロジェクトでは，愛読者が作成した漫画広告のデータセットや作者，パブリッシャーがそれぞれ広告したソーシャルメディア上でのコメントを分析することで，魅力的な漫画広告の秘密に迫る．
  
• ソーシャルメディア上の非構造化画像集合に対するアノテーション作業のゲーム化：小川 莉奈
  　イラスト描画の楽しみ方には，参考にするイラストを元に自分なりの画風に描き変える「redraw」がある．本プロジェクトでは，このredrawについてのデータセットを構築することで，どのようなイラストが様々な画風で描き変えられるのかを分析すると共に，イラスト中のオブジェクトやレイアウトによらない画風特徴の究明を目指す．一方で，ソーシャルメディア上で投稿された画像は非構造であり，整理されていない．本稿では，整理されていない画像集合を整理する作業を2つのゲームに分けることで，楽しく整理する手法を提案する．データセットを構築するための「検定ゲーム」と作成したデータセットにアノテーションを加えるための「パーティゲーム」の2つに分割した．
  　
• 作品中の登場キャラクタの多様性の分析と可視化：川崎 圭祐
  　複数のキャラクタが出現が出現する漫画・アニメ・ゲームなどの作品では，それぞれのキャラクターのプロファイルに重複がないようにデザインされている事が多い．登場キャラクタ間でのプロファイルデザインの多様性は，作品の魅力の一つにもなり得る．本プロジェクトでは，作品中の登場キャラクタの多様性を分析・可視化するとともに，キャラクターデザインの補助になり得る知見の究明を目指す．
  　
• 演技音声の音響特徴量とコンテキストとの関係の推定 ー言葉の意味とコンテキストに着目して−：清野 陽平
  　声優の演技では，感情のみならず，距離感や人間関係など複雑なコンテキストを音声のみで伝達している．本プロジェクトでは，ウェブ上で共有される音声エンタテインメントで楽しまれた様々なコンテキストに応じた演技音声を対象とした分析を行うことで複雑なコンテキストに対応した音声特徴量の解明を目指す．
  　
• キャラクターの顔パーツの位置バランスとキャラクターの属性の対応付け：中島 楓華
  　漫画やアニメのキャラクターの顔は，ひと目見ただけでそのプロファイルが推測可能にデフォルメされて描かれている事が多い．言い換えれば，キャラクターのプロファイルは，キャラクターの顔を構成するパーツに反映されて描画されているとも考えられる．本プロジェクトでは，未だ暗黙知である顔の描き方とキャラクターのプロファイルの関係を明らかにする．
  　　
• 漫画中の各コマに対する意味・感性アノテーションデータセットの構築 −ラフ<>アノテーションの可逆性に着目して−：平田 優実
  　漫画では，各コマに表現されたコンテキストや印象などに影響を受けて，効果線や文字フォントなどのデザインが変わっている．本プロジェクトでは，人が漫画を読む時に漫画のコマからどのような意味的・感性的な情報を認知しているのかをアノテーションしたデータセットを構築し，これらと漫画表現との関係を探る．
  　
• 連続ドラマにおける「あらすじ」と「次回予告」の分析：山西 良典
  　連続ドラマの冒頭には作品のこれまでのあらすじ，終了時には次回の予告がそれぞれ映し出されることが多い．本プロジェクトでは，あらすじや次回予告の情報デザインを分析し，電子書籍や映像サブスクリプションサービスなどの任意の視聴中断位置において，物語進度に応じたあらすじと次回予告の自動生成を実現させる．

ゲームを対象とする研究

• スポーツゲームのデータ分析によるスポーツ動作のモデル化：江崎 嘉惟
  　スポーツ観戦を楽しむためには，ルールの理解と共にスポーツ中の動作の識別や意味を理解する必要がある．しかしながら，比較的マイナーなスポーツでは，競技映像データを十分に確保できない問題がある．本プロジェクトでは，スポーツ動作をゲーム中のフォームデータを対象として分析することで，人間がスポーツ動作と認知する身体の動きをモデル化する．
  　
• ゲーム中の異言語コミュニケーションにおけるライブチャットの分析：田崎 丈太郎
  　インターネットを介した共同プレイが可能になったことで，ゲームプレイ中に異言語・異文化圏のプレイヤーと一緒にゲームを楽しむ機会が増えてきた．ゲーム中の専門用語や省略語はゲームの特性に特化して各言語で自然発生的に生まれるため，一般的な機械翻訳では対応できない．本プロジェクトでは，ゲーム中で用いられるコミュニケーションの分析を行い，ゲーム時の異言語コミュニケーションの円滑化を目指す．
  　
• 多人数対戦ゲームのプレイ動画の編集支援インタフェースの開発：福井 拓真
  　インターネットを介して多人数で行う対戦ゲームでは，複数のプレイヤーがそれぞれの画面で1試合をプレイしている．e-spotsとして見た場合には同一の試合として1動画にまとめてみたいというニーズはあるものの，各プレイヤにとっての重要箇所と試合としての重要箇所は異なる可能性がある．本プロジェクトでは，これらの多人数対戦ゲームの特性を踏まえた動画編集支援インタフェースを開発する．

インタラクションを対象とする研究

• スポーツ実況投稿における観戦者の属性分析：小森田 周優
  　スポーツ観戦時に，SNS上で試合状況を実況しながら楽しまれることが増えてきた．実況投稿のなかには，スポーツの経験者や深く理解した視聴者の意見もある一方で，未経験者や初学者の意見も多く存在する．本プロジェクトでは，実況投稿の中からスポーツ経験者や観戦熟達者の意見を抽出し，スポーツ観戦時の重要な観点の抽出を目指す．
  　
• 飲食店のレビュー類似性を用いた直感的な飲食店検索：溝端 華歩
  　飲食店の検索においては，飲食ジャンルや飲食店の場所などをクエリとした検索サービスが利用されることが多い．しかしながら，自分自身の飲食店に対する感性を言語化することは難しいだけでなく，好みの料理や店舗の雰囲気を明確に指定した検索は煩雑な操作になってしまう．本プロジェクトでは，飲食店レビューを活用して，飲食店で飲食店を探すという新しい飲食店検索サービスを開発する．
  　
• 複数データセットの疑似学習による意見文のマルチ感性ラベルの推定：山西 良典
  　一般的に，機械学習を用いた意見の感性推定では，あらかじめ目的とする感性ラベルがアノテートされた学習データを用意することが多い．しかしながら，この学習データの準備自体に多大な人的・時間的コストが必要となってしまう．本プロジェクトでは，この学習データとして既存の複数データセットを利用して疑似学習させることで，意見文に対するマルチ感性ラベルの推定をアノテーションを必要とせずに実現させる．

他研究室との共同研究

この他，他の研究者とも共同で以下のような研究課題にも取り組んでいます．

• Dance Dance Solution – 音楽ゲームにおけるプレイヤ属性に応じたプレイ動作の自動推定
• 身体リズムを用いた自然な情報提示と感性の関連分析
• 漫画のトランスメディア化における情報変換の分析
• 作画アニメの特徴分析と数理モデル化
• 漫画のストーリーラインの分析と応用
• 複数ドイメイン間での情報の関連性の可視化による意思決定支援
• 歌詞に着目した観光地からのクロスドメイン音楽推薦
• Tipsの情報量制御による飲食店のレビュー記述支援
• レビューの時空間情報の可視化による宿泊施設の検索インタフェース
• 漫画コンテンツの日本語学習補助教材としての利用

外部競争的資金による研究プロジェクト

2021年に外部競争的資金を獲得して実施していた研究課題は以下のとおりです．上記で紹介した研究プロジェクトも，一部，これらの外部競争的資金の支援を受けて実施しています．

• 電子書籍における読書状況に応じたストーリー情報呈示システムの開発 （研究代表）
• 漫画・アニメの「創り方」と「楽しみ方」のアーカイブのためのコンテンツ処理技術の開発 （研究代表）
• 機械学習における事前学習モデル構築のための既存データセットの応用フレームワーク（研究代表）
• 食の嗜好性の探知アルゴリズムおよび嗜好性に基づく食推薦アルゴリズムの開発（研究代表）
• ネットいじめの防止を目的とした子どもの情報モラルの獲得を支援するシステム （研究分担）
• 理学療法士の臨床推論技能向上を目的とした知識共有基盤の構築に関する研究 （研究分担）

この他，スマートフォン用音楽ゲーム開発企業や，社会人教育のためのオンライン教材開発企業，声優養成所等とも共同研究や協同の打ち合わせをしています．

⇐Call for members at 2022のページへ戻る