総合情報学部の学生との研究プロジェクト一覧

音楽を対象とする研究

• 太鼓の達人の譜面難易度デザインに基づく楽曲中のキータイミングの推定：奥村 綾
  　映像やコンサートでは，楽曲中の局所的な盛り上がりであるキータイミングに合わせて，エフェクトや会場の照明，花火などの演出が用いられている．本稿では，キータイミングを推定するために，音楽ゲームの一つである「太鼓の達人」の譜面を利用した．音響特徴量を入力として，「太鼓を強く叩く」「連打する」といった特殊な動作を要求する指示符のタイミングや，ある時刻に対して全ての難易度で共通して指示符が存在するタイミングを推定するモデルを構築した．音楽ゲームの指示符のタイミングを、楽曲のキータイミングを推定するための擬似的な学習データとして利用するアイデアの有用性を検討した．
• 洋楽歌詞とそれに紐づけられた注釈文の内容を複合的に用いた文書分類手法による歌詞解釈対訳コーパスの構築：竹元 亨舟
  　歌詞の理解をたすけるための情報として，ウェブ上で各ユーザが歌詞のフレーズに対して解説を付与するソーシャルメディアを利用する．アノテーションと歌詞フレーズの対応付けられたコーパスを構築することで自動作詞などの歌詞情報処理の基盤データを構築する．代表的な詩的表現である比喩を含むフレーズを抽出するために，正規表現によるルールの組み合わせで適合率高く比喩表現を言及しているアノテーションを抽出した．
• 遺伝的アルゴリズムを利用した任意知識獲得支援を目的とした替え歌自動生成：田所 拓人
  　音楽の中には，音楽の魅力を利用して知識を習得するための歌詞が付与された楽曲が存在する．アルファベットを覚える歌や元素記号を覚える歌など，様々な事例が見られる．本プロジェクトでは，学習対象の重要事項を素材として音楽の歌詞の特性を反映させた教育的歌詞を自動生成する技術の開発を目指す．
• ギターエフェクターの音響特徴の空間的可視化：永田 大志
  　エレクトリックギターの演奏では，エフェクターを利用して演奏音を加工することが多い．ギター演奏者はこれらのエフェクターを使い分けて演奏表情付けを行うが，数あるエフェクター間での音響効果と演奏音に対する感性は一般化されていない．本プロジェクトでは，音響効果を可視化することでエフェクター選択の支援を目指す．
• ノイズキャンセリングは本当に音楽体験を向上させるか？：藤本直樹
  　最近ではノイズキャンセリング機能がついたイヤフォンやヘッドフォンを用いて音楽のみを聴取するという機会が当たり前になってきました．しかし，雨音や街の喧騒などの環境音は本当に音楽聴取にとって「ノイズ」なのでしょうか？音楽を楽しむための環境の分析を行っています．
• ボーカロイドとアーティストの歌詞表現の違いに関する分析：横井優
  　ボーカロイドという新しいアーティストは，これまでの音楽シーンにも影響を与えています．ボーカロイドの登場によってアーティストの音楽にも変化が見られるのか？ボーカロイドとアーティストの楽曲には違いが存在するのかを歌詞の観点から分析しています．
• 「踊るは恥だが役に立つ！？」 – 踊ってみた動画を取り巻くコンテンツインタラクションの分析：山西 良典
  　「〜踊ってみた」という形式のダンス動画は動画共有サイトでも人気コンテンツの一つである．本プロジェクトでは，「踊ってみた動画」を対象として，動画内で用いられる音楽やダンス，そして視聴者の行動などを分析する．これにより，多くの人が能動的に楽しみたくなるダンス動画の秘密を探る．

漫画・アニメ・小説・ドラマを対象とする研究

• 漫画作品の担当スタッフと作者によるTwitterでの広告の言語的特徴の分析：青山 千泰
  　書店のポップやウェブ上の広告では漫画の面白さを伝えるための様々な漫画広告を見る機会がある．しかしながら，ネタバレを避けつつ，漫画の面白さを伝えて読者を増やすための漫画広告についての知見や一般的なモデルは見当たらない．本プロジェクトでは，愛読者が作成した漫画広告のデータセットや作者，パブリッシャーがそれぞれ広告したソーシャルメディア上でのコメントを分析することで，魅力的な漫画広告の秘密に迫る．
• ソーシャルメディア上の非構造化画像集合に対するアノテーション作業のゲーム化：小川 莉奈
  　イラスト描画の楽しみ方には，参考にするイラストを元に自分なりの画風に描き変える「redraw」がある．本プロジェクトでは，このredrawについてのデータセットを構築することで，どのようなイラストが様々な画風で描き変えられるのかを分析すると共に，イラスト中のオブジェクトやレイアウトによらない画風特徴の究明を目指す．一方で，ソーシャルメディア上で投稿された画像は非構造であり，整理されていない．本稿では，整理されていない画像集合を整理する作業を2つのゲームに分けることで，楽しく整理する手法を提案する．データセットを構築するための「検定ゲーム」と作成したデータセットにアノテーションを加えるための「パーティゲーム」の2つに分割した．
• 作品中の登場キャラクタの多様性の分析と可視化：川崎 圭祐
  　複数のキャラクタが出現が出現する漫画・アニメ・ゲームなどの作品では，それぞれのキャラクターのプロファイルに重複がないようにデザインされている事が多い．登場キャラクタ間でのプロファイルデザインの多様性は，作品の魅力の一つにもなり得る．本プロジェクトでは，作品中の登場キャラクタの多様性を分析・可視化するとともに，キャラクターデザインの補助になり得る知見の究明を目指す．
• 演技音声の音響特徴量とコンテキストとの関係の推定 ー言葉の意味とコンテキストに着目して−：清野 陽平
  　声優の演技では，感情のみならず，距離感や人間関係など複雑なコンテキストを音声のみで伝達している．本プロジェクトでは，ウェブ上で共有される音声エンタテインメントで楽しまれた様々なコンテキストに応じた演技音声を対象とした分析を行うことで複雑なコンテキストに対応した音声特徴量の解明を目指す．
• キャラクターの顔パーツの位置バランスとキャラクターの属性の対応付け：中島 楓華
  　漫画やアニメのキャラクターの顔は，ひと目見ただけでそのプロファイルが推測可能にデフォルメされて描かれている事が多い．言い換えれば，キャラクターのプロファイルは，キャラクターの顔を構成するパーツに反映されて描画されているとも考えられる．本プロジェクトでは，未だ暗黙知である顔の描き方とキャラクターのプロファイルの関係を明らかにする．
• 漫画中の各コマに対する意味・感性アノテーションデータセットの構築 −ラフ<>アノテーションの可逆性に着目して−：平田 優実
  　漫画では，各コマに表現されたコンテキストや印象などに影響を受けて，効果線や文字フォントなどのデザインが変わっている．本プロジェクトでは，人が漫画を読む時に漫画のコマからどのような意味的・感性的な情報を認知しているのかをアノテーションしたデータセットを構築し，これらと漫画表現との関係を探る．
• 漫画・アニメにおけるキャラクターの話し方と性格の関係性分析：南出瞭馬
  　キャラクターの発話に着目し，漫画やアニメ内のキャラクターの性格と喋り方の関係を分析しています．日本語独特の表現である単語の音変化の特徴をもとに，セリフをどのように話すのかをモデル化して性格との対応付を行っています．
• 漫画内のシーン分割点アノテーションによるコンテクスト−コマ割り検索：早見陽太
  　漫画のネームを書くためには，どのような漫画のどのようなシーンがどのようなコマ割りで書かれているのかを参照して勉強する必要があります．そこで，漫画に対してコマの読み順と共にシーンの分かれ目をアノテーションするためのインタフェースを作成しています．
• 連続ドラマにおける「あらすじ」と「次回予告」の分析：山西 良典
  　連続ドラマの冒頭には作品のこれまでのあらすじ，終了時には次回の予告がそれぞれ映し出されることが多い．本プロジェクトでは，あらすじや次回予告の情報デザインを分析し，電子書籍や映像サブスクリプションサービスなどの任意の視聴中断位置において，物語進度に応じたあらすじと次回予告の自動生成を実現させる．

ゲームを対象とする研究

• スポーツゲームのデータ分析によるスポーツ動作のモデル化：江崎 嘉惟
  　スポーツ観戦を楽しむためには，ルールの理解と共にスポーツ中の動作の識別や意味を理解する必要がある．しかしながら，比較的マイナーなスポーツでは，競技映像データを十分に確保できない問題がある．本プロジェクトでは，スポーツ動作をゲーム中のフォームデータを対象として分析することで，人間がスポーツ動作と認知する身体の動きをモデル化する．
• ゲーム中の異言語コミュニケーションにおけるライブチャットの分析：田崎 丈太郎
  　インターネットを介した共同プレイが可能になったことで，ゲームプレイ中に異言語・異文化圏のプレイヤーと一緒にゲームを楽しむ機会が増えてきた．ゲーム中の専門用語や省略語はゲームの特性に特化して各言語で自然発生的に生まれるため，一般的な機械翻訳では対応できない．本プロジェクトでは，ゲーム中で用いられるコミュニケーションの分析を行い，ゲーム時の異言語コミュニケーションの円滑化を目指す．
• 多人数対戦ゲームのプレイ動画の編集支援インタフェースの開発：福井 拓真
  　インターネットを介して多人数で行う対戦ゲームでは，複数のプレイヤーがそれぞれの画面で1試合をプレイしている．e-spotsとして見た場合には同一の試合として1動画にまとめてみたいというニーズはあるものの，各プレイヤにとっての重要箇所と試合としての重要箇所は異なる可能性がある．本プロジェクトでは，これらの多人数対戦ゲームの特性を踏まえた動画編集支援インタフェースを開発する．
• ゲームBGMとゲーム内シーンの組み合わせに関する分析：岡上加乃
  　ゲームBGMを一般的な音楽のように楽しめるためのアプローチを研究しています．まずは，ゲーム音楽という状況に紐ついた音楽の特性を実験的に明らかにすることを目標として，音楽と状況の組み合わせに関する分析を行っています．
• カードゲームにおける「切り札」への経路可視化によるゲーム理解の促進：松下真之介
  　トレーディングカードゲームは，カードの種類が増え続け，それに応じてゲームが逐次変化するゲームと言えます．このようなゲームを初心者が始める場合や観戦する場合に，ゲーム中の「切り札」までの手順を可視化することでゲーム状況の理解促進を目指しています．遊戯王に，俺はなるっ！
  

インタラクションを対象とする研究

• スポーツ実況投稿における観戦者の属性分析：小森田 周優
  　スポーツ観戦時に，SNS上で試合状況を実況しながら楽しまれることが増えてきた．実況投稿のなかには，スポーツの経験者や深く理解した視聴者の意見もある一方で，未経験者や初学者の意見も多く存在する．本プロジェクトでは，実況投稿の中からスポーツ経験者や観戦熟達者の意見を抽出し，スポーツ観戦時の重要な観点の抽出を目指す．
• 飲食店のレビュー類似性を用いた直感的な飲食店検索：溝端 華歩
  　飲食店の検索においては，飲食ジャンルや飲食店の場所などをクエリとした検索サービスが利用されることが多い．しかしながら，自分自身の飲食店に対する感性を言語化することは難しいだけでなく，好みの料理や店舗の雰囲気を明確に指定した検索は煩雑な操作になってしまう．本プロジェクトでは，飲食店レビューを活用して，飲食店で飲食店を探すという新しい飲食店検索サービスを開発する．
• 「あまり食材」を出さない1週間の献立作成のための訓練システム：井上陸玖
  　身近にできる食品ロス軽減のためのアプローチとして，あまり食材が出ない買い物をできるようになるための訓練システムの開発をしています．複数のレシピで共有する食材をうまく調整して使える1週間の献立を考えられるように目指しています．
• 映画・ドラマのジャンルとシーンに応じた英単語の用法検索：北畑由莉香
  　エンタテインメントを通して学ぶというエデュテイメントの研究をしています．特に，映画やドラマなどを通して英語学習を行うことに着目しており，日常会話では当たり前に使うのに，教科書には出てこない言葉をコンテクストと共に学べるしくみを構築しています．
• ウェブ上のエンタテインメントへの不満コメントからの有益情報の抽出：平尾七虹
  　様々なエンタテインメントに関するウェブ上でのやりとりは，双方向な楽しみ方ができるようになりました．チャットの中には，一見するとネガティブな不満の中に今後の改善に期待できる「良い不満」が埋もれている可能性があります．これらの不満からの改善点の抽出を目指しています．
• VTuberのモデリングに関する研究：松本桃花
  自然な動きのVTuberのモデリングについて調査しています．
• 複数データセットの疑似学習による意見文のマルチ感性ラベルの推定：山西 良典
  　一般的に，機械学習を用いた意見の感性推定では，あらかじめ目的とする感性ラベルがアノテートされた学習データを用意することが多い．しかしながら，この学習データの準備自体に多大な人的・時間的コストが必要となってしまう．本プロジェクトでは，この学習データとして既存の複数データセットを利用して疑似学習させることで，意見文に対するマルチ感性ラベルの推定をアノテーションを必要とせずに実現させる．
• 出川イングリッシュをヒントとしたエデュテイメントシステム：山西 良典
  　日本テレビ制作の世界の果てまでイッテQ！内の人気企画「出川哲朗はじめてのおつかい」では，出川氏のネイティヴ英語話者との会話がエンタテインメントとして楽しまれている．日本国内の標準的な英語能力からすれば，多くの視聴者は出川氏の英会話の拙さやネイティヴ話者との認識の齟齬を直接理解しているわけではなく，番組内の演出を補助情報として受け取ることで英会話におけるミスコミュニケーションをエンタテインメントとして楽しんでいるものと推察される．この番組内の演出に着想を得て，英語発話に対して非言語情報をフィードバックすることで学習者に楽しみながら自己研鑽する機会を提供するエデュテイメントを目指す．

他研究室との共同研究

この他，他の研究者とも共同で以下のような研究課題にも取り組んでいます．

• Dance Dance Solution – 音楽ゲームにおけるプレイヤ属性に応じたプレイ動作の自動推定
• 漫画のトランスメディア化における情報変換の分析
• 作画アニメの特徴分析と数理モデル化
• 漫画のストーリーラインの分析と応用

外部競争的資金による研究プロジェクト

2020以降にに外部競争的資金を獲得して実施していた研究課題は以下のとおりです．上記で紹介した研究プロジェクトも，一部，これらの外部競争的資金の支援を受けて実施しています．

• 様々な障壁を超えた異言語コミュニケーションに関する研究（研究分担）
• 電子書籍における読書状況に応じたストーリー情報呈示システムの開発 （研究代表）
• 漫画・アニメの「創り方」と「楽しみ方」のアーカイブのためのコンテンツ処理技術の開発 （研究代表）
• 機械学習における事前学習モデル構築のための既存データセットの応用フレームワーク（研究代表）
• 食の嗜好性の探知アルゴリズムおよび嗜好性に基づく食推薦アルゴリズムの開発（研究代表）
• ネットいじめの防止を目的とした子どもの情報モラルの獲得を支援するシステム （研究分担）
• 理学療法士の臨床推論技能向上を目的とした知識共有基盤の構築に関する研究 （研究分担）

この他，スマートフォン用音楽ゲーム開発企業や，社会人教育のためのオンライン教材開発企業，声優養成所等とも共同研究や協同の打ち合わせをしています．

⇐Call for members at 2023のページへ戻る