WHAT WE DO on February 2023

2022年度15名の学部生が2年間実施した卒業研究をまとめて卒業論文を執筆しました.1月30日には発表リハーサルをハイブリッドで実施しました.リハーサルでは,現地には株式会社ファリアーの馬場さんや同学部の松下先生,田中先生,オンラインでは立命館大学の仲田先生,西原先生,辻野先生,NIIの大須賀さんにもご参加いただきました.また,このリハーサルで頂いたご意見を受けて,2月8日には学部有志研究室で行われた卒業研究発表会でそれぞれの研究成果を発表しました.

以下,それぞれの研究テーマと研究内容の概要をご紹介します.

平田 優実

アノテーションデータからの漫画コマ内の情報復元を通したメタデータスキームの検討

本研究では,Manga109 のアノテーションデータセットに追加する漫画内の情報の検討を行う.新しく情報を追加したデータセットを漫画コマに反映させ,xml ファイルに書き起こす.そのファイルを基に実験参加者がラフを作成し,筆者の追記情報がラフを描くために必要な情報を満たしているか検証した.ラフは,漫画にとって設計図に値するため,漫画の描画内容を掴んでいると言える.漫画コマについての情報がアノテーションデータとして揃っていれば,そのデータを基に漫画のラフが描けると考えた.実験で作成されたラフが,元となる漫画コマの描画内容を復元できているほど,アノテーションデータセットは充分な情報を保持していると考えられるため,作成された結果のラフを分析する.現存するデータセットに追加すべき情報は何かを考察し,追加する各アノテーションの意義について調査する.

清野 陽平

「単語極性」と「コンテキスト」が演技音声に与える影響の分析

本稿では,演技音声の客観的指標獲得のためのアプローチの 1 つとして音響特徴量に焦点を当てる.インターネットに投稿されている演技音声データを収集し,収集したデータの音響特徴量を分析する.音響特徴量を可視化空間に配置することで,演技音声の客観的指標の獲得を目指す.

田所 拓人

単語の発音数と重要度を制約充足条件とした学習支援のための歌詞生成

本稿では,替え歌学習における問題の解決を目指す.学習者が選択した任意の知識と楽曲から替え歌フレーズを生成する.生成された替え歌フレーズを,全体の評価値が高くなるように組み合わせることで,歌詞全体の生成を実現する.学習者が学びたい内容について説明した替え歌を生成できるようになることで,替え歌楽曲不足の問題の解決を図る.また,自動生成することで替え歌作成における労力が削減され,替え歌作成支援にもつながると考える.

福井 拓真

ゲームプレイのリアルタイムアノテーションによる動画編集補助

本稿では,客観的なアノテーションデータを集める手段として,動画を見ながらリアルタイムでアノテーションを簡単に付与することのできる動画編集補助ソフトを提案する.またソフトのプロトタイプを使用した実験についても述べていく.

永田 大志

パーソナライズド空間上での音データの関係性可視化による音色感覚の訓練

本研究では時間的なメディアである音データを物理特徴量に基づいて空間的に配置し,音色を持続的に認知可能とすることで問題の解決を図る.音データの物理特徴量として人間の聴覚特性を示す MFCC を取得し,t-SNE法を用いて 2 次元上のパーソナライズドな空間に音データを可視化する.ユーザは,自身の音色感覚と目標とする音色感覚が適合するような可視化結果を目指しメタパラメータを対話的に調整する.作成した可視化結果を参照することで複数の音データの相対的な関係性を視覚的に確認でき,音色感覚を訓練できると考えた.本研究では,個々の音色の定義が曖昧なエフェクターを用いたエレキギターのモノフォニックな音源を対象とする.

小森田 周優

異常値検出技術を用いたサッカー観戦コメントの分析
-ソーシャルメディア特性と重要イベントに着目した-

本研究では,上記の最終目標を達成するために SNS に着目した.近年,インターネットやスマートフォンの普及から SNS が人々の間で一般的なものとなっている .これまではスタジアムに行ったり,スポーツバーに行かないと試合観戦の感動や興奮を共有することができなかったが,SNS の普及により,1 人で家にいる時や移動中にテレビや配信サービスで試合を観ていても,他者と試合観戦の感動や興奮を共有することができるようになった.また,SNS 上にはスポーツの試合を観戦しながらリアルタイムで実況コメントを投稿する観戦者が存在しており,その中には選手や戦術についての知識が豊富な玄人観戦者も多く存在していると考えられるため,そのような人々の観戦コメントを上手く活用できれば本研究の最終目標を達成することができると考えた.

小川 莉奈

ソーシャルメディア上の非構造化画像集合に対するアノテーション作業のゲーム化

本稿では,人間にしかできない描き変えイラストに対するアノテーション作業を 2 種類のゲームに分解するアイデアを提案する.アノテーション作業にゲーミフィケーションの考えを取り入れることで,能動的な「楽しんだ結果」をデータセット構築に利用する.また,複数のプレイヤーがゲームに参加することでアノテーションの客観性の担保をねらう.本稿で扱う描き変えイラストとしては,#ghibliredraw を取り上げる.#ghibliredraw とは,スタジオジブリ (以下,ジブリ)の作品の中から各ユーザが好きなシーンを選択し,ユーザそれぞれの画風で描き変えて,そのイラストを共有した Twitter 上のムーブメントの一つである.参考画像が1 枚に固定された#sailormoonredraw とは異なり,様々なシーンに対しての様々な画風の描き変えイラストが収集可能であることが期待される.しかし,様々なシーンでかつ様々な画風を描き変えた#ghibliredraw では,描き変えイラストが同一のシーンを描き変えているかどうかがわからない.本当は全く異なるシーンを描き変えてた場合に,描き変えイラストだけでは見抜けない.参考画像は,ジブリの同一の画風であるため,シーンが異なるまたは同じであるかの判断が描き変えイラストよりもしやすい.参考画像同士が同一のシーンであると判断できれば,描き変えイラスト同士が同一のシーンの描き変えと確認できる.本稿では,ハッシュタグ#ghibliredrawを手がかりとして構造化されていない画像集合を獲得し,その画像集合を提案する 2 種類のゲームを通して構造化することを目的とする.

川崎 圭祐

キャラクタ紹介文に用いられる単語クラスタに着目したキャラクタ属性の分析

本研究では,キャラクタをクラスタリングし,クラスタリング結果から同一作品内のキャラクタ属性の分布について分析を行った.

江崎 嘉惟

ビデオゲーム内の情報を利用した動きの系列類似度に基づくプロレス技の類似検索

本研究では,ファンのみに違いを理解されている技の動きの違いをファン以外にも理解できるようにするための足掛かりとして,ファイプロの情報を用い,動きの系列の類似度に基づく,プロレス技の類似検索システムを提案する.本システムを利用することによって,プロレス技の動きの違いを認識するための知識体系を持たないユーザが,大量に存在するプロレス技の中から任意の技と類似する技を検索可能になり,技同士の関連性を把握可能になる.

溝端華歩

飲食関連テキストのドメイン特性を利用したレストランレビューの性質分析

本稿では,ドメインごとの分散表現からレビューの性質の違いを把握し,各ドメインにレビューを書くユーザの記述傾向の把握を目指す.レビューには価格帯・評価・利用シーンなど様々な着目点があり,各ドメインのユーザがどのようなことに着目してレビューを書くのかは現在明らかになっていない.ユーザの記述傾向の把握が可能になると,レビューの読解支援,レビューの記述支援,ドメインのプロモーション,店のプロモーションにつなげることができる.まず,レビューの着目点が明らかになるとレビューの内容を分類することが可能となり,混在するレビューの観点の整理を行うことによってレビューの読解支援につなげることができる.また,レビューの分散表現から店の価格帯や店の評価,利用シーンなどの傾向把握が可能になるとドメインの特性に特化したレビュワーに対するレビューの記述支援を行うことも可能となる.さらに,どのようなサービスをドメインから提供するとユーザはレビューを書きやすいのか,どのようなレビュー欄を各ドメインには求められているのか,加えればいいのかが把握可能になるとドメインからのサービスの向上につながり,その結果,ドメインのプロモーションに繋げることもできる.加えて,レビューの記述傾向の把握からどのようなサービスをドメインから提供するとユーザの店の利用意欲が向上するのかや,どのようなサービスを店から提供するとユーザに高評価のレビューを書いてもらいやすいかを把握することで,ドメインに掲載されている店のプロモーションにも繋げることができる.

田崎 丈太郎

機械翻訳を用いたコミュニケーションのためのe-sports 観戦コメントに対する情報補完

本稿ではコメント文章に対して情報の補完を行うことで,現行の機械翻訳機によるコメント文の翻訳精度の向上を試みる.近年よく用いられるコーパスベース方式の機械翻訳の主な手法としては,統計的機械翻訳 ,ニューラル機械翻訳の 2 つが挙げられるが,ここではニューラル機械翻訳を利用する.ニューラル機械翻訳は統計的機械翻訳と比べ特に自然な翻訳に優れており,口語の翻訳や意訳が可能になっている.現行の翻訳機の1 つとして GoogleTranslate2を用いる.コメントの正確な翻訳結果を得ることができない要因に,同期型コミュニケーション特有の問題として主語の欠損,チャット形式特有の問題として文章の不完全性,e-sports 観戦特有の問題として固有名詞やスラングの頻出の 3 点があると考える.この問題に対するアプローチとして,ニューラル機械翻訳をより有効に活用するために,文章に対する情報補完を行い,機械翻訳に適した形に変形する,というものを提案する.文章の変形による翻訳精度の向上は石川の研究でも取り扱われている.コメントに対し適した情報補完を行うことで翻訳精度は向上すると考えられる.アプローチ実現のための文章の変形は,文章に対し行う情報補完の処理をまとめたルールベースを作成することで行う.設定したルールベースの有効性を客観的に評価する方法として,折り返し翻訳結果とコメントの原文の文章類似度をコサイン類似度で算出し,ルール適応前後での値を比較した.

竹元 亨舟

音楽知識共有プラットフォーム上のユーザ投稿からの表記特徴を手がかりとした詩的な言い換え表現の抽出

本研究では,既存の楽曲の歌詞に見られる特徴的な言語表現技法やセクション役割(Verse や Chorus など)の理解の手がかりとして,音楽の知識共有プラットフォームで公開されているユーザ投稿の活用を試みる.ユーザ投稿では,投稿者の知識や解釈,意見が事例を参照しながら記述されており,これらは歌詞というコンテンツの理解を助ける有用な情報源となりうると考えた.本稿では,ユーザ投稿の情報源として,Genius1上で公開されているユーザ投稿を参照する.Genius では,不特定多数のユーザが,Genius 上に存在する知識に紐づけて,自らの知識をアノテーションデータ(Genius アノテーション)として投稿することができる.本稿では,Genius アノテーションの一形態である歌詞アノテーションを参照することで,歌詞を理解するための手がかりの抽出をねらう.本稿での分析対象として,歌詞の言語表現技法の 1 つである詩的な言い換え表現を扱う.詩的な言い換え表現とは,歌詞の文書中で用いられる比喩や暗喩などの転義法が用いられた表現を指す.歌詞に紐付けられたユーザ投稿から「歌詞の詩的な言い換え表現(以降,詩的表現部)」と「その表現が実際に意味する物事の説明や描写の説明(以降,解釈部)」のペアを抽出する.提案手法は,ルールベースを用いた知識工学的なアプローチをとっており,ルールベース構築に用いるルール集合は 統計分析によって獲得する.実験では,ユーザ投稿として実際の洋楽曲に紐づけられた歌詞アノテーションを対象として表現部と解釈部を抽出し,詩的な言い換え表現の対訳コーパスを構築する.対訳コーパスに対する統計的分析から,詩的な言い換え表現の性質を考察する.

中島 楓華

アニメキャラクターの顔パーツの位置のバランスとキャラクターが有する属性との関係性に関する検討

本稿では,キャラクターのビジュアルを最も印象付ける構成要素の 1 つである顔を対象として,キャラクターの内面を表現するキャラ属性との関係性を分析する.本研究は先行研究に基づき,顔パーツの位置のバランスに着目して分析する.分析によって得られた知見から,キャラ属性から顔パーツの位置を推定する作画練習システムや,顔パーツの位置からキャラ属性を推定する属性推定システムなどの作画支援システムを構築することを検討している.

青山 千泰

ソーシャルメディア上の読者反応からの漫画家特性の間接的推定

最近では,漫画家自身がソーシャルネットワークサービス (SNS) 上でイラストや漫画を投稿して広報活動を行なうことが増加している.本稿では,SNS からの投稿者の性格分析と同様に漫画家の SNS 投稿から,作品内容や画風,どのようなファンがその作品を好んでいるか分析しようと考えた.本来画像内容を分析処理する必要がある漫画というコンテンツに対し,読者反応のみで漫画家の特徴を間接的に推定する.低コストでコンテンツの内容を掴むことができる点において本稿は特徴づけられる.SNS 上で漫画やイラストを投稿する作者アカウント(以下,漫画家) を VBGMM で分類する手法を用いた.分類には漫画家の投稿に対して付与される reply テキストの文書ベクトルを利用した.分類された作者群はサーストンの一対比較法を用いて官能評価し,クラスタごとの画像の印象の類似度を調査した.なお本稿では Twitter 上での投稿そのもの自体をtweet や retweet,reply と英表記し,Twitter 上でのユーザの行為をツイートやリツイート,リプライとしてカタカナ表記して区別する.reply の投稿文章は replyテキストと表記する.

奥村 綾

太鼓の達人の譜面難易度デザインに基づく楽曲中のキータイミング利用可能性の検討

本研究では,楽曲中に局所的に偏在するキータイミングを検出するため,「太鼓の達人」2の譜面を利用する.太鼓の達人は和太鼓 (打楽器) をモチーフとした音楽ゲームの 1 つであり,リズムに合わせて指定された指示符に沿って,和太鼓型のコントローラを叩くゲームである.指示符には,叩き方が異なる複数の種類が存在する.ある楽曲に対して用意された指示符の配置パターンを「譜面」と呼ぶ.太鼓の達人では,1 つの楽曲に対して,指示符の配置タイミングや順序が異なる,複数の難易度の譜面が存在する.和太鼓というモチーフの特性上,太鼓の達人は音楽ゲームの中でも特にリズムを刻むことを重視して譜面が作成されていると考えられる.この点において,キータイミングという楽曲中の特定の瞬間を検出するため,太鼓の達人の譜面が有用と考えた.本稿では,ある時刻において,複数の難易度に共通して指示符が存在するタイミングは重要であるという仮定のもと,このような時刻をキータイミングとみなす.