このページでは，本研究室の研究活動に興味がある本学総合情報学部の学生に向けての情報を発信します．

−　必要となる知識や技術
−　受講デザイン

必要となる知識や技術

文化や芸術に相当するコンテンツを計算機科学によって処理するためには，主に以下の知識や技術が必要となります．

• コンテンツを計算機で扱うためのデータ表現・管理に関する知識・技術
• コンテンツの特性を捉えるためのコンテンツについての知識
• 人間とコンテンツについてのインタラクション分析の技術
• 人間の知能や感性と同様（以上）にコンテンツを処理する技術

本研究室で主に取り組んでいる「音楽」「漫画」「ゲーム」「旅・飲食」について，それぞれどのように上記の知識や技術が必要になるかを説明します．

音楽

音楽は音響（楽音）と言語（歌詞）によって構成された時間的なマルチメディアコンテンツです．時系列データを処理するためには，情報が時間的にどのように変化するのかを計算機科学で扱うためのデータ表現・管理に関する知識や技術が必要になります．

歌唱曲で歌われる楽器の音や歌声は，環境音や一般的な会話などの音声とは異なる音響特性をもっており，歌われる歌詞は一般的な会話や文書で使われる自然言語とは異なる芸術的な特性を持っています．この特性を捉えるためには，コンテンツについての知識が必要となります．当然，音楽理論に関する知識や，演奏・作詞/作曲などの経験は，音楽のコンテンツ特性を捉える上でアドバンテージになります．

このような特性をもった音楽に対して，人間がどのように音楽を楽しんでいるのかを分析するためには，インタラクション分析の技術が必要となります．例えば，音楽を聴取する場面での人間の行動や心理をモデル化し，音楽推薦に求められる要件や，歌詞を理解する上での人間の認知過程を分析し，数理的に表現する必要があります．

人間が，知能や感性でどのように音楽を聴取しているのかと同様に，あるいは，人間以上に高度な知的・感性的処理によって音楽を推薦したり，分析したりするようなコンテンツを処理する技術が必要になります．例えば，機械学習アルゴリズムを利用した分類や予測といった技術が適用されることになります．また，実用的な側面に着目すれば，インタフェースに関する知識なども必要になることもあります．

漫画

漫画は画像（絵）と言語（セリフなど）によって構成された空間的なマルチメディアコンテンツです．また，漫画のページ内にはコマのサイズや空間的配置によって時間情報が表現されていたり，本来は時間的情報である発話や音が吹き出しやオノマトペによって表現されていたり，時間情報の２次元情報への圧縮としても見ることができます．また，アニメ化された場合には，圧縮された２次元情報が時間情報（音声や動き）に復元されると見ることもできます．複雑なマルチモーダル情報を扱うためのデータ表現・管理に関する知識や技術が必要になります．

漫画やアニメは，現代の日本を代表する文化の一つですが，そのコンテンツ特性を計算機によって処理するための知識の究明や技術の開発は未だ黎明期です．漫画には様々な表現技法が適用されていますし，人間がどのように漫画内の画像や言語情報を組み合わせてコンテンツを処理しているのかという認知過程についても未だ不明な部分が多くあります．また，アニメ化される場合には，漫画内のセリフが声優によって音声に，オノマトペなどは環境音・効果音に変換されます．どのような吹き出しのどのようなセリフに対して，どのような演技音声がフィットするのか，どのようなオノマトペとどのような環境音が紐付くのかについても定式化はされていません．様々なメディア媒体をつなぐ，漫画コンテンツについての知識が必要となります．

このような特性をもった漫画・アニメに対して，人間がどのように漫画を創作しているのか，楽しんでいるのかを分析するためのインタラクション分析の技術が必要となります．例えば，漫画の検索に求められる要件や，ストーリーを創作するうえでの人間の認知過程を分析し，数理的にモデル化する必要があります．漫画・アニメの世界的な人気を考えると，文化や言語の違いに応じたアプローチも考える必要があります．

人間と同様に漫画を読める人工知能を創り出すためには，漫画のストーリーを分析したり，漫画内のコンテンテンツを認識するためのコンテンツを処理する技術が必要になります．例えば，画像処理技術によってキャラクターの顔から性格を推定したり，言語情報処理技術によってセリフの感情を読み解いたりする技術を開発する必要があります．また，漫画家がどのような場面で計算機科学的な支援を求めているのかニーズの調査と分析を行って，創作面での支援についても考えていく必要があります．

ゲーム

ゲームは，ある一定のルールのもとで，提示された情報に対してプレイヤーが戦略・アクションを決定し，最適な状態探索を行う活動と見ることができます．様々なゲームのジャンルがあり，それぞのれゲームに必要なデバイスが設定されています．ゲームを実施する上でのルールやプレイヤーの状態，ゲームの状況を計算機上で扱うためには，これらの情報についてのデータ表現・管理に関する知識や技術が必要になります．

ゲームは「あそび」という高度な知的処理を必要とする文化コンテンツの一つとして捉えることができます．ゲームにはデジタル/アナログの区別のみならず，様々なジャンル（例えば，パズルやFPS，音楽ゲームなど）が存在し，それぞれのゲームの特性に関するコンテンツについての知識が必要となります．多くのジャンルでゲーム全般に共通するゲーム理論のような基礎的な知識は当然のこと，ゲーム中で扱われる多様なメディアの特性についての知識も必要となります．例えば，音楽ゲームではゲームとしての知識のみならず，音楽についての知識や身体を動かす上での身体知に関する知識が必要となります．

ゲームを対象とした計算機科学研究を行う上では，プレイヤーがどのようにゲームコンテンツを理解しプレイするのか，提示情報とアクションとの関係がどのようにモデル化できるのかといったインタラクション分析の技術が必要となります．例えば，ゲームコンテンツに対するレビューを分析してどのような観点が言及されているのかの分析や，ゲームのプレイ自体を画像や時系列データとしてモデル化した分析などが必要になります．

人間と同等以上にゲームをプレイしたり，人間と同様にゲームコンテンツを生成可能な人工知能を構築するためには，ゲームの特性を踏まえたコンテンツの分析や生成などを実現するためのコンテンツを処理する技術が必要になります．例えば，ゲーム中で提示された情報に対して任意のパラメータを持つ人間であれば，どのようなアクションを選択するのかを推定するエンジンや，ユーザの嗜好に応じてゲーム中のコンテンツを自動生成するモデルなどをデータサイエンス技術や機械学習のしくみを応用して実現します．

旅・飲食

旅や飲食は，生活の一部とも捉えられる一方で，特別なエンターテイメント体験としても捉えられます．どこかへ旅行に出かけるときには，出かける時間と場所の時空間情報を踏まえて，旅行を計画する必要があります．飲食に関しては，ご当地の名物や飲食店のレビューの情報をもとにしながら，嗜好や栄養バランスなどを考えた制約充足問題を解いているとも言えます．人間は，旅と飲食，ともに多目的の最適化問題を解いていると考えられ，この問題を計算機上で捉えるためのデータ表現・管理に関する知識や技術が必要になります．

計算機科学によって旅の支援をするためには，人間はどのようなコンテンツを観光情報として捉えているのか，どのような条件を考慮して旅行計画を考案するのか，宿泊施設等の決定においてどのような観点が着目されるのかといった旅行に関する様々な周辺知識が必要となります．また，飲食に関しては，メインコンテンツである料理のみならず，飲食を行う飲食店の環境や盛り付けられる食器などのコンテキスト情報も，飲食に対する感性評価に大きく影響を与えます．これら旅・飲食コンテンツについての知識が必要となります．

旅や飲食を計算機科学によって充実するためには，人間が旅行や飲食に対してどのような潜在的ニーズをもっているのかを明らかにするインタラクション分析の技術が必要となります．人間が旅行や飲食を対象として何らかの意思決定を行う際には，誰と一緒に旅をするのか，どのような目的で飲食を行うのか，といったコンテキストが大きく影響します．どのような条件下で，どのような目的に対して計算機科学が貢献するのか，どのような情報提示が旅行体験や飲食体験の充実を図るのかを分析・考察し，システムデザインを考案する必要があります．

旅や飲食は，それぞれにおいて様々なメディア（画像や言語）でウェブ上に情報が溢れています．これらに対して，ニーズに応じたアプリケーションを提供するためには，様々なメディアを複合的に扱って，コンテンツを処理する技術が必要になります．例えば，旅行計画を行う上での宿泊施設検索を支援するためには，宿泊施設そのもののみならず周辺環境についての情報獲得を支援したり，飲食店の検索を支援する上では，料理と飲食環境のマルチモーダルについて言及されたレビューを分離・分析する技術などが必要になります．ここでは，自然言語処理，画像情報処理，インタフェース，Webインテリジェンスなどの知識や技術を適用します．

以上のように，本研究室では「一人称視点で，エンドユーザとしてコンテンツを楽しんだり，評論家のように文化や芸術を概観」したりではなく，「クリエイターからエンドユーザまでがコンテンツの魅力を最大限に楽しめるようにするための知見の発見や新たなアプリケーションの開発」を計算機科学の力で実現させます．

受講デザイン

上記の研究特性を踏まえて，本学部の講義中で研究内容に関連が高い講義を一覧表示します．「基礎」に該当する講義は，研究を進めていく上で基盤となる知識や技術であるため，受講のうえ正しい理解と習得を勧めます．また，「発展」に該当する講義は，自らが取り組む研究によっては必要となる，あるいは，知っている・できると便利な知識や技術に該当します．

本ページでの「基礎」や「発展」は，本研究室で文化芸術計算機科学の研究に取り組む上での関連度を示したものであり，学部が設定している必修科目や，一般的な情報科学，計算機科学における分類とは異なる可能性があります．また，これらの他に英語に関しては一定以上の読解・執筆・聴解能力があると望ましいです．

表中の「*」は本研究室の教員が担当する講義です．
すべての講義の受講が必須というわけではありません

1年次配当講義

2年次配当講義

3年次配当講義

本研究室の研究に興味がある学生は，上表を参照の上，自分自身でカリキュラムツリーを考えて，各自最善を尽くして受講計画をデザインしてください．