WHAT WE DO on October
2024年9月2日〜4日に北海道情報大学で行われた，「ECシンポジウム」でB4の佐々木さん，B4の諸隈さん，B4の牧野さん，M2の福井さんが発表しました．このページでは福井さんの発表について掲載します．
はじめに
M2の福井です．2024年9月２日〜４日に北海道情報大学にて開催された，Entertainment Computing 2024で行った研究発表について報告いたします．
「インタラクティブ視聴システムを用いたゲーム動画への印象アノテーションとシーンの関連性の分析」というタイトルで発表しました．
研究概要
この研究では，動画に対して漫画で使われるようなオノマトペや集中線といった漫画的装飾をリアルタイムで付与できるシステムを提案しました．
現在，下図のような動画視聴システムを制作しています．従来の動画視聴システムでは，アノテーターや動画編集者に負担のかかるインタラクションになっています．そこで，シーンの印象を強調でき，不変のシンボルである漫画的装飾を用いることで，少ない負担で印象アノテーションの収集が可能になると考えました．また，アノテーションデータを用いることでいつ・どのようなシーンが発生したか簡単に推測できるようになり，アノテーターだけではなく，動画編集者の負担も軽減することができると考えています．
以上のようなシステムの実現を目指し，今回は漫画的装飾に関する主張の妥当性を確かめるための検証を行いました．
研究の背景
e-sportsの盛り上がりを受け，ゲームプレイ配信から見どころシーンを抜粋した「まとめ動画」が人気になっています．まとめ動画を制作する際には動画から見どころとなるシーンを把握する必要がありますが，ゲームプレイ配信は1本の動画が数時間以上になることも珍しくなく，確認に非常に手間がかかります．そこで，見どころ把握の補助として見どころの自動検出を考えました．
見どころを検出するにはシーンから受ける印象のアノテーションが必要です．しかし，ゲーム動画へのアノテーション作業は短時間で状況が変化するため頻繁な記録が必要となること，アップデートや見どころの基準の変化に対応するため継続的な作業が必要となること，シーンの印象には個人の感性が関わってくるため，データの質を保証するために複数人での作業が必要となることなど複数の要因からコストが高い作業です．
この問題を解決するために，ゲーム動画に対してリアルタイムに漫画的装飾を付与可能なシステムを制作することにしました．動画に対する視聴者の感情を扱う手法としてコメントを用いる手法もありますが，独自の用語が頻出するゲーム動画には適していないと考えられます．漫画的装飾を用いることで，言語化を挟まずに印象データを収集できると考えました．
実験
漫画的装飾が印象アノテーションとして利用できることの妥当性を検証することを目的とした実験を実施しました．この実験では，付与される漫画的装飾に動画やシーンの特徴が表れるか分析を行いました．
実験内容としては，被験者にシステムを用いて6本のゲーム動画に装飾を付与させた後，動画・シーンごとに装飾がどのように付与されたか分析を行いました．動画は「上手いプレイ」が含まれるものと「面白いプレイ」が含まれるものをそれぞれ3本ずつ用意しました．
結果と考察
まず動画に付与された装飾の分析結果について述べます．分析の結果，上手い動画群である動画1，2，3と比べて面白い動画群である動画4，5，6において「はぁ」や「？」の付与率が高くなっていることがわかりました．特に「はぁ」は動画5で，「？」は動画6で高い付与率になっていました．また「？」はプレイヤーが倒されていない動画１，２において付与率が低くなっており，上手いか面白いかだけではなくより具体的な動画の内容も分類できることが示唆されました．
次に付与された装飾のシーンごとの分析結果について述べます．今回の実験では全ての装飾において装飾の重複が発生しており，その中でも「ザワ」「ドキ」「パチ」「集中線」の4種類の装飾は半数以上の被験者で重複するシーンが見られました．それぞれ「ザワ」「ドキ」は１対１や敵が出てきそうなシーン，「パチ」はラウンドに勝利したシーン，集中線は敵を連続で倒したシーンや，必殺技を使用したシーンにおいてよく重複が見られました．またこれらのシーンは上手い動画においてよく見られるシーンでした．
以上の結果から，面白い動画では動画に付与された装飾の割合に，上手い動画ではシーンに付与された装飾の重複に特徴が表れることがわかりました．また付与された装飾の特徴から「上手い」「面白い」よりもさらに細かく動画の内容を分類可能なことが示唆されました．これらのことから，付与された漫画的装飾には動画・シーンの特徴が表れると言えることがわかりました．
おわりに
今回の研究発表では，口頭発表だけではなく，デモ・ポスター発表も行いました．ポスター発表では口頭発表の質疑応答よりも時間をかけた話し合いをすることができ，様々な意見をいただきました．また，自身の研究について良い評価もいただくことができました．
今回の発表で得ることができた反省やいただいた意見を活かしながら，今後の研究活動に取り組んでいきます．