58
AI モデレーターは有害なトロールからストリーマーを救えるか?

ストリーミング

インテルの調査によると、ゲームをやめたゲーマーの10%は、有害なオンライン行動が原因であることが判明しました。(画像提供: Shutterstock)

インターネットは、最高の友にも最悪の敵にもなり得ます。今日では、ウェブにアクセスし、同じ考えを持つ人々と繋がり、新しいことを学び、ゲーム配信のようなキャリアをスタートさせることさえ、かつてないほど容易になっています。ストリーマーは、自身のスキルと個性を披露することでフォロワーを増やしていきます。TwitchやYouTubeなどの視聴者やコミュニティ全体と交流しなければ、人気ストリーマーになることはできません。しかし、そのコミュニティが、称賛やポジティブな絵文字よりも大きな、ヘイトスピーチやハラスメントといった有害な行為に悩まされていたらどうなるでしょうか?テクノロジー企業として、人工知能のようなイノベーションは、自らの顧客によって不快な思いをさせられた業界にとって、万能薬となり得るのでしょうか?

トロルズ・ゴーン・ワイルド

このウェブサイトにたどり着くほどインターネットに精通しているなら、ネット上でどれほど意地悪な人がいるか、あるいは実際に体験したことがあるかもしれません。ストリーマーの場合、侮辱はリアルタイムで浴びせられ、顔や画像が公開されるため、より個人的なものになります。実際、Intelの調査によると、ゲームをやめたプレイヤーの10%が、その理由として「有害な行為」を挙げています。

TwitchストリーマーのZombaeKillzは論説記事の中で、黒人女性ストリーマーとしての自身の経験を詳しく語った。

「20年間オンラインゲームをしてきましたが、オフラインでもストーカー行為を受け、レイプや殺人の脅迫を受け、さらにはFacebookから子供たちの写真を盗んでオンライングループで嘲笑するユーザーも見てきました」と彼女は綴った。「あの無力感と侵害された気持ちは決して忘れられません。しかし、ここ数ヶ月、大手ゲーム企業がブラック・ライブズ・マター運動を支持していることを考えると、これらの企業は自社のプラットフォーム上での偏見をなくすことにもっと真剣に取り組むだろうと思うかもしれません。

しかし、私の経験や、私が話した他の有色人種のストリーマーの経験から判断すると、現実はレトリックと一致していないことは明らかです。」

ZombaeKillzが述べたように、LGBTQIAコミュニティを含む様々なマイノリティグループが、こうした環境において「脆弱」だと感じていることは周知の事実です。Twitchなどのゲームストリーミングプラットフォームではユーザーをブロックすることはできますが、ほとんどのプラットフォームでは、誰かを「醜い」と呼んだり、人種差別的な言葉を使ったりするなど、複数回の違反行為でアカウントが停止されるという、十分な猶予が与えられています。そもそも懲戒処分を受けるかどうかさえ問題です。

曖昧なポリシーはストリーマーを脆弱にする

コミュニティーを監視するために、Twitch は人間のモデレーターのチームに大きく依存しているが、テクノロジーの流入によって、常に平均 150 万人の視聴者を抱えるこのプラットフォームをよりユーザーフレンドリーにできるだろうか?

Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。

Twitchのコンテンツモデレーションは、利用規約とコミュニティガイドラインに基づいて構築されています。ストリーマーは、その上にさらに基準を追加することもできます。例えば、ストリーマーはボランティアモデレーターを雇用し、自分のチャンネルのコンテンツをモデレートしてもらうことができます。Twitchの広報担当者はTom's Hardwareに対し、これらのボランティアモデレーターは「Twitchコミュニティにおいて重要な役割を果たしている」と述べています。

「当社はこの分野に多額の投資を行っており、Mod Viewなどのツールやリソースを提供して彼らの仕事を楽にし、Twitchの全体的なモデレーション構造を改善しています」と広報担当者は述べた。

TwitchのMod View機能は、400万人を超えるストリーマーのチャンネルのモデレーションをより現実的なものにするテクノロジーの導入例の一つに過ぎません。3月に発表されたMod Viewは、Twitchのモデレーター向けのツールを集約したプラットフォームであり、チャットでコマンドを入力する手間を省きます。

Twitch Mod ビュー

Twitch Modビュー(画像提供:Twitch)

実際の苦情への対応に関しては、Twitchは「人間のモデレーターと自動化を組み合わせて」いると広報担当者は語った。プラットフォームの最大の投資の一つは「信頼と安全」だと彼らは述べている。同社は今春、Twitch安全諮問委員会を立ち上げた。また、グローバル信頼と安全担当のVPも採用している。

「昨年、安全運用チームの規模を2倍に拡大し、報告の処理速度を大幅に向上させました。また、モデレーター向けの新しいツール(モデレーターのチャットログなど)や視聴者が自分の体験をコントロールするための新しいツール(チャットフィルターなど)を追加しました」とTwitchの広報担当者は述べた。

また、ヘイト行為およびハラスメントに関するポリシーの見直し、不適切なユーザー名の検出機能強化、AutoModおよび禁止ワードリストの改善、その他ハラスメントやヘイト行為の削減に重点を置いたプロジェクトなど、現在も作業を進めています。Twtichのポリシーによると、ヘイト行為とは「人種、民族、国籍、宗教、性別、ジェンダー、性自認、性的指向、年齢、障がい、重篤な病状、退役軍人としての地位に基づく差別、中傷、客体化、ハラスメント、暴力を助長、奨励、または促進する行為」であり、禁止されています。

しかし、こうした「禁止」行為に対する処罰となると、状況は曖昧になる。「禁止」は通常、禁じられていることを意味するが、Twitchの場合、禁止行為を行ったからといって、二度とそれを行えなくなるわけではないようだ。Twitchのポリシーでは、ヘイト行為は「ゼロトレランス違反」とされているものの、その直後に「様々な執行措置」が示されており、無期限アカウント停止、警告、そして1~30日間のアカウント停止などが含まれる。

Twitchにユーザーを永久的にBANすることがあるか尋ねたところ、同社はアカウントの強制執行とチャットのBANに関するページを案内するのみで、そこには「違反の性質に応じて、警告、一時的なアカウント停止、さらに深刻な違反の場合は無期限のアカウント停止など、様々な措置を講じます」と記載されていました。しかし、ガイドラインではどのような行為がこのようなレベルの強制執行につながるのかは明確にされていません。

Twitchのアカウント強制措置とチャット禁止のページには、「最も重大な違反行為の場合、アカウントは即時無期限に停止され、異議申し立ての機会は与えられません」と記載されています。「停止中のユーザーが第三者のチャンネルに現れた場合、そのチャンネル自体が停止される可能性があります。」

もちろん、2020年の最高のストリーミングプラットフォームはTwitchだけではありません。Facebook GamingやYouTubeといったプラットフォームにもゲーマーがいます。YouTubeのポリシーでは、時折の侮辱的な発言やその他の違反行為が許容されているのが現状です。

YouTubeは、ガイドラインに違反していると思われるコンテンツを匿名で報告し、審査を依頼することができます。YouTubeはコミュニティガイドラインに違反するコンテンツはすべて削除すると発表しています。しかし、投稿者が予想よりも早く戻ってくる可能性もあります。

YouTubeは「ヘイトスピーチ、略奪的行為、暴力描写、悪意のある攻撃、有害または危険な行為を助長するコンテンツはYouTubeでは許可されていません」と明確に述べており、「年齢、カースト、障がい、民族、性自認と表現、国籍、人種、移民ステータス、宗教、性別/ジェンダー、性的指向、大規模な暴力事件の被害者とその親族、退役軍人ステータス」に対するヘイトスピーチを詳細に規定しています。

このサイトは人種問題に関してさらに踏み込み、「上記のいずれかの属性に基づいて憎悪を扇動または助長する者」を反駁しています。これは、これらのステレオタイプを助長したり、事実であるかのように扱ったりする発言、文章、または画像の形をとる可能性があります。リストはさらに続き、「集団の優位性を主張する」ことや、人々を「動物、昆虫、害虫、病気、またはその他の人間以外の存在」と比較する行為にはX印を付けます。

しかし、施行に関しては、YouTubeははるかに曖昧な態度を示し、「まれなケース」においてのみコンテンツを削除する可能性があると述べています。さらに混乱を招くのは、ポリシーをさらに読み進めると、このコンテンツが自動的に削除されるかのように示唆する記述が続くことです。

YouTubeのポリシーには、「コンテンツがこのポリシーに違反している場合、コンテンツを削除し、その旨をメールでお知らせします。コミュニティガイドラインに違反するのが初めての場合は、警告のみでチャンネルへのペナルティは発生しません。2回目以降の違反の場合は、チャンネルに対して違反警告を発行します。違反警告を3回受けると、チャンネルは停止されます」と記載されています。

YouTubeのいわゆる「ストライクシステム」では、90日間で3回のストライクが認められます。理論上は、91日間かけて慎重に嫌がらせ行為を分散させれば、ストライクが2回以上になることはありません。YouTubeのモデレーションチームはこのようなことをするほど精通しているかもしれませんが、ポリシーでは明確に禁止されていません。

ストリーミングプラットフォームはすでにテクノロジーで規制している

ストリーミングプラットフォームのハラスメント対策に関する曖昧な表現よりも、より白黒はっきりした表現と言えるかもしれませんが、テクノロジーのレイヤー(あるいはレイヤー)も重要です。機械学習のような先進技術は、ストリーミングプラットフォームのモデレーションツールキットによく採用されています。しかし、ヘイトスピーチやその他のハラスメントにリアルタイムで対抗するためには、より高度なテクノロジーの活用も必要です。

まず、ゲーム プラットフォームが現在使用しているものから始めましょう。

例えば、TwitchのAutoModは、機械学習と自然言語処理アルゴリズムを組み合わせて「危険な」チャットメッセージを識別します。これらのコメントは、モデレーターが確認して表示を承認するまで保留されます。このツールは、スペルミスや曖昧な表現も読み取ることができます。

AutoModでは、差別、敵意、冒涜、性的コンテンツという4つのカテゴリーに対し、モデレーションレベルを5段階(モデレーションなしを含む)に設定できます。使用される単語辞書はTwitchが管理していますが、ストリーマーは自身のチャンネル用の単語リストを作成することもできます。

画像

1

2

ストリーミング
Twitch AutoMod (画像提供:Twitch)

YouTubeは、YouTubeクリエイターと協力し、機械学習を用いて「問題のあるコンテンツを大規模に検出」することでコミュニティポリシーを構築しています。これは、毎分数百時間分のコンテンツがプラットフォームにアップロードされているという現状を踏まえたものです。一方、フラグが付けられたコンテンツは「訓練を受けた人間の審査員」によって審査されます。YouTubeはまた、「ニュース、ソーシャルメディア、ユーザーからの報告を監視し、不適切なコンテンツを取り巻く新たな傾向を検出する」インテリジェンスデスクも設置しています。

しかし、違反者がアカウントを維持し、嫌がらせ行為を続けるための抜け穴を持っている場合、そもそもストリーマーがヘイトスピーチやその他の攻撃的な行為を目にしないようにするにはどうすればいいのでしょうか?

改善への希望:リアルタイムモデレーションツール

ストリーミング配信のモデレーションにおける明らかな課題の一つは、爆発的な人気を誇るプラットフォームに流れ込む膨大な量の動画とコメントです。ストリーマーはボランティアのモデレーターを番組に同席させることも可能ですが、自動化によってモデレーションを次のレベルに引き上げる可能性を秘めています。

2019年のゲーム開発者会議(GDC)で、インテルはテクノロジーを活用したモデレーションの魅力的な方法について詳しく説明しました。インテルは、Spirit AIと共同で開発した、人工知能を用いて有害なチャットを識別するプロトタイプ技術を披露しました。Spirit AIはこれまでテキストチャットに重点を置いていましたが、インテルの協力を得て、この技術は音声チャットのモデレーションにも活用されるようになりました。

「私たちが開発したツールは、基本的にシステム上のディレクトリを指定するだけです。ファイルリストを調べて、どのファイルが特定の種類の動作をフラグ付けしているのか、そしてその理由を教えてくれます」と、インテルのゲーミングソリューションアーキテクトであるジョージ・ケネディ氏は、昨年披露されたデモについてトムズ・ハードウェアに語った。

それ以来、インテルはDiscordと協力し、Destiny 2チャンネルからオプトインデータを収集し、検証済みのデータセットを構築して「特定の種類の有害コンテンツを検出する際に非常に高い精度」を備えていることを証明してきたとケネディ氏は述べた。現在、同社は様々な機能の実験を行っている。

現在、この技術は人間の音声(主に英語)をテキストに変換し、Spirit AIがゲーム業界の様々な顧客に提供している行動モデルを活用しています。行動モデルは多岐にわたります。ドメイン全体を分析し、有害かどうかを判断してくれるモデルもあれば、個々のカテゴリーごとに個別の行動モデルを使用する企業もあります。これらのモデルでは、ディープラーニングまたはランダムフォレスト分類器のいずれかを選択できます。

ケネディ氏は、インテルが機械学習パイプラインのテストに使用しているデモをいくつか披露した。YouTubeで再生されているものも含め、あらゆる動画や音声ファイル、あるいはマイクからコンテンツを取得し、指定された種類の音声をブロックしてリアルタイムで文字起こしすることができる。

彼らはまた、「温度追跡メカニズム」の実験も行っています。これは、ゲーマーが他のユーザーとの会話の温度を追跡できる仕組みです。会話がゲーマーにとって快適な閾値を超えると、他のユーザーの音声がミュートされます。

ストリーミング

リアルタイムの文字起こし、毒性検出と編集、会話の温度モニタリング機能を備えたインテルの最新の概念実証デモ。(画像提供: インテル)

デモでは、ケネディ氏はYouTube動画を再生し、AIに果物の名前を「クワック(偽物)」に置き換えさせました。このような技術は、ゲーマーがライブ配信中にハンズフリーでモデレーションを行うのに役立つ可能性があります。

また、さまざまなカテゴリのカスタマイズ オプションも示され、ユーザーが自由に選択できるようになりました。

「アルゴリズムがそれをテキストに変換した後、検出に使用する一連の動作モデルが得られます」とケネディ氏は説明した。

これらはすべてまだ研究開発段階にあり、Intel は製品の開発を約束していませんが、ストリーミング プラットフォームのコミュニティ ポリシーによって大きなギャップが生じていることを考慮すると、将来的にはチャンスがあることは明らかです。

ストリーマーはさらなる高みを目指す

テクノロジーによってモデレーションを自動化することで、大規模な視聴者やライブ​​コンテンツへの対応を効率化し、ストリーマーはストリーミングプラットフォームのコミュニティポリシーよりも理解しやすく活用しやすいツールによって、より柔軟にカスタマイズできるようになります。しかし、最終的には、業界全体がストリーミングゲームプラットフォームにもその力を発揮するよう広く期待しています。

「これらのプラットフォームがポリシーを策定すれば、機械学習ツールを使ってそれらのポリシーを強制適用できますが、最終的には行動変容を促す必要があるかもしれません」とインテルのケネディ氏は述べた。「プラットフォームには、利用規約に違反したユーザーを追放するオプションがあります。…プレイヤーを実際に検閲したくない場合は、ゲームをプレイする際に遭遇するコンテンツの種類を制御できるユーザー向けツールを提供するという選択肢もあります。」

「最高の電力パフォーマンスを提供することに加え、ゲーマーの体験を実際に向上させ、この問題がゲーマーにとってそれほど大きな問題にならないような未来が来ると我々は考えています」と幹部は語った。

ゾンバエキルズは論説記事の中で、Twitchのようなプラットフォームに対して「ユーザーが嫌がらせ目的で複数のアカウントを作成できないようにIP禁止」やヘイトスピーチに基づくユーザー名を防ぐ方法など、さらなる強制措置を要求した。

一部のストリーマーは、特定の違反行為に対する即時禁止を求めている。

「人種差別的な発言が使われた時は、たとえ一度きりだと説明しようと、あるいはそういう意図で言ったわけではないと説明しようと、一発で退場させるのがより良い方針だと思います」と、YouTubeストリーマーのBrownSugarSagaさんはTom's Hardwareに語った。「LGBTコミュニティに反する発言は、一発で完全に退場です。もっと厳しく、…その点も考慮に入れるべきです。なぜなら、多くの場合、通報はされるものの、(加害者)はそのままそこに留まるからです。彼らは十分に厳しくなく…複数回の通報を待っているのです…」

テクノロジーの力は、それを支える人々と政策によってのみ発揮されます。そして、急成長を遂げるストリーミング業界の中心にいるプレイヤーたちは、プラットフォームに期待を寄せ、その力をさらに高めようとしているようです。

シャロン・ハーディングは、ゲーム周辺機器(特にモニター)、ノートパソコン、バーチャルリアリティなど、テクノロジー関連の報道で10年以上の経験があります。以前は、Channelnomicsでハードウェア、ソフトウェア、サイバーセキュリティ、クラウド、その他のIT関連の出来事を含むビジネステクノロジーを取材し、CRN UKにも寄稿していました。