Мы в Telegram
Добавить новость
smi24.net
Game24.pro
Май
2024
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
20
21
22
23
24
25
26
27
28
29
30
31

AI is listening: Omnipresent robo-moderators are the latest online anti-toxicity strategy

0
 AI is listening: Omnipresent robo-moderators are the latest online anti-toxicity strategy

Do the mods dream of electric sheep?

"Toxicity" is one of a few words that has come to define today's internet culture, and for online game makers, it's arguably an even bigger issue than curbing cheating. Platoons of trust and safety officers have been raised, and over 200 gaming companies, including Blizzard, Riot, Epic Games, Discord, and Twitch, have joined the "Fair Play Alliance," where they share notes on their struggle to get players to be nice to each other. 

Yet for all their efforts, a 2023 report commissioned by Unity concluded that "toxic behavior is on the rise" in online games. Now some companies are turning to the buzziest new tech around for a solution: machine learning and generative AI.

Back at the 2024 Game Developers Conference in March, I spoke to two software makers who are coming at the problem from different angles. 

Ron Kerbs is head of Kidas, which makes ProtectMe, parental monitoring software that hooks into PC games and feeds voice chat, text chat, and even in-game events into machine learning algorithms designed to distinguish bullying and hate speech from playful banter, and to identify dangerous behavior like the sharing of personal information. If it detects a problem, it alerts parents that they should talk to their kid.

You don't have to be an eight-year-old Roblox player with concerned parents to find yourself being watched by robots, though. Kidas also makes a ProtectMe Discord bot which hops into voice channels and alerts human mods if it detects foul play. And at GDC, I also spoke to Maria Laura Scuri, VP of Labs and Community Integrity at ESL Faceit Group, which for a few years now has employed an "AI moderator" called Minerva to enforce the rules on the 30-million-user Faceit esports platform.

"Our idea was, well, if we look at sports, you normally have a referee in a match," said Scuri. "And that's the guy that is kind of moderating and ensuring that rules are respected. Obviously, it was impossible to think about having a human moderating every match, because we had hundreds of thousands of concurrent matches happening at the same time. So that's when we created Minerva, and we started looking at, 'OK, how can we use AI to moderate and address toxicity on the platform?'"

Faceit's Minerva AI moderator.

The friendly face of Minerva, Faceit's AI moderator. (Image credit: ESL Faceit Group)

Faceit still employs "a lot" of human moderators, Scuri says, and Minerva is meant to compliment, not replace, human judgment. It is authorized to take action on its own, however: Anything Minerva gets right 99% of the time is something they're willing to let it enforce on its own, and for the 1% chance of a false positive, there's a human-reviewed appeal process. For things Minerva is more likely to get wrong, its observations are sent to a human for review first, and then the decision is fed back into the AI model to improve it.

Detecting bad intentions

One thing that distinguishes ProtectMe and Minerva from the simple banned words lists of yesteryear is their ability to account for context. 

"How are people reacting to these messages and communications? Because maybe it's just banter," said Scuri. "Maybe it's just like, cursing, as well. Would you really want to flag somebody just because they curse once? Probably not. I mean, we are all adults. So we just really try to understand the context and then understand how the other people reacted to it. Like, does everybody fall silent? Or did somebody else have a bad reaction? And then if that happens, that's when [Minerva] would moderate it."

Examples of voice chat audio Minerva analyzes. (Image credit: ESL Faceit Group)

ProtectMe is also concerned with more than just what's being said in chat: It aims to identify variables like a speaker's age, emotional state, and whether they're a new acquaintance or someone the kid has previously talked to. "From the context of the conversation we can very accurately understand if it's bullying, harassment, or just something that is part of the game," says Kerbs.

Gamers are known for their aptitude for breaking or bypassing any system you put in front of them, and "they are very creative" about getting around Minerva, says Scuri, but robo-mods also aren't limited to monitoring chat, either. Faceit trained Minerva to detect behaviors like intentionally blocking another player's movement, for instance, to catch players who express their discontent with non-verbal griefing.

The latest frontier for Minerva is detecting ban evasion and smurfing. Scuri says that "actually really toxic" players—the one who are are incorrigibly disruptive and can't be reformed—are only about 3-5% of Faceit's population, but that small percentage of jackasses has an outsized effect on the whole playerbase, especially since banning them doesn't always prevent them from coming back under a new name. 

Minerva is on the case: "We have several data points that we can use to understand how likely it is that two accounts belong to the same person," said Scuri. If a user appears to have two accounts, they'll be compelled to verify one of them and discontinue use of the other.

Eye in the sky

So, is all this AI moderation working? Yes, according to Scuri. "Back in 2018, 30% of our churn was driven by toxicity," she said, meaning players reported it as the reason they left the platform. "Now that we are in 2024, we reduced that to 20%. So we had 10 percentage points decrease, which was huge on our platform."

Meanwhile, Kidas currently monitors 2 million conversations per month, according to Kerbs, and "about 10 to 15%" of customers get an alert within the first month. It isn't always a super alarming incident that sets the system off, but Kerbs says that 45% of alerts relate to private information, such as a parent's social security or credit card number, being shared.

"I don't want to create a spying machine or something like that. I want to make parents and kids feel like they can talk about things."

Kidas CEO Ron Kerbs

"Kids who are young cannot perceive what is private information," said Kerbs, citing learnings from the Children's Hospital of Philadelphia, a source of research for Kidas. "Their brain is not developed enough, at least in the young ages—six, seven, eight—to separate between private information and public information."

Examples of Minerva's voice chat analysis.

Examples of Minerva's voice chat analysis. (Image credit: ESL Faceit Group)

I can't imagine any parent wouldn't want to know if their kid just shared their credit card number with a stranger, but I also worry about the effects of growing up in a parental panopticon, where the bulk of your social activity—in a 2022 Pew Research report, 46% of teenagers said they "almost constantly" use the internet—is being surveilled by AI sentinels. 

Kerbs says he agrees that kids deserve privacy, which is why ProtectMe analyzes the content of messages to alert parents without sharing specific chat logs. His intent, he says, is to protect young kids and train them to know how to respond to bad actors—and that offers for free V-bucks are not, in fact, real—so that when they're teenagers, their parents are comfortable uninstalling the software.

"I don't want to create a spying machine or something like that," he said. "I want to make parents and kids feel like they can talk about things." 

If they're as effective as Kerbs and Scuri say, it may not be long before you encounter a robo-mod yourself (if you haven't already), although approaches to the toxicity problem other than surveillance are also being explored. Back at GDC, Journey designer Jenova Chen argued that toxicity is manifested by the design of online spaces, and that there are better ways to build them. "As a designer, I'm just really pissed that people are so careless when it comes to maintaining the culture of a space," he said.

For games like Counter-Strike 2 and League of Legends, though, I don't foresee the demand for a moderating presence decreasing anytime soon. Scuri compared Minerva to a referee, and I think it's safe to say that, thousands of years after their invention, physical sports do still require referees to moderate what you might call "toxicity." One of the jobs of an NHL ref is literally to break up fistfights, and the idea of an AI ref isn't even limited to esports: Major League Baseball has been controversially experimenting with robo-umps.







В Парке Горького вновь пройдет Московский детский фестиваль искусств «НЕБО»

Шапки женские вязаные на Wildberries, 2024 — новый цвет от 392 руб. (модель 466)

Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

Азербайджанский мигрант возмутился из-за того, что в Калининграде суд назначил 4,5 года лишения свободы за убийство в ДТП школьницы. Видео


Семьи со всего Уральского федерального округа приняли участие в конкурсе «Это у нас семейное»

Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

МОСКОВСКИЙ ФЕСТИВАЛЬ ПОД ФЛАГОМ РУССКИХ СУПЕРГЕРОЕВ.

В Санкт-Петербурге открылся первый магазин китайского бренда Balabala


$90,000 settlement approved in teen’s bullying lawsuit against LAUSD

Gunmen open fire and kill 4 people, including 3 foreigners, in Afghanistan's central Bamyan province

AML check crypto

Ballroom culture coming to the Long Beach Pride Festival


Терминал сбора данных (ТСД) промышленного класса SAOTRON RT42G

Разделение изотопа

В деле об убийстве в Екатеринбурге шестилетнего мальчика появился третий фигурант

Под красным куполом


RPG Battle of Souls доступна в Google Play 2 стран

Always keep backups: an 'unprecedented' Google Cloud debacle saw a $135 billion pension fund's entire account deleted and services knocked out for nearly two weeks

Ubisoft cancels The Division: Heartland so it can focus on 'bigger opportunities' like XDefiant

Шапки женские вязаные на Wildberries, 2024 — новый цвет от 392 руб. (модель 466)



Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

В столице Туркменистана - Ашхабаде открыли памятник легендарному армянскому поэту и композитору Саят-Нове

Открытие восьмого сезона программы «Военные оркестры в парках» в Подмосковье

Лукашенко лоббирует интересы Алиева по изоляции Армении


Что там в IT: ИИ-отрыв Google, ChatGPT почти человек, отечественный BIOS

Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

РОССИЯ И КИТАЙ: В МИРЕ ВОЗМОЖНА ГЕГЕМОНИЯ ЛИШЬ ИНТЕРЕСА НАРОДА, ЗАКОНА, ИСТИНЫ И СПРАВЕДЛИВОСТИ.

Шапки женские вязаные на Wildberries, 2024 — новый цвет от 392 руб. (модель 466)


В Москве пропавшую в Измайловском парке 13-летнюю девочку нашли мёртвой

Собянин: Акцию «Ночь в музее» посетили порядка 350 тысяч человек

Большинство иностранных студентов в Московской консерватории из Китая

Литературный агент в Тарифе – ФАБУЛА.


Новак Джокович: «Я никогда не скажу, кого считаю величайшим в истории – оставлю это другим»

Джокович выступит на турнире АТР по уайлд-кард в третий раз в карьере

Звонарёва проиграла американке Крюгер в квалификации турнира в Страсбурге

Диего Шварцман: «Два чилийца в полуфинале в Риме. Шесть латиноамериканцев в топ-30. А ATP в следующем году уберет один из турниров в Южной Америке»


В Москве пропавшую в Измайловском парке 13-летнюю девочку нашли мёртвой

Большинство иностранных студентов в Московской консерватории из Китая

В Москве в 1,5 раза вырастет объем специализированной медпомощи

Литературный агент в Тарифе – ФАБУЛА.


Музыкальные новости

Королева прервала молчание после скандала с эфиром и позвала на свой концерт

Бывшая пассия Тимати рассказала о замершей беременности

Мама Тимати рассказала, как относится к нынешней девушке рэпера

Карди Би в боди с металлическими сосками снялась для обложки глянца


Открытие восьмого сезона программы «Военные оркестры в парках» в Подмосковье

Бухалово и Париж: откуда появились необычные и смешные названия населенных пунктов в России

Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

В столице Туркменистана - Ашхабаде открыли памятник легендарному армянскому поэту и композитору Саят-Нове


Россия, Культура, Театр и Дети: ПДД обучает спектакль театра кукол Ульгэр

Азербайджанский мигрант возмутился из-за того, что в Калининграде суд назначил 4,5 года лишения свободы за убийство в ДТП школьницы. Видео

Аналитик Пиллсбери: объятия Путина и Си Цзиньпина стали поражением для США

«Недоволен и беспокоится»: WSJ узнала о реакции лидера КНР на визит Путина в КНДР


Бассейн "Москва", 1960. Фото Н. Грановский

Пьяный подросток разбил десять машин на парковке в Красноярске

«В другом месте нельзя?» — автоэксперт раскритиковал велопробег в центре Москвы

Мотоциклист впал в кому после столкновения с легковым авто в ТАО Москвы


Политолог Ткаченко: Визит Путина в КНДР усилит коммуникацию Москвы, Пхеньяна и Пекина

В США признали незыблемость поддержки Пекином Москвы после встречи Путина и Си Цзиньпина

«Недоволен и беспокоится»: WSJ узнала о реакции лидера КНР на визит Путина в КНДР

NYT: встреча Путина и Си Цзиньпина показала непоколебимость поддержки РФ Китаем


112: актрису Немоляеву экстренно госпитализировали с подозрением на ковид



Школьница, тело которой нашли в парке Москвы, состояла на учете в психдиспансере

Врач-инфекционист Мескина перечислила группы риска по листериозу

В Москве неизвестные увезли инвалида и бросили в овраг

Терапевт рассказал об алгоритме действий на случай укуса клеща


Независимая политика Венгрии привела в ярость США


«Спартак» обыграл «Рубин» в последнем домашнем матче Джикии

Вау-эффект. Как будут выглядеть четыре стадиона Москвы после реконструкции

В столице Туркменистана - Ашхабаде открыли памятник легендарному армянскому поэту и композитору Саят-Нове

Разгром в Москве и драма в Сочи: «Динамо» без труда сохранило лидерство, но «Краснодар» остался в гонке за золото РПЛ



Собянин сообщил о планах развития специализированной медпомощи в Москве

Собянин: Акцию «Ночь в музее» посетили порядка 350 тысяч человек

Собянин: В Москве открылись новые выездные площадки для регистрации брака

Сергей Собянин рассказал, как прошла акция "Ночь в музее" в Москве


Тело пропавшей два дня назад школьницы нашли на востоке Москвы

Московский Политех создал новую материально-техническую базу для разработки инновационных образцов электромобилей

В парке на востоке Москвы нашли тело школьницы

Практически все животные Москвы вышли из зимней спячки до начала майских холодов


Большинство иностранных студентов в Московской консерватории из Китая

Синоптик Тишковец: в выходные 25 и 26 мая в Москву придет двойное лето

Собянин: Акцию «Ночь в музее» посетили порядка 350 тысяч человек

Литературный агент в Тарифе – ФАБУЛА.


Еженедельный вестник катастроф

SHOT: к организаторам шоу Егора Крида предъявили судебный иск на 320 тыс руб

Жители Чувашии устроили в Архангельске "Заседание Межгалактического комитета безопасности"

Байкеры Архангельска открыли мотосезон


Россия, Культура и Дети: детский конкурс эмблемы обьявил Театр кукол в Улан-Удэ

Театр и Культура, Россия и Дети: 15 мая театр кукол Ульгэр представил спектакль «Мүнгэн мүшэдүүд» в стенах Художественного музея для первых классов гимназии №29 Улан-Удэ

Коллекция CD этномузыки экзотических стран представлена на открытии выставки в Симферополе

В Улан-Улан-Удэ пройдет летний дэгэлфлешмоб, организованный театром Бурдрамомы: Россия, Театр и Культура, Дети


Собянин: Акцию «Ночь в музее» посетили порядка 350 тысяч человек

ЦСКА выиграл чемпионат России по гандболу

В Москве пропавшую в Измайловском парке 13-летнюю девочку нашли мёртвой

Синоптик Тишковец: в выходные 25 и 26 мая в Москву придет двойное лето














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *