«ВКонтакте» решила защитить пользователей от оскорблений с помощью нейросети
В пресс-релизе соцсети указывается, что у администраторов появится возможность включить специальный фильтр враждебных высказываний в настройках сообщества, а комментаторы увидят предложение отказаться от обидных реплик. Оба инструмента работают на основе алгоритмов – в том числе нейросети, распознающей оскорбления.
Нейросеть удаляет комментарии, в которых содержатся угрозы, – например, пожелания смерти или обещания причинить вред здоровью. При этом администратор сможет увидеть все комментарии, которые отсеял фильтр, и восстановить их или отправить автора в черный список.
Как и другие фильтры в сообществах, фильтр враждебных высказываний можно включить или выключить в любой момент.
Нейросеть продолжает развиваться: результаты эксперимента будут использованы для ее дальнейшего обучения и доработки фильтра.
Также «ВКонтакте» масштабирует прошлогодний эксперимент: когда пользователь пишет комментарий, алгоритмы определяют, есть ли в тексте признаки оскорблений. Если да, автор получает совет не тратить время на агрессию и отказаться от обидной реплики.
В минувшем году благодаря такому предупреждению за сутки удалось сократить количество оскорблений в комментариях на 36%.
В этот раз функция будет определять более широкий спектр оскорблений и угроз. Среди них – проявления нетерпимости по национальному признаку, а также враждебные высказывания на почве религиозной принадлежности, возраста, пола и других характеристик.
4 ноября предупреждение смогут увидеть все пользователи, а позже начнется долгосрочный тест, рассчитанный на часть аудитории. По результатам эксперимента Команда ВКонтакте примет решение о дальнейшем использовании функции.
Как и раньше, любой пользователь может сообщить об оскорбительных публикациях службе модерации – с помощью кнопки «Пожаловаться». Она есть у записей, комментариев, фотографий, видео, историй и клипов. Чтобы усилить модерацию, «ВКонтакте» добавила отдельную причину для жалоб на оскорбительные материалы – «Враждебные высказывания». Также можно добавить профиль недоброжелателя в черный список.