Многомиллионный стартап выпустил «немодерируемого» чат-бота через торрент

Французская компания Mistral, специализирующаяся на разработке искусственного интеллекта, выпустила в открытый доступ большую языковую модель (LLM) с минимальной модерацией, что вызвало опасения по поводу возможности ее использования не по назначению.

Компания выложила в общий доступ так называемую магнитную ссылку на LLM, позволяющую пользователям загружать и модифицировать ее без жесткого контроля. Тестирование показало, что LLM компании Mistral готов участвовать в дискуссиях, пропагандирующих такие вредные действия, как этнические чистки, дискриминация, самоубийства и производство запрещенных веществ. Выпуск этой технологии без всесторонней оценки безопасности вызвал критику со стороны исследователей безопасности ИИ.

В отличие от некоторых разработчиков ИИ, ставящих во главу угла меры безопасности, направленные на предотвращение неправомерного использования, подход компании Mistral вызвал полемику.

При этом распространение LLM через торрент и magnet-ссылки затрудняет его удаление из Интернета, что вызывает дополнительные вопросы о его последствиях.