Нейросеть Stable Diffusion научили «читать» мысли — она анализирует фМРТ-снимки мозга

Ученые Высшей школы передовых биологических наук Университета Осаки (Япония) использовали нейросеть Stable Diffusion, чтобы понять, о чем думают люди. «Читать» мысли искусственному интеллекту помогает расшифровка снимков функциональной магнитно-резонансной томографии (фМРТ).

Чтобы превратить «мысли» в изображения, нейросеть необходимо обучить распознавать сигналы фМРТ от нижних и верхних зрительных областей мозга. Первую ученые сопоставили с семантическим представлением (С) мысли, вторую — с визуальным (Z). Декодирование сигналов из двух этих областей (ZC) с их последующим сопоставлением дало поразительные результаты.

Эксперименты ученые проводили на снимках фМРТ из базы Natural Scene Dataset (NSD). Так они проверили, смогут ли разработанные на базе ИИ алгоритмы воссоздать то, о чем думали и что «видели» люди.

Использование декодеров по отдельности давало результат, напоминающий исходную картинку, но в деталях он был далек от нее. И только совместное декодирование семантического и визуального представлений позволило ученым получать изображения максимально точными (насколько это возможно).

Результат воссоздания человеческой мысли, как отмечают ученые, был всегда стабильным и относительно точным в сравнении с искомым изображением. Даже в тех случаях, когда один и тот же снимок фМРТ декодировали несколько раз.

Это не первый раз, когда искусственный интеллект задействуют для расшифровки снимков магнитно-резонансной томографии. По некоторым данным, такие исследования проводились еще в 2008 году. Однако, только сейчас ученым удалось получить более-менее положительные результаты. Хотя говорить о том, что нейросеть Stable Diffusion «читает» мысли людей, в корне неверно. Она лишь расшифровывает данные фМРТ.