Добавить новость
smi24.net
News in English
Июль
2023

Making algorithm used in AI more human-like

0

How does the human brain navigate complex circumstances — say, driving through Harvard Square traffic at 5 p.m.?

One theory gaining support with psychologists and neuroscientists is that the brain creates causal models of the world that help with planning and execution. It’s akin to running mental simulations to see which outcomes are good or bad. “You learn this internal model of the environment, which you can use to predict what will happen if you take different courses of action,” explained Momchil Tomov, an associate in psychology Professor Samuel Gershman’s Computational Cognitive Neuroscience Lab.

In recent decades, computer scientists have developed these ideas into a system dubbed Reinforcement Learning (or RL for short). Researchers such as Tomov who work at the intersection of psychology and technology have even introduced computational models that attempt to capture how RL plays out in the brain. In a new paper published in Neuron, Tomov and his co-authors used functional magnetic resonance (fMRI) to compare their algorithmic theory against real-world imaging.

Why craft algorithms that attempt to formalize human thinking and decision-making? “It’s difficult to study cognitive processes without having a precise computational model that maps inputs to outputs,” said Tomov, who earned his Ph.D. in neurobiology at Harvard in 2019 and worked with Gershman as a postdoc until 2021.

Researchers also hope their work leads to advances in RL, which can navigate complex environments and is considered one of the biggest success stories in artificial intelligence. It has, in fact, bested humans in realms including board and video games, but until recently has proven a somewhat slow learner.Algorithms that are more human-like can perform better in certain domains than traditional machine-learning,” Tomov said.

The group’s experiment leans on the prior work of two of the study co-authors. Thomas Pouncy, another doctoral researcher in Gershman’s lab, outlined in 2021 a more complex, theory-based RL system. A computational theory-based RL model was introduced in a subsequent paper by MIT postdoctoral researcher Pedro Tsividis. It proved much faster than previous iterations in learning new video games. In terms of speed, Tomov said, it’s far closer to the human ability to pick up on such a task.

The whole process led the researchers to hypothesize on the neural architecture of human decision-making and learning. In the new study, the researchers tested their algorithm on 32 volunteers who played and eventually mastered Atari-style video games while hooked up to fMRI scanners, which measure the small changes in blood flow that come with brain activity.

As the researchers expected, this yielded evidence of activity theory-based models in the prefrontal cortex at the front of the brain with theory updates occurring in the posterior cortex, or back of the brain. Where their hypotheses — and their algorithm — diverged was in the details. The researchers specifically expected to find evidence of theory-based models in the orbitofrontal cortex. Instead they found them in the inferior frontal gyrus. This makes sense in hindsight, Tomov said, as previous research out of Gershman’s lab found the inferior frontal gyrus involved with learning “causal rules that govern the world.”

More surprises were found at the back of the brain, where the occipital cortex and the ventral pathway — both central to visual processing — appear to be involved when those models require updating. “Whenever you get surprising information that is inconsistent with your current theory, that’s when we see not just an update signal in the ventral pathway, but also, that’s when the theory becomes activated in the inferior frontal gyrus,” Tomov summarized.

Finally, fMRI scans revealed the directional flow of information in the brain. Tomov and his co-authors had hypothesized that information flows bottom-up. Instead, it seems to flow top-down during game play.

“It’s almost as if it’s coming from the model, stored somewhere in the prefrontal cortex, flowing down to the posterior visual regions,” he said. “But then when there’s a discrepancy — when an update happens — the pattern of information flow flips. Now information flows bottom-up, from posterior regions to frontal regions.”

Tomov has been studying theory-based RL with Gershman for four years. Two years ago, he started applying these ideas to self-driving cars as a full-time employee with a Boston venture. “How do you get from here to the next intersection and make a left turn without hitting anyone?” he asked. “Basically, there’s this internal model of the world with other drivers and predictions about what they’re going to do.”

The research described in this report was funded in part by the National Science Foundation.








Ваше душевное благополучие важно: когда и как лечение в стационаре становится шагом к себе

Звезды тогда и сейчас: как выглядят самые красивые женщины Голливуда

Проазербайджанский агент Сергей Марков в оккупированном Шуши восхищается Алиевым, пока тот унижает Россию: намечается новый «иноагент»?

Арбуз, кукуруза и холодные напитки: диетолог Садыков назвал продукты, которые портят ваш сон летом


Why Juventus spent 111m this summer for only one new player

Tourism is increasing over prepandemic levels, overwhelming popular destinations

OpenAI warns that its new ChatGPT Agent has the ability to aid dangerous bioweapon development

The Best Story Of Chicago Bulls’ Offseason Just Got A Happy Ending


Roblox запускает AI-проверку возраста: шаг к безопасности или угроза приватности?

«Газинформсервис» подтвердил соответствие системы менеджмента качества стандартам ISO и ГОСТ

Снижены цены на самый дорогой кроссовер Chery в России

Это провал? Как прошёл старт продаж новой Лады Искры в России


Bungie promises to fix Destiny 2's new metroid-style morph ball as it makes players sick and glitches out on ultrawide monitors

Настройки GameHub и Winlator для игры в Prey (2017) на Android

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'



Кайрат Бермуканов поддержал Петра Яна перед боем в Абу‑Даби

Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»

Студия Лебедева запустила образовательный проект, в котором заказчики сами создают свой дизайн

Аудиосказки про Турбозавров теперь на Яндекс Музыке!


Лицемерная политика многовекторности. "Улыбается всем": Эрдоган в обход Москвы готов дружить с Баку

Раздвигая горы - к единству и созиданию! Манифест лезгинского народа (письменное обращение, воззвание программного характера)

Двоих задержанных сотрудников Telegram-канала Baza отпустили из столичного СК

T7, T4 и T8. Стало известно, когда в России начнутся продажи кроссоверов Tenet


Под Тамбовом пройдёт фестиваль авторской песни "Там, под Лысой Горой"

Москва спасла свой секрет: США не смогли скопировать технологии С-400

Акция «Каникулы с Росгвардией» продолжается в Чеченской Республике

Главреда Baza Трифонова задержали


Соболенко сохраняет первое место в чемпионской гонке WTA.

«Саша забрал корону». ATP отреагировал на триумф Александра Бублика

Новак Джокович проводит 900-ю неделю в топ-10 рейтинга ATP

Потапова не прошла во второй раунд турнира в Вашингтоне.


Константиновск: находка для туриста

В Москве началось прощание с Юрием Карой

40% населения планеты встали на сторону России. Неожиданный поворот событий. США теряют союзников

Под Тамбовом пройдёт фестиваль авторской песни "Там, под Лысой Горой"


Музыкальные новости

На ферме Оксаны Самойловой и Джигана появился новый необычный питомец

Продюсер рассказал о причинах замены Shaman в этно-опере "Князь Владимир".

Фестиваль Ruskeala Symphony завершился увертюрой Чайковского и фейерверком

Певица Клава Кока стала послом конкурса "Интервидение"


Кайрат Бермуканов поддержал Петра Яна перед боем в Абу‑Даби

Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»

Студия Лебедева запустила образовательный проект, в котором заказчики сами создают свой дизайн

Летняя школа Русского дома приняла детей из Карабаха


Компрессор по подписке – новая услуга на рынке оборудования

Нам есть чем гордиться: каким будет Национальный центр «Россия» на Краснопресненской набережной

Собянин: противовоздушная оборона сбила еще один беспилотник, летевший к столице

«Режиссер не должен быть безразличным — и он давал нам такой пример»


Москвичей предупредили о задержках наземного транспорта из-за ливня

25 июля пилотажная группа "Звезда" пролетит над пробками на шоссе под Москвой

Зарядки для электромобилей «Энергия Москвы» станут платными

Сильный ливень заблокировал людей в авто в центре Москвы


Путин отметил успехи российских школьников на математической олимпиаде.

Министр юстиции поделился информацией о роли адвокатов в специальной военной операции.

Нам есть чем гордиться: каким будет Национальный центр «Россия» на Краснопресненской набережной

Путин отметил победу синхрониста Мальцева на чемпионате мира в Сингапуре.




«Я на инвалидном кресле, он на «Тесле»: что случилось с блогером Мариш Мариш

Уже не крепкий орешек: как Брюс Уиллис живет с неизлечимой болезнью

Собянин: создание 5 центров женского здоровья завершат в этом году

После вспышки инфекции на теплоходе «Леонид Красин» начали расследование


«СТРАНА.ua»: Зеленский раскритиковал ЕС за непредоставление обещанной помощи

В центре Киева митингуют против реформ Зеленского


KENGURU GAMES в Звенигороде звенели на всю страну

Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»

Уже 59 орловчан решили побороться за просветительскую награду «Знание. Премия»

В Москве впервые пройдет фестиваль экстремальных видов спорта


Куда Лукашенко хочет пристроить лишних дипломатов

Лукашенко призвал белорусских нефтяников «не раскачиваться, а бурить и бурить»

Посланник Трампа рассказал, как «неформально» договаривался с Лукашенко: после нескольких тостов Минск освободил политзаключенных


Собянин рассказал, как город заботится о природе при строительстве метро

Собянин: Продолжаем внедрять новый стандарт заботы о женском здоровье в одном месте

Более 800 спортивных площадок обновят и обустроят в Москве - Сергей Собянин

Собянин: Модернизация двух корпусов ГКБ имени Вересаева завершится в этом году


Фестиваль «Сады и цветы»: как Москву превращают в городской оазис

Уже 59 орловчан решили побороться за просветительскую награду «Знание. Премия»

Россияне рассказали, по каким критериям выбирают квартиру для покупки в 2025 году

Экономист оценил экологический и финансовый ущерб от пластиковых пакетов


Умерла актриса фильма «Служебный роман» Татьяна Егорова

В Госдуме предложили компенсировать ущерб автомобилистам за затопленные машины

В аэропорту Шереметьево начали раздавать пассажирам матрасы

Молодежь Подмосковья приглашают принять участие в конкурсе к 295-летию русского полководца Александра Суворова


Центр подготовки личного состава Северо-Западного округа Росгвардии пополнили призывники

Республика Алтай вошла в десятку регионов России по развитию ипотеки

В Башкирии ревнивец ранил жену шампуром и сдался полиции

Девочка упала при посадке на теплоход в порту Архангельска


В Симферополе наградили юных крымчан за отвагу и решительность

Поезда "Таврия" по-прежнему задерживаются из-за ЧП в Ростовской области

Актуальная информация о задержке поездов в Крым и обратно

Поезда в Крым и из Крыма следуют с задержками до пяти часов


Главреда Baza Трифонова задержали

Молодежь Подмосковья приглашают принять участие в конкурсе к 295-летию русского полководца Александра Суворова

Москва спасла свой секрет: США не смогли скопировать технологии С-400

В Госдуме предложили компенсировать ущерб автомобилистам за затопленные машины














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *