Добавить новость
smi24.net
News in English
Июль
2023

Making algorithm used in AI more human-like

0

How does the human brain navigate complex circumstances — say, driving through Harvard Square traffic at 5 p.m.?

One theory gaining support with psychologists and neuroscientists is that the brain creates causal models of the world that help with planning and execution. It’s akin to running mental simulations to see which outcomes are good or bad. “You learn this internal model of the environment, which you can use to predict what will happen if you take different courses of action,” explained Momchil Tomov, an associate in psychology Professor Samuel Gershman’s Computational Cognitive Neuroscience Lab.

In recent decades, computer scientists have developed these ideas into a system dubbed Reinforcement Learning (or RL for short). Researchers such as Tomov who work at the intersection of psychology and technology have even introduced computational models that attempt to capture how RL plays out in the brain. In a new paper published in Neuron, Tomov and his co-authors used functional magnetic resonance (fMRI) to compare their algorithmic theory against real-world imaging.

Why craft algorithms that attempt to formalize human thinking and decision-making? “It’s difficult to study cognitive processes without having a precise computational model that maps inputs to outputs,” said Tomov, who earned his Ph.D. in neurobiology at Harvard in 2019 and worked with Gershman as a postdoc until 2021.

Researchers also hope their work leads to advances in RL, which can navigate complex environments and is considered one of the biggest success stories in artificial intelligence. It has, in fact, bested humans in realms including board and video games, but until recently has proven a somewhat slow learner.Algorithms that are more human-like can perform better in certain domains than traditional machine-learning,” Tomov said.

The group’s experiment leans on the prior work of two of the study co-authors. Thomas Pouncy, another doctoral researcher in Gershman’s lab, outlined in 2021 a more complex, theory-based RL system. A computational theory-based RL model was introduced in a subsequent paper by MIT postdoctoral researcher Pedro Tsividis. It proved much faster than previous iterations in learning new video games. In terms of speed, Tomov said, it’s far closer to the human ability to pick up on such a task.

The whole process led the researchers to hypothesize on the neural architecture of human decision-making and learning. In the new study, the researchers tested their algorithm on 32 volunteers who played and eventually mastered Atari-style video games while hooked up to fMRI scanners, which measure the small changes in blood flow that come with brain activity.

As the researchers expected, this yielded evidence of activity theory-based models in the prefrontal cortex at the front of the brain with theory updates occurring in the posterior cortex, or back of the brain. Where their hypotheses — and their algorithm — diverged was in the details. The researchers specifically expected to find evidence of theory-based models in the orbitofrontal cortex. Instead they found them in the inferior frontal gyrus. This makes sense in hindsight, Tomov said, as previous research out of Gershman’s lab found the inferior frontal gyrus involved with learning “causal rules that govern the world.”

More surprises were found at the back of the brain, where the occipital cortex and the ventral pathway — both central to visual processing — appear to be involved when those models require updating. “Whenever you get surprising information that is inconsistent with your current theory, that’s when we see not just an update signal in the ventral pathway, but also, that’s when the theory becomes activated in the inferior frontal gyrus,” Tomov summarized.

Finally, fMRI scans revealed the directional flow of information in the brain. Tomov and his co-authors had hypothesized that information flows bottom-up. Instead, it seems to flow top-down during game play.

“It’s almost as if it’s coming from the model, stored somewhere in the prefrontal cortex, flowing down to the posterior visual regions,” he said. “But then when there’s a discrepancy — when an update happens — the pattern of information flow flips. Now information flows bottom-up, from posterior regions to frontal regions.”

Tomov has been studying theory-based RL with Gershman for four years. Two years ago, he started applying these ideas to self-driving cars as a full-time employee with a Boston venture. “How do you get from here to the next intersection and make a left turn without hitting anyone?” he asked. “Basically, there’s this internal model of the world with other drivers and predictions about what they’re going to do.”

The research described in this report was funded in part by the National Science Foundation.








Коллекция Chanel couture осень-зима 2025

Мичков внесен в Книгу знаменитых людей Кунгура, сообщил директор кунгурского музея: «Никаких его трофеев в музее пока нет, к сожалению»

Павел Воля примет участие в комедийном сериале «Три сестры» с Ларисой Гузеевой и Павлом Деревянко

Ана Каспарян поднимает вопросы Геноцида армян, этнических чисток в Арцахе и роли Израиля в конфликте — в откровенном интервью с Такером Карлсоном. ВИДЕО


Dear Abby: Our son was clean and fit until Emily came along

Chat log from R20 of 2025: Richmond vs Collingwood

Weah’s agent: One Juventus director ‘is creating problems’

Today in History: July 28, US Army airplane crashes into Empire State Building


Ротация на Интернет Радио. Ротация песни на Интернет радио.

Анекдоты недели и украденное лето

НПС построит два велопешеходных моста через Москву-реку

Сунул нос не в своё дело: серийного нюхателя жоп снова поймали в Калифорнии


Ninja Party можно предзаказать в мобильных маркетах с релизом в конце июля

Quarantine Zone creator reveals 3 reasons the zombie sim went viral on TikTok

Five Nights at Freddy's 2 movie gets its first full trailer for Comic-Con, promising even more animatronic terror

Bloody fighting game Invincible VS gets its most brutal character yet in Comic-Con trailer



Чемпионат по военно-спортивному многоборью среди росгвардейцев завершился в Грозном

Где живут и на чем ездят самые аварийные водители России?

Клиника гнатологии – лечение ВНЧС и восстановление прикуса

От «Лебединого озера» до «Дон Кихота»: Relax FM приглашает на балет


Александр Михайлов (GSOC): «Безопасность IT-экосистемы — это зона нулевого доверия к подрядчикам»

Дочь режиссера Егора Кончаловского опубликовала фото со своим двухлетним братом

В ВАО выполнят благоустройство территории торгового центра, созданного в рамках городской программы

Где живут и на чем ездят самые аварийные водители России?


Четыре человека погибли и шесть пострадали в ДТП на трассе в Ростовской области

«Ъ»: в России суды начали наказывать водителей за опасное вождение

Пассажиры столкнулись с отменами рейсов «Аэрофлота» из-за масштабного сбоя

В Петербурге врачи спасают школьника из Москвы, выпавшего из окна хостела


Рублев: Немного лучше стали результаты

Калинская повысила свои позиции на 17 мест в рейтинге WTA

Рублев покинул топ-10 мирового рейтинга ATP

Россиянин Сидоренко выиграл золото Универсиады в настольном теннисе


Почему Запад не смог задушить нас санкциями

«Доля воровская», Пашинян и больные фантазии из Москвы

Шоколадный шок. Конфеты с хреном и чесноком из Сибири

ДТП с участием трех машин произошло на внутренней стороне 104-го км МКАД


Музыкальные новости

Ресторан рэпера Басты откроют в Красноярске

Рок-н-ролльные небеса зовут: как и где похоронят Оззи Осборна

Желдорреммаш подводит итоги работы за первое полугодие 2025 года

"Это разбило мне сердце": Рита Дакота объявила о завершении концертной деятельности в России


От «Лебединого озера» до «Дон Кихота»: Relax FM приглашает на балет

Чемпионат по военно-спортивному многоборью среди росгвардейцев завершился в Грозном

Александр Михайлов (GSOC): «Безопасность IT-экосистемы — это зона нулевого доверия к подрядчикам»

Культовый BAW 212 уже в России


Сотрудники столичного главка Росгвардии приняли участие в литургии по случаю Дня крещения Руси

Где живут и на чем ездят самые аварийные водители России?

Культовый BAW 212 уже в России

Путин поднял флаг на атомном подлодке "Князь Пожарский" в Северодвинске


Культовый BAW 212 уже в России

На Московской столкнулись автобус и легковушка. Пострадала женщина

Когда выгоднее арендовать автомобиль с водителем

ТрансЛюкс – аренда авто с водителем для любых поездок


На Западе сообщили о тревожном сигнале Путину от США

Глава Ставрополья обсудил с Владимиром Путиным поддержку участников СВО в крае

Путин и Нетаньяху обсудили ситуацию вокруг иранской ядерной программы

ГИТИС открыл свой филиал на Дальнем Востоке


Новый штамм COVID-19 переносится как легкая форма ОРВИ

Приговор экс-руководителю компании по производству вакцин против ковида был смягчен.


Депутата ЗакСа Ленобласти Ивана Апостолевского задержали за пост с Навальным*


Сеть клиник «Будь Здоров» открыла первый травмпункт сети на базе клиники на Сретенке

Optima Development: Новый сквер и фитнес-клуб

Клиника гнатологии – лечение ВНЧС и восстановление прикуса

Сеть клиник «Будь Здоров» открыла первый травмпункт сети на базе клиники на Сретенке


Кто заставил Зеленского предложить России новый раунд переговоров: В Британии показали пальцем

Чтобы убрать Зеленского, США достаточно показать ему одну папку: вот почему Киев упал в ноги Трампу


Чемпионат по военно-спортивному многоборью среди росгвардейцев завершился в Грозном

Optima Development: Новый сквер и фитнес-клуб

«Краснодар» и московское «Динамо» проведут сегодня первые матчи в Кубке России

В День парашютиста героем рубрики «Знай наших» стал сотрудник вневедомственной охраны столичного главка Росгвардии младший лейтенант полиции Александр С.


Лукашенко сообщил о телефонном разговоре с Путиным


Станция "Достоевская" Кольцевой линии метро готова на четверть - Собянин

Сергей Собянин назвал инновационные разработки, которые внедрили в Москве

Собянин рассказал, как строят станцию «Достоевская» Кольцевой линии метро

Собянин рассказал о тестировании уникальной ИИ-системы для диагностики инсульта


В Ростокине расскажут о млекопитающих Москвы

Александр Михайлов (GSOC): «Безопасность IT-экосистемы — это зона нулевого доверия к подрядчикам»

В Бузулукском бору в эти дни работает смена проекта «Заповедное дело РГО»

Зачем Минприроды Свердловской области планирует организовать полигон отходов на участке, где идёт поиск питьевой воды?


Какой регион СФО вошел в Топ-50 кредитного рейтинга жителей РФ?

В России выдают вдвое меньше кредитных карт, чем год назад

Шоколадный шок. Конфеты с хреном и чесноком из Сибири

«Доля воровская», Пашинян и больные фантазии из Москвы


В Архангельске с 29 июля перекрывается движение по участку набережной Северной Двины

В Архангельске представили киноальманах «Север, я люблю тебя!» по произведениям современных писателей

Александр Цыбульский: "С Архангельской области началась история российского флота"

Не чайные клиперы


Прогноз погоды в Крыму на 27 июля

Сколько пассажиров прибывают в Крым летом на поездах ежедневно

К парню с костылем подошли трое с требованием уступить. Он был готов, но заступилась бабушка по соседству

В Севастополе пройдет масштабная выставка картин Александра Дейнеки


ДТП с участием трех машин произошло на внутренней стороне 104-го км МКАД

Почему Запад не смог задушить нас санкциями

Станция "Достоевская" Кольцевой линии метро готова на четверть - Собянин

«Доля воровская», Пашинян и больные фантазии из Москвы














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *