Добавить новость
smi24.net
News in English
Июль
2023

Making algorithm used in AI more human-like

0

How does the human brain navigate complex circumstances — say, driving through Harvard Square traffic at 5 p.m.?

One theory gaining support with psychologists and neuroscientists is that the brain creates causal models of the world that help with planning and execution. It’s akin to running mental simulations to see which outcomes are good or bad. “You learn this internal model of the environment, which you can use to predict what will happen if you take different courses of action,” explained Momchil Tomov, an associate in psychology Professor Samuel Gershman’s Computational Cognitive Neuroscience Lab.

In recent decades, computer scientists have developed these ideas into a system dubbed Reinforcement Learning (or RL for short). Researchers such as Tomov who work at the intersection of psychology and technology have even introduced computational models that attempt to capture how RL plays out in the brain. In a new paper published in Neuron, Tomov and his co-authors used functional magnetic resonance (fMRI) to compare their algorithmic theory against real-world imaging.

Why craft algorithms that attempt to formalize human thinking and decision-making? “It’s difficult to study cognitive processes without having a precise computational model that maps inputs to outputs,” said Tomov, who earned his Ph.D. in neurobiology at Harvard in 2019 and worked with Gershman as a postdoc until 2021.

Researchers also hope their work leads to advances in RL, which can navigate complex environments and is considered one of the biggest success stories in artificial intelligence. It has, in fact, bested humans in realms including board and video games, but until recently has proven a somewhat slow learner.Algorithms that are more human-like can perform better in certain domains than traditional machine-learning,” Tomov said.

The group’s experiment leans on the prior work of two of the study co-authors. Thomas Pouncy, another doctoral researcher in Gershman’s lab, outlined in 2021 a more complex, theory-based RL system. A computational theory-based RL model was introduced in a subsequent paper by MIT postdoctoral researcher Pedro Tsividis. It proved much faster than previous iterations in learning new video games. In terms of speed, Tomov said, it’s far closer to the human ability to pick up on such a task.

The whole process led the researchers to hypothesize on the neural architecture of human decision-making and learning. In the new study, the researchers tested their algorithm on 32 volunteers who played and eventually mastered Atari-style video games while hooked up to fMRI scanners, which measure the small changes in blood flow that come with brain activity.

As the researchers expected, this yielded evidence of activity theory-based models in the prefrontal cortex at the front of the brain with theory updates occurring in the posterior cortex, or back of the brain. Where their hypotheses — and their algorithm — diverged was in the details. The researchers specifically expected to find evidence of theory-based models in the orbitofrontal cortex. Instead they found them in the inferior frontal gyrus. This makes sense in hindsight, Tomov said, as previous research out of Gershman’s lab found the inferior frontal gyrus involved with learning “causal rules that govern the world.”

More surprises were found at the back of the brain, where the occipital cortex and the ventral pathway — both central to visual processing — appear to be involved when those models require updating. “Whenever you get surprising information that is inconsistent with your current theory, that’s when we see not just an update signal in the ventral pathway, but also, that’s when the theory becomes activated in the inferior frontal gyrus,” Tomov summarized.

Finally, fMRI scans revealed the directional flow of information in the brain. Tomov and his co-authors had hypothesized that information flows bottom-up. Instead, it seems to flow top-down during game play.

“It’s almost as if it’s coming from the model, stored somewhere in the prefrontal cortex, flowing down to the posterior visual regions,” he said. “But then when there’s a discrepancy — when an update happens — the pattern of information flow flips. Now information flows bottom-up, from posterior regions to frontal regions.”

Tomov has been studying theory-based RL with Gershman for four years. Two years ago, he started applying these ideas to self-driving cars as a full-time employee with a Boston venture. “How do you get from here to the next intersection and make a left turn without hitting anyone?” he asked. “Basically, there’s this internal model of the world with other drivers and predictions about what they’re going to do.”

The research described in this report was funded in part by the National Science Foundation.








Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Гордости Angsana Velavaru

Модель Анастасия Решетова перенесла вирус с осложнениями

Раздвигая горы - к единству и созиданию! Манифест лезгинского народа (письменное обращение, воззвание программного характера)


Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur

La UFC anuncia un mes de octubre mayúsculo

Madeline Brewer Marries Jack Thompson-Roylance in England!

Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."


Игровые терминалы в ТЦ: союз ради будущего

Летний Петербург. Сад--трасформер на Московской площади.

Дивеево ..

НПС построит новые съезды с Северо-Восточной хорды


Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

Краткая биографическая справка о центральных персонажах Mafia: The Old Country

Brütal Legend is free in honor of Ozzy Osbourne, but only for 666 minutes

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'



В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России

В Санкт-Петербурге обсудили внедрение ИИ в разработку и оптимальные корпоративные архитектуры

Utrace запускает услугу по валидации IT-систем для фармацевтического рынка


Пять земельных участков для размещения НКО доступны на городских торгах

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

Три кузбасских ветерана СВО выступят на чемпионате «Абилимпикс» в Казани

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве


«Провокация азербайджанской диаспоры»: в Москве уроженец Азербайджана угрожал насилием соседям и кичился своими связями

Месяц в открытом море: студенты ДВФУ отправятся в экспедицию на Камчатку

На Крымском мосту восстановили движение автотранспорта

Участник ЛизаАлерт из Бурятии помог спасти мужчину в лесу подмосковья


Елена Рыбакина вызвала восхищение на старте турнира в Вашингтоне. Видео

Новак Джокович проводит 900-ю неделю в топ-10 рейтинга ATP

Теннисистка Саккари спасла жука во время матча на турнире в США

Россиянин Сидоренко выиграл соревнования по настольному теннису на Универсиаде‑2025


МЧС предупредило москвичей о жаре до +30℃

Тихий и опасный. Новые виды коронавируса пошли в наступление и лишают голоса

Участник ЛизаАлерт из Бурятии помог спасти мужчину в лесу подмосковья

На Крымском мосту восстановили движение автотранспорта


Музыкальные новости

Расторгуев с «Конем» и новый рекорд России. Итоги VK Fest 2025

Пир на Волге и Башмет: какие праздники ждут Ярославль в августе

Баста, Слава и Шура снимутся в новом документальном сериале «Вирус попсы»

Невеста-студентка едко высказалась о том, что оказалась богаче Лепса


«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России

Технологии будущего: MGIMO Ventures объявляет старт четвертого сезона акселерационной программы

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

Utrace запускает услугу по валидации IT-систем для фармацевтического рынка


Okko и ТНТ выпустят драмеди про трёх сестёр «Хай, систерс»

Путин прибыл на прощание с председателем Верховного суда Подносовой

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

"Зенит" заключил соглашение с американским защитником Рэндольфом


На МКАД в Москве произошло массовое ДТП, движение затруднено

В столичном главке Росгвардии проведён смотр спецтехники

Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы

Несколько автомобилей столкнулись на внешней стороне 92-го км МКАД


"Ультиматум Трампа: потенциальные последствия для Путина"

В сентябре Путину будет представлена обновленная программа строительства кораблей для ВМФ.

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем


Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая

Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

Депздрав: новый штамм коронавируса «стратус» фиксируют в Москве с мая



Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Пластический хирург Софья Абдулаева: подтяжка груди нитями - эффективно ли это

Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек

Utrace запускает услугу по валидации IT-систем для фармацевтического рынка



Игровые терминалы в ТЦ: союз ради будущего

«Каникулы с Росгвардией» проходят в регионах Центральной России

"Монсон о спортсменах, которые меняют гражданство в сложный период для России"

Две трети россиян считают, что спортсмены зарабатывают слишком много


Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко посоветовал не злить его и не допускать падежа в животноводстве

Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне


Сергей Собянин. Главное за день

Сергей Собянин поздравил москвича — победителя международной олимпиады по физике

Сергей Собянин осмотрел Дом-музей Федора Конюхова

Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом


В центре внимания: CorpSoft24 вошел в рейтинг крупнейших ИТ-компаний России

Бурмистров: лисы могут появляться на улицах Москвы в период расселения

Исследование выявило снижение инвестиций в экологически чистую энергетику США.

Москвичи теперь должны платить за зарядку своих электромобилей


Участник ЛизаАлерт из Бурятии помог спасти мужчину в лесу подмосковья

Тихий и опасный. Новые виды коронавируса пошли в наступление и лишают голоса

Движение по Крымскому мосту временно перекрыли

На МКАД в Москве произошло массовое ДТП, движение затруднено


В Архангельске началось обучение бойцов СВО, сообщил Цыбульский.

Настольный термотрансферный принтер штрих-кодов iDPRT iE4P

В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский


Прогноз погоды в Крыму на 25 июля

В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

Россияне выбирают Крым для отдыха с детьми – названы города-лидеры

В центре Балаклавы изменят дорожное движение – причины и сроки


«Провокация азербайджанской диаспоры»: в Москве уроженец Азербайджана угрожал насилием соседям и кичился своими связями

МЧС предупредило москвичей о жаре до +30℃

Якутянин Афанасий Фёдоров признан лучшим игроком Суперлиги РФ по футзалу

Участник ЛизаАлерт из Бурятии помог спасти мужчину в лесу подмосковья














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *