Добавить новость
smi24.net
News in English
Июль
2023

Making algorithm used in AI more human-like

0

How does the human brain navigate complex circumstances — say, driving through Harvard Square traffic at 5 p.m.?

One theory gaining support with psychologists and neuroscientists is that the brain creates causal models of the world that help with planning and execution. It’s akin to running mental simulations to see which outcomes are good or bad. “You learn this internal model of the environment, which you can use to predict what will happen if you take different courses of action,” explained Momchil Tomov, an associate in psychology Professor Samuel Gershman’s Computational Cognitive Neuroscience Lab.

In recent decades, computer scientists have developed these ideas into a system dubbed Reinforcement Learning (or RL for short). Researchers such as Tomov who work at the intersection of psychology and technology have even introduced computational models that attempt to capture how RL plays out in the brain. In a new paper published in Neuron, Tomov and his co-authors used functional magnetic resonance (fMRI) to compare their algorithmic theory against real-world imaging.

Why craft algorithms that attempt to formalize human thinking and decision-making? “It’s difficult to study cognitive processes without having a precise computational model that maps inputs to outputs,” said Tomov, who earned his Ph.D. in neurobiology at Harvard in 2019 and worked with Gershman as a postdoc until 2021.

Researchers also hope their work leads to advances in RL, which can navigate complex environments and is considered one of the biggest success stories in artificial intelligence. It has, in fact, bested humans in realms including board and video games, but until recently has proven a somewhat slow learner.Algorithms that are more human-like can perform better in certain domains than traditional machine-learning,” Tomov said.

The group’s experiment leans on the prior work of two of the study co-authors. Thomas Pouncy, another doctoral researcher in Gershman’s lab, outlined in 2021 a more complex, theory-based RL system. A computational theory-based RL model was introduced in a subsequent paper by MIT postdoctoral researcher Pedro Tsividis. It proved much faster than previous iterations in learning new video games. In terms of speed, Tomov said, it’s far closer to the human ability to pick up on such a task.

The whole process led the researchers to hypothesize on the neural architecture of human decision-making and learning. In the new study, the researchers tested their algorithm on 32 volunteers who played and eventually mastered Atari-style video games while hooked up to fMRI scanners, which measure the small changes in blood flow that come with brain activity.

As the researchers expected, this yielded evidence of activity theory-based models in the prefrontal cortex at the front of the brain with theory updates occurring in the posterior cortex, or back of the brain. Where their hypotheses — and their algorithm — diverged was in the details. The researchers specifically expected to find evidence of theory-based models in the orbitofrontal cortex. Instead they found them in the inferior frontal gyrus. This makes sense in hindsight, Tomov said, as previous research out of Gershman’s lab found the inferior frontal gyrus involved with learning “causal rules that govern the world.”

More surprises were found at the back of the brain, where the occipital cortex and the ventral pathway — both central to visual processing — appear to be involved when those models require updating. “Whenever you get surprising information that is inconsistent with your current theory, that’s when we see not just an update signal in the ventral pathway, but also, that’s when the theory becomes activated in the inferior frontal gyrus,” Tomov summarized.

Finally, fMRI scans revealed the directional flow of information in the brain. Tomov and his co-authors had hypothesized that information flows bottom-up. Instead, it seems to flow top-down during game play.

“It’s almost as if it’s coming from the model, stored somewhere in the prefrontal cortex, flowing down to the posterior visual regions,” he said. “But then when there’s a discrepancy — when an update happens — the pattern of information flow flips. Now information flows bottom-up, from posterior regions to frontal regions.”

Tomov has been studying theory-based RL with Gershman for four years. Two years ago, he started applying these ideas to self-driving cars as a full-time employee with a Boston venture. “How do you get from here to the next intersection and make a left turn without hitting anyone?” he asked. “Basically, there’s this internal model of the world with other drivers and predictions about what they’re going to do.”

The research described in this report was funded in part by the National Science Foundation.








Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

В студии Детского радио прошла церемония гашения почтовой марки

На банкет – в Fish Point Family Resort

Дети играют, родители отдыхают


La UFC anuncia un mes de octubre mayúsculo

Stanford dropout Sam Altman says college is ‘not working great’ for most people—and predicts major change in the next 18 years

Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur

Brit Who Fought Usyk Calls For Daniel Dubois To ‘Leave The Sport’ After Staying Down In Rematch


Снижены цены на самый дорогой кроссовер Chery в России

В лобовом столкновении кроссовера и грузовика погибли два человека

Специалисты Нацпроектстроя надвигают путепровод СБВ над путями МЦД-2

Axenix и RightStep стали партнерами в области комплексной цифровизации промышленных предприятий


Краткая биографическая справка о центральных персонажах Mafia: The Old Country

Brütal Legend is free in honor of Ozzy Osbourne, but only for 666 minutes

Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game



«Каникулы с Росгвардией» проходят в регионах Центральной России

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России


Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

Игровые терминалы в ТЦ: союз ради будущего

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

Несколько автомобилей столкнулись на внешней стороне 92-го км МКАД


Синоптик Тишковец: череда тропических ливней в Москве завершена

«Ъ»: руководство «Шанинки» опасается отзыва госаккредитации

Адвокат Грачева заявила, что Седокову хотят привлечь к уголовной ответственности

Участник ЛизаАлерт из Бурятии помог спасти мужчину в лесу подмосковья


Медведев пробился в четвертьфинал турнира в Вашингтоне

Теннисистка Калинская вышла в четвертьфинал турнира WTA 500 в Вашингтоне

Мальцев и Платонова взяли серебро ЧМ, Бублик вышел в полуфинал Кицбюэля. Главное к утру

Сидоренко из России одержал победу и стал чемпионом по настольному теннису на Универсиаде.


Адвокат Грачева заявила, что Седокову хотят привлечь к уголовной ответственности

МЧС предупредило москвичей о жаре до +30℃

Обрушившийся потолок забаррикадировал четыре квартиры на востоке Москвы

Шаляпин успокоил дочь Бони Анджелину после ее конфликта с мамой


Музыкальные новости

Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»

Высоцкий снова на сцене: цифровой аватар легендарного барда выступит в Москве

Евродепутат высказался о срыве концерта Гергиева в Италии.

Рискнул на 100 тысяч рублей: инженер из Смоленска купил более 1,7 тысячи лотерейных билетов и выиграл автомобиль от «Национальной Лотереи» и РОЛЬФ на VK Fest


«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России

По итогам первого полугодия 2025 года предприятия «ЛокоТех-Сервис» отремонтировали более 1 тыс. секций локомотивов сверх плана и повысили качество сервисного обслуживания

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

Технологии будущего: MGIMO Ventures объявляет старт четвертого сезона акселерационной программы


Fix Price подготовил всё необходимое к 1 сентября

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

Будь собой, а не "звездой": "Europarty" от White Queen

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса


На МКАД в Москве произошло массовое ДТП, движение затруднено

В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)

В столичном главке Росгвардии проведён смотр спецтехники

Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы


Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры

У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем

"Ультиматум Трампа: потенциальные последствия для Путина"

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.


Депздрав: новый штамм коронавируса «стратус» фиксируют в Москве с мая

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая



Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек

Пластический хирург Софья Абдулаева: подтяжка груди нитями - эффективно ли это

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Utrace запускает услугу по валидации IT-систем для фармацевтического рынка


Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире


«Каникулы с Росгвардией» проходят в регионах Центральной России

Две трети россиян считают, что спортсмены зарабатывают слишком много

Игровые терминалы в ТЦ: союз ради будущего

Пять земельных участков для размещения НКО доступны на городских торгах


Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне

Лукашенко посоветовал не злить его и не допускать падежа в животноводстве

Лукашенко поделился мнением о самой идеальной профессии.


Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом

Сергей Собянин. Главное за день

Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова

Сергей Собянин поздравил москвича — победителя международной олимпиады по физике


Исследование выявило снижение инвестиций в экологически чистую энергетику США.

Москвичи теперь должны платить за зарядку своих электромобилей

В центре внимания: CorpSoft24 вошел в рейтинг крупнейших ИТ-компаний России

6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин


Обломки сбитых дронов повредили контактную сеть на станциях в двух регионах РФ

«Ъ»: руководство «Шанинки» опасается отзыва госаккредитации

В Самарской области за полгода открыто 410 вакансий для сисадминов, что на 22% меньше, чем годом ранее

Участник ЛизаАлерт из Бурятии помог спасти мужчину в лесу подмосковья


70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский

Настольный термотрансферный принтер штрих-кодов iDPRT iE4P

В Архангельске началось обучение бойцов СВО, сообщил Цыбульский.

В Нарьян-Маре из-за холодов возобновили подачу отопления в дома


Лавандовое поле горит в Симферопольском районе Крыма

Прогноз погоды в Крыму на 25 июля

В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

Россияне выбирают Крым для отдыха с детьми – названы города-лидеры


В Самарской области за полгода открыто 410 вакансий для сисадминов, что на 22% меньше, чем годом ранее

Пять земельных участков для размещения НКО доступны на городских торгах

Синоптик Тишковец: череда тропических ливней в Москве завершена

Время в деталях. Как антиквары Барнаула сохраняют историю














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *