ChatGPT-generated help produces learning gains equivalent to human tutor-authored help on mathematics skills
by Zachary A. Pardos, Shreya Bhandari
Authoring of help content within educational technologies is labor intensive, requiring many iterations of content creation, refining, and proofreading. In this paper, we conduct an efficacy evaluation of ChatGPT-generated help using a 3 x 4 study design (N = 274) to compare the learning gains of ChatGPT to human tutor-authored help across four mathematics problem subject areas. Participants are randomly assigned to one of three hint conditions (control, human tutor, or ChatGPT) paired with one of four randomly assigned subject areas (Elementary Algebra, Intermediate Algebra, College Algebra, or Statistics). We find that only the ChatGPT condition produces statistically significant learning gains compared to a no-help control, with no statistically significant differences in gains or time-on-task observed between learners receiving ChatGPT vs human tutor help. Notably, ChatGPT-generated help failed quality checks on 32% of problems. This was, however, reducible to nearly 0% for algebra problems and 13% for statistics problems after applying self-consistency, a “hallucination” mitigation technique for Large Language Models.
Читайте также:
Вчера 09:49
Вчера 09:41
Вчера 09:49
Вчера 09:41
Арбуз, кукуруза и холодные напитки: диетолог Садыков назвал продукты, которые портят ваш сон летом
Арбуз, кукуруза и холодные напитки: диетолог Садыков назвал продукты, которые портят ваш сон летом
Модель Анастасия Решетова перенесла вирус с осложнениями
Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве
La UFC anuncia un mes de octubre mayúsculo
Madeline Brewer Marries Jack Thompson-Roylance in England!
Stanford dropout Sam Altman says college is ‘not working great’ for most people—and predicts major change in the next 18 years
Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur
Первый маршрут теплохода-ресторана открылся из Петербурга в Кронштадт
Utrace запускает услугу по валидации IT-систем для фармацевтического рынка
Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса
Игровые терминалы в ТЦ: союз ради будущего
Brütal Legend is free in honor of Ozzy Osbourne, but only for 666 minutes
Краткая биографическая справка о центральных персонажах Mafia: The Old Country
Первый трейлер Battlefield 6
Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'
Технологии будущего: MGIMO Ventures объявляет старт четвертого сезона акселерационной программы
«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России
В Санкт-Петербурге обсудили внедрение ИИ в разработку и оптимальные корпоративные архитектуры
Росгвардия и МЧС провели совместные учения в Москве
В студии Детского радио прошла церемония гашения почтовой марки
Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве
Благодаря новому промышленному объекту в САО возможность трудоустройства получат более тысячи квалифицированных специалистов
МИД РФ заявил о готовности подписать документ о безъядерной зоне в Юго-Восточной Азии
Эксгумация Беринга: что нашли ученые в его могиле спустя 250 лет
Месяц в открытом море: студенты ДВФУ отправятся в экспедицию на Камчатку
Увοлeн Γуcмaн, οпοɜοpивший Ροccию. Дaдут инοaгeнтa или пοвыcят?
Сергей Карякин: **23 июля открыл свой Шахматный клуб на базе московского Единого центра поддержки участников специальной военной операции и членов их семей!
Кудерметова поделилась впечатлениями от посещения чемпионского бала Уимблдона
Елена Рыбакина вызвала восхищение на старте турнира в Вашингтоне. Видео
Теннисист Медведев: когда я играю хорошо, могу победить любого
Фриц пробился в четвертьфинал турнира в Вашингтоне.
Вертолет Robinson, рухнувший в Телецкое озеро, совершал свой первый полет
Тихий и опасный. Новые виды коронавируса пошли в наступление и лишают голоса
Ветеринары напомнили жителям Подмосковья о необходимости вакцинации питомцев
Синоптики спрогнозировали ясную погоду на выходных в Москве
Музыкальные новости
В сквере Цоя на Зверинской сделали граффити с Оззи Осборном
Концерт «Шуман. Шуберт. Шопен» покажут на портале мэра Москвы вечером 23 июля
Кабинет Артиста. Яндекс кабинет артиста.
Высоцкий снова на сцене: цифровой аватар легендарного барда выступит в Москве
В Санкт-Петербурге обсудили внедрение ИИ в разработку и оптимальные корпоративные архитектуры
«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России
Utrace запускает услугу по валидации IT-систем для фармацевтического рынка
Росгвардия и МЧС провели совместные учения в Москве
Росгвардия и МЧС провели совместные учения в Москве
«Спартак» - «Балтика»: прогноз + статистика встреч
Сотрудники ОМОН "Авангард" провели занятие с детьми в Музее Победы
Губернатор Архангельской области доложил Путину о поддержке новых территорий.
В столичном главке Росгвардии проведён смотр спецтехники
В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)
На МКАД в Москве произошло массовое ДТП, движение затруднено
Поезда не будут ходить на участке Сокольнической линии метро с 26 по 28 июля
"Ультиматум Трампа: потенциальные последствия для Путина"
У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем
Путин дал указание рассмотреть проблемы онкологии в Архангельской области.
Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры
Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая
Штамм коронавируса "стратус" захватил 22% всех вирусных заболеваний в Москве
Новый штамм коронавируса "стратус" фиксируют в Москве с мая
Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса
Путин дал указание рассмотреть проблемы онкологии в Архангельской области.
Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек
Пластический хирург Софья Абдулаева: подтяжка груди нитями - эффективно ли это
Utrace запускает услугу по валидации IT-систем для фармацевтического рынка
Игровые терминалы в ТЦ: союз ради будущего
"Монсон о спортсменах, которые меняют гражданство в сложный период для России"
Две трети россиян считают, что спортсмены зарабатывают слишком много
«Каникулы с Росгвардией» проходят в регионах Центральной России
Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне
Лукашенко поделился мнением о самой идеальной профессии.
Лукашенко посоветовал не злить его и не допускать падежа в животноводстве
Сергей Собянин поздравил москвича — победителя международной олимпиады по физике
Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом
Сергей Собянин. Главное за день
Сергей Собянин сообщил о росте темпов реализации программы реновации
видео пожаров на Кипре стало доступно общественности
Исследование выявило снижение инвестиций в экологически чистую энергетику США.
Бурмистров: лисы могут появляться на улицах Москвы в период расселения
Москвичи теперь должны платить за зарядку своих электромобилей
Врач Соловьева: прокрастинация может быть симптомом депрессии
Эксгумация Беринга: что нашли ученые в его могиле спустя 250 лет
Синоптики спрогнозировали потепление до +29 градусов в Москве 25 июля
Увοлeн Γуcмaн, οпοɜοpивший Ροccию. Дaдут инοaгeнтa или пοвыcят?
В Нарьян-Маре из-за холодов возобновили подачу отопления в дома
Путин дал указание рассмотреть проблемы онкологии в Архангельской области.
Настольный термотрансферный принтер штрих-кодов iDPRT iE4P
70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский
В центре Балаклавы изменят дорожное движение – причины и сроки
Прогноз погоды в Крыму на 25 июля
Россияне выбирают Крым для отдыха с детьми – названы города-лидеры
"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму
Месяц в открытом море: студенты ДВФУ отправятся в экспедицию на Камчатку
В Лианозове проходит фотовыставка «Алюминий – метрополитену»
Увοлeн Γуcмaн, οпοɜοpивший Ροccию. Дaдут инοaгeнтa или пοвыcят?
Жители Хакасии подали 80 заявок на Слёт Всемирного фестиваля молодёжи