ChatGPT-generated help produces learning gains equivalent to human tutor-authored help on mathematics skills
by Zachary A. Pardos, Shreya Bhandari
Authoring of help content within educational technologies is labor intensive, requiring many iterations of content creation, refining, and proofreading. In this paper, we conduct an efficacy evaluation of ChatGPT-generated help using a 3 x 4 study design (N = 274) to compare the learning gains of ChatGPT to human tutor-authored help across four mathematics problem subject areas. Participants are randomly assigned to one of three hint conditions (control, human tutor, or ChatGPT) paired with one of four randomly assigned subject areas (Elementary Algebra, Intermediate Algebra, College Algebra, or Statistics). We find that only the ChatGPT condition produces statistically significant learning gains compared to a no-help control, with no statistically significant differences in gains or time-on-task observed between learners receiving ChatGPT vs human tutor help. Notably, ChatGPT-generated help failed quality checks on 32% of problems. This was, however, reducible to nearly 0% for algebra problems and 13% for statistics problems after applying self-consistency, a “hallucination” mitigation technique for Large Language Models.
Paul Oakenfold возвращается в Россию: легенда электронной музыки даст концерты в Москве и Петербурге спустя 7 лет
Ваше душевное благополучие важно: когда и как лечение в стационаре становится шагом к себе
Гордости Angsana Velavaru
Арбуз, кукуруза и холодные напитки: диетолог Садыков назвал продукты, которые портят ваш сон летом
La UFC anuncia un mes de octubre mayúsculo
Brit Who Fought Usyk Calls For Daniel Dubois To ‘Leave The Sport’ After Staying Down In Rematch
Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur
Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."
В Челябинске арестован председатель правления банка "Снежинский"
Какие зарплаты нужны для получения льготного автокредита в 2025 году
Отдых в отеле, джип и частный дом: какие взятки мог получить экс-губернатор Тамбовской области
Brütal Legend is free in honor of Ozzy Osbourne, but only for 666 minutes
'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'
Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'
Краткая биографическая справка о центральных персонажах Mafia: The Old Country
В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии
Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве
Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве
В Третьяковке на Кадашевской набережной открылся концертный зал
Месяц в открытом море: студенты ДВФУ отправятся в экспедицию на Камчатку
Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты
ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей
Математика Савватеева возмутило заявление о "лишних" учителях
Ученый Толстых объяснил, что московские ливни вызваны мощным атлантическим циклоном
Игровые терминалы в ТЦ: союз ради будущего
После ареста иномарки в Подмосковье должник погасил задолженность по алиментным платежам
В Самарской области за полгода открыто 410 вакансий для сисадминов, что на 22% меньше, чем годом ранее
Сидоренко из России одержал победу и стал чемпионом по настольному теннису на Универсиаде.
Алекс де Минор вышел в 1/8 финала турнира ATP-500 в Вашингтоне
Винус Уильямс — самая возрастная победительница матча WTA с 2004 года
Болбой раздавил спасенного теннисисткой Cаккари жука на турнире WTA-500 в США
В Самарской области за полгода открыто 410 вакансий для сисадминов, что на 22% меньше, чем годом ранее
Синоптик Тишковец: череда тропических ливней в Москве завершена
Игровые терминалы в ТЦ: союз ради будущего
Движeниe нa Зaпοpοжьe: pοccийcκиe вοйcκa ɜaшли в Ϲтeпнοгοpcκ
Музыкальные новости
Бузова, Элджей и Боня посетили вечеринку: как развлекались звезды шоу-бизнеса
Баста, Слава и Шура снимутся в новом документальном сериале «Вирус попсы»
Полина Гагарина открыла официальную часть VK Fest в Москве
Питчинг Релиза. Отправить релиз на Питчинг.
«Каникулы с Росгвардией» проходят в регионах Центральной России
В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии
Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве
Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве
Кажетта Ахметжанова: 5 камней для усиления женской энергии
Путин прибыл на прощание с председателем Верховного суда Подносовой
Собянин: создание 5 центров женского здоровья завершат в этом году
Воспитанник московского "Динамо" будет играть за томский "КДВ"
Несколько автомобилей столкнулись на внешней стороне 92-го км МКАД
В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)
Поезда не будут ходить на участке Сокольнической линии метро с 26 по 28 июля
Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы
"Ультиматум Трампа: потенциальные последствия для Путина"
Путин дал указание рассмотреть проблемы онкологии в Архангельской области.
Сигналы становятся всё громче. Переговоры - только ширма. Главное решится не в Стамбуле
У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем
Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая
Депздрав: новый штамм коронавируса «стратус» фиксируют в Москве с мая
Обнаружен новый штамм коронавируса: он очень заразный и забирает голос
Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса
Путин дал указание рассмотреть проблемы онкологии в Архангельской области.
Новый штамм коронавируса "стратус" фиксируют в Москве с мая
Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая
Компания КИТ МЕД представляет революционный аппарат SONOQUEEN — первую в мире анатомическую HIFU-технологию для anti-age терапии в России
Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире
Игровые терминалы в ТЦ: союз ради будущего
Пять земельных участков для размещения НКО доступны на городских торгах
«Каникулы с Росгвардией» проходят в регионах Центральной России
"Монсон о спортсменах, которые меняют гражданство в сложный период для России"
Лукашенко посоветовал не злить его и не допускать падежа в животноводстве
Лукашенко поделился мнением о самой идеальной профессии.
Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне
Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию
Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом
Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова
Сергей Собянин. Главное за день
Собянин поддержал проведение конкурса «Лучший книжный магазин Москвы»
Исследование выявило снижение инвестиций в экологически чистую энергетику США.
Детеныш краснокнижной боливийской обезьяны появился на свет в Московском зоопарке
Московские студенты начали исследовать влияние климатических изменений на сток рек Ямала
6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин
Игровые терминалы в ТЦ: союз ради будущего
В Правительстве прошщло совещание по реализации проекта строительства ВСМ Москва – Санкт-Петербург
Работа над качеством: цифровой аудитор внедрен на горячей линии московских судов
Адвокат Грачева заявила, что Седокову хотят привлечь к уголовной ответственности
Настольный термотрансферный принтер штрих-кодов iDPRT iE4P
Путин дал указание рассмотреть проблемы онкологии в Архангельской области.
70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский
Республика Алтай вошла в десятку регионов России по развитию ипотеки
Лавандовое поле горит в Симферопольском районе Крыма
В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями
Россияне выбирают Крым для отдыха с детьми – названы города-лидеры
"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму
Синоптик Тишковец: череда тропических ливней в Москве завершена
В Самарской области за полгода открыто 410 вакансий для сисадминов, что на 22% меньше, чем годом ранее
Сотрудники органов принудительного исполнения обеспечивают безопасность судебных процессов
После ареста иномарки в Подмосковье должник погасил задолженность по алиментным платежам