Добавить новость
smi24.net
World News in Dutch
Сентябрь
2015

Why 'small sample size' is wrong

0
Don't run from this title: it will help you win some arguments.

I spend a lot of time in Philadelphia, which, along with Boston and New York, is tops in terms of sports mania and knowledge. Philly fans may throw snowballs at Santa Claus, and they may boo their draft picks, but their passion is overwhelmingly backed by almost scholarly levels of scrutiny of their teams.

So let's take a look at what they are being told.

Philly boasts two of the highest-quality sports radio stations in America: venerable WIP and upstart WPEN. Between them they bring to the microphone an astonishing number of nationally recognizable sports commentators, led by Sal Paolantonio, Brian Baldinger, my favorites Mike Missanelli and Cuz, and an army of former players.

Lately, however, I've been hearing one phrase abused repeatedly, and it's worth a moment's reflection to consider its true meaning.

That phrase is "small sample size."

I hear this phrase in every broadcast, every hour, before every hard stop for a commercial break.

Generally, it's invoked to caution listeners who forecast future outcomes from a really small set of data. This could be a rookie's first appearances, the initial performance of an athlete returning from an injury, or a high-profile acquisition's performance in a small number of games.

These beloved sports commentators tell listeners, again and again, that small sample sizes lead to hasty, foolish judgments. Are they right? No.

Let's talk about Sam Bradford. Bradford was acquired by the Eagles in a headline-making trade with the St. Louis Rams. Bradford is a once precocious quarterback who has spent most of his career recovering from surgery.

This preseason, Bradford has appeared in two games. In the first, he looked ok, completed passes at a statistically average rate (3 of 5), but also shook off (with a snarl) a possibly dirty shot at his newly rehabilitated knees (that alone endeared him to Philly).

In the second game (the team's third of the preseason), he was a future Hall of Famer, completing all 10 of his passes, including three for touchdowns, and looked to be the next Tom Brady or Peyton Manning.

Then the cascade of fear of the small sample size rained down on the ecstatic Eagles fan base. Incorrectly.

In statistics, there are two key concepts: validity and reliability. Does your data measure what you think it measures (validity) and would additional samples from the same data yield the same result (reliability)? Here, what we really care about is validity: are the 15 preseason throws enough to forecast Sam Bradford's future?

While Philly sports broadcasters have focused on is the idea that 15 is a small number. However, statisticians would focus on what those 15 observations measure.

Here's the difference. Suppose Bradford's 15 throws, 12 successfully executed, occurred in an environment identical to the regular season. Then, a statistician would say, rather than a nice bell curve with a big hump in the middle, the results would look like a bell curve that has been stretched to the edge of the page and squashed in the middle. Because the bell curve is flatter and wider, it gives you less confidence Bradford's throws to date show what he can do in the regular season.

But, statistically, even though small sample sizes yield less confidence in results, it's still unlikely that what we've seen from Bradford will be different from his expected performance in the regular season. Even though Bradford has only thrown 15 times, it's a good bet his performance in the regular season will be similar to his performance in the preseason. That is, if his results in the preseason are valid.

A more important problem would occur if the observed data represent a world (the preseason) that looks nothing like the data it is being used to predict (the regular season). If that is true, if in the preseason players don't play as hard, if game plans are more simplistic, if better players are less likely to play, if the deck is effectively stacked in favor of Bradford (statisticians call this selection bias), then the data are not valid: they simply don't measure what you want them to measure, regular season effectiveness.

So, "small sample size" isn't the problem, validity is. If the data aren't valid, a larger sample size won't solve the problem. Only better (valid) data will.

Philly has great sports fans, and they deserve more precise language. And excellent quarterback play.

-- This feed and its contents are the property of The Huffington Post, and use is subject to our terms. It may be used for personal consumption, but may not be distributed on a website.


















Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Арбуз, кукуруза и холодные напитки: диетолог Садыков назвал продукты, которые портят ваш сон летом

«Это лучшее, что я видела за последнее время». «Тату» вернулись и уже дают концерты. Почему за ними следит вся страна?

В Третьяковке на Кадашевской набережной открылся концертный зал


Why Juventus spent 111m this summer for only one new player

Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."

Félix Auger-Aliassime

Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur


В Челябинске арестован председатель правления банка "Снежинский"

Какие зарплаты нужны для получения льготного автокредита в 2025 году

Предрассветная Нёнокса...

Monochamus scutellatus


Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

Краткая биографическая справка о центральных персонажах Mafia: The Old Country

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game



Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

«Каникулы с Росгвардией» проходят в регионах Центральной России

В Третьяковке на Кадашевской набережной открылся концертный зал

В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии


Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

Ученый Толстых объяснил, что московские ливни вызваны мощным атлантическим циклоном

В студии Детского радио прошла церемония гашения почтовой марки

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей


Ученый Толстых объяснил, что московские ливни вызваны мощным атлантическим циклоном

МЧС предупредило москвичей о жаре до +30℃

После ареста иномарки в Подмосковье должник погасил задолженность по алиментным платежам

В Ярославской области регистрировалось три групповых очага кори


Винус Уильямс: Если Серена вернется, она даст вам знать

Россиянин Сидоренко выиграл соревнования по настольному теннису на Универсиаде‑2025

Медведев сравнил матчи с Опелкой в Нидерландах и США

«Следующая остановка — Монреаль!» Потапова полетела в Канаду для участия в «тысячнике»


На станции в Ростовской области обломки БПЛА нанесли ущерб контактной сети.

В Краснодарском крае останавливаются 12 поездов.

Еще одно здание ГБУ «Жилищник» появится во Внукове

Шаляпин успокоил дочь Бони Анджелину после ее конфликта с мамой


Музыкальные новости

Даже Пугачева оценила: Олег Меньшиков показал, как отдыхает в Италии

На концерт классической музыки «Мне дорог Бах…» приглашают псковичей

Он не любил, когда наполовину: каким был Владимир Высоцкий

«С детства было ясно, что растет большой артист»: мать Тимати высказалась о популярности сына


В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

«Каникулы с Росгвардией» проходят в регионах Центральной России

В Третьяковке на Кадашевской набережной открылся концертный зал

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве


Путин прибыл на прощание с председателем Верховного суда Подносовой

"Выездные мастер-классы" Межвузовского Чемпионата КВН Санкт-Петербурга

Парк Юрия Лужкова 19 июля стал территорией мастеров экстремального спорта на фестивале The BOWL

Ростовский-на-Дону ЭРЗ ввёл в эксплуатацию новый прошивной станок


Поезда не будут ходить на участке Сокольнической линии метро с 26 по 28 июля

В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)

Несколько автомобилей столкнулись на внешней стороне 92-го км МКАД

На МКАД в Москве произошло массовое ДТП, движение затруднено


Сигналы становятся всё громче. Переговоры - только ширма. Главное решится не в Стамбуле

Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем


Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая

В Алтайском крае распространяется новый штамм коронавируса

Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

Новый штамм коронавируса "стратус" фиксируют в Москве с мая



Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая

Компания КИТ МЕД представляет революционный аппарат SONOQUEEN — первую в мире анатомическую HIFU-технологию для anti-age терапии в России

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Новый штамм коронавируса "стратус" фиксируют в Москве с мая


Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире


Игровые терминалы в ТЦ: союз ради будущего

"Монсон о спортсменах, которые меняют гражданство в сложный период для России"

"Атлетико" заключил соглашение с игроком национальной команды Словакии

«Каникулы с Росгвардией» проходят в регионах Центральной России


Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне

Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко посоветовал не злить его и не допускать падежа в животноводстве


Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом

Сергей Собянин. Главное за день

Собянин поддержал проведение конкурса «Лучший книжный магазин Москвы»

Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова


Исследование выявило снижение инвестиций в экологически чистую энергетику США.

Детеныш краснокнижной боливийской обезьяны появился на свет в Московском зоопарке

Московские студенты начали исследовать влияние климатических изменений на сток рек Ямала

6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин


Британский эксперт: Киев пытался на переговорах продавить Москву ультиматумом Трампа, но Зеленский просчитался

В Ростовской области обломки БПЛА привели к задержке 10 пассажирских поездов

На Крымском мосту восстановили движение автотранспорта

Врач Соловьева: прокрастинация может быть симптомом депрессии


В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Республика Алтай вошла в десятку регионов России по развитию ипотеки

70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский


Поезда "Таврия" по-прежнему задерживаются из-за ЧП в Ростовской области

Россияне выбирают Крым для отдыха с детьми – названы города-лидеры

"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму

В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями


МЧС предупредило москвичей о жаре до +30℃

Обломки сбитых дронов повредили контактную сеть на станциях в двух регионах РФ

Ученый Толстых объяснил, что московские ливни вызваны мощным атлантическим циклоном

Как мы в Fix Price автоматизировали создание рекламных видео














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *