Добавить новость
smi24.net
World News in Dutch
Сентябрь
2015

Why 'small sample size' is wrong

0
Don't run from this title: it will help you win some arguments.

I spend a lot of time in Philadelphia, which, along with Boston and New York, is tops in terms of sports mania and knowledge. Philly fans may throw snowballs at Santa Claus, and they may boo their draft picks, but their passion is overwhelmingly backed by almost scholarly levels of scrutiny of their teams.

So let's take a look at what they are being told.

Philly boasts two of the highest-quality sports radio stations in America: venerable WIP and upstart WPEN. Between them they bring to the microphone an astonishing number of nationally recognizable sports commentators, led by Sal Paolantonio, Brian Baldinger, my favorites Mike Missanelli and Cuz, and an army of former players.

Lately, however, I've been hearing one phrase abused repeatedly, and it's worth a moment's reflection to consider its true meaning.

That phrase is "small sample size."

I hear this phrase in every broadcast, every hour, before every hard stop for a commercial break.

Generally, it's invoked to caution listeners who forecast future outcomes from a really small set of data. This could be a rookie's first appearances, the initial performance of an athlete returning from an injury, or a high-profile acquisition's performance in a small number of games.

These beloved sports commentators tell listeners, again and again, that small sample sizes lead to hasty, foolish judgments. Are they right? No.

Let's talk about Sam Bradford. Bradford was acquired by the Eagles in a headline-making trade with the St. Louis Rams. Bradford is a once precocious quarterback who has spent most of his career recovering from surgery.

This preseason, Bradford has appeared in two games. In the first, he looked ok, completed passes at a statistically average rate (3 of 5), but also shook off (with a snarl) a possibly dirty shot at his newly rehabilitated knees (that alone endeared him to Philly).

In the second game (the team's third of the preseason), he was a future Hall of Famer, completing all 10 of his passes, including three for touchdowns, and looked to be the next Tom Brady or Peyton Manning.

Then the cascade of fear of the small sample size rained down on the ecstatic Eagles fan base. Incorrectly.

In statistics, there are two key concepts: validity and reliability. Does your data measure what you think it measures (validity) and would additional samples from the same data yield the same result (reliability)? Here, what we really care about is validity: are the 15 preseason throws enough to forecast Sam Bradford's future?

While Philly sports broadcasters have focused on is the idea that 15 is a small number. However, statisticians would focus on what those 15 observations measure.

Here's the difference. Suppose Bradford's 15 throws, 12 successfully executed, occurred in an environment identical to the regular season. Then, a statistician would say, rather than a nice bell curve with a big hump in the middle, the results would look like a bell curve that has been stretched to the edge of the page and squashed in the middle. Because the bell curve is flatter and wider, it gives you less confidence Bradford's throws to date show what he can do in the regular season.

But, statistically, even though small sample sizes yield less confidence in results, it's still unlikely that what we've seen from Bradford will be different from his expected performance in the regular season. Even though Bradford has only thrown 15 times, it's a good bet his performance in the regular season will be similar to his performance in the preseason. That is, if his results in the preseason are valid.

A more important problem would occur if the observed data represent a world (the preseason) that looks nothing like the data it is being used to predict (the regular season). If that is true, if in the preseason players don't play as hard, if game plans are more simplistic, if better players are less likely to play, if the deck is effectively stacked in favor of Bradford (statisticians call this selection bias), then the data are not valid: they simply don't measure what you want them to measure, regular season effectiveness.

So, "small sample size" isn't the problem, validity is. If the data aren't valid, a larger sample size won't solve the problem. Only better (valid) data will.

Philly has great sports fans, and they deserve more precise language. And excellent quarterback play.

-- This feed and its contents are the property of The Huffington Post, and use is subject to our terms. It may be used for personal consumption, but may not be distributed on a website.


















Сеть клиник «Будь Здоров» открыла первый травмпункт сети на базе клиники на Сретенке

Московские врачи провели младенцу сложнейшую операцию на поджелудочной железе

Ночные перекусы в отпуске: доктор Садыков о том, как они влияют на микрофлору и вес

Эксперт по антиквариату и сервировке Регина ван Влит: как отличить антиквариат от ненужного старья


Weah’s agent: One Juventus director ‘is creating problems’

Kolo Muani: Juventus prepare new offer but face Man United and Chelsea threat

Today in History: July 28, US Army airplane crashes into Empire State Building

Dear Abby: Our son was clean and fit until Emily came along


НПС построит два велопешеходных моста через Москву-реку

Российская аналитическая платформа Modus BI теперь доступна клиентам Navicon

Axenix фиксирует рост интереса бизнеса к комплексным ИБ-решениям на фоне усилившихся киберугроз

ТСМ готовит территорию под реконструкцию ростовского участка трассы М-4


Bloody fighting game Invincible VS gets its most brutal character yet in Comic-Con trailer

Today's Wordle answer for Monday, July 28

Fretless — The Wrath of Riffson — музыка спасёт мир. Рецензия

Quarantine Zone creator reveals 3 reasons the zombie sim went viral on TikTok



Культовый BAW 212 уже в России

Чемпионат по военно-спортивному многоборью среди росгвардейцев завершился в Грозном

В РПЦ объяснили отсутствие маркировки на святой воде в храмах

Клиника гнатологии – лечение ВНЧС и восстановление прикуса


Где живут и на чем ездят самые аварийные водители России?

США лишили Путина чёрного пояса: Расплата пришла быстро. Китай — об изощренной мести Кремля

Александр Михайлов (GSOC): «Безопасность IT-экосистемы — это зона нулевого доверия к подрядчикам»

От «Лебединого озера» до «Дон Кихота»: Relax FM приглашает на балет


"Журавль в небе": FT выразила сомнения по поводу соглашения между ЕС и США.

Зоя Панкратова: «Шеф в деле» – это про нас

Bloomberg: Пожары в Лос-Анджелесе вызвали небесные убытки по страховкам.

Ромео и Джульетта. Еще раз про любовь


Радукану вспомнила, как предложила Рыбакиной выступить в парном разряде

Весной его дисквалифицировали за мат, а теперь он герой Универсиады. Кто такой Владимир Сидоренко?

Калинская достигла финала турнира в Вашингтоне

«Краснодар» — «Локо», UFC и матч Калинской: что посмотреть сегодня


Страховщик заявил о сокращении автоугонов в летний период вдвое

Володин сообщил о интеграции парламента в стратегию развития России под руководством Путина.

Курьер мошенников похитил у пенсионерки более 300 тысяч рублей: молодой человек заключён под стражу

"Аэрофлот" сообщил о возобновлении нормальной работы по расписанию


Музыкальные новости

Девушка Рая отреагировала на использование ее лица во время выступления Элджея

Кажетта Ахметжанова: 5 вещей в кошельке, которые блокируют поступление денег

Пресняков-старший считает Москву безопаснее Нью-Йорка и Парижа

Mash: Дженнифер Лопес отказалась выступать в России из-за возможной критики Запада


Сотрудница подразделения столичного главка Росгвардии завоевала «золото» на чемпионате войск по легкоатлетическому кроссу

Культовый BAW 212 уже в России

От «Лебединого озера» до «Дон Кихота»: Relax FM приглашает на балет

Приключения в Дагестане: Comedy Radio рекомендует «Атель-Матель»


Питчинг Релиза. Отправить релиз на Питчинг.

Гендиректор «Роскосмоса» прибыл в США на первую с 2018 года встречу с главой NASA

В День парашютиста героем рубрики «Знай наших» стал сотрудник вневедомственной охраны столичного главка Росгвардии младший лейтенант полиции Александр С.

Адвокат Гаврилова раскрыла, чего добивается семья Тиммы после его смерти


Сотрудники ОМОН Росгвардии помогли пострадавшему в ДТП на МКАД

Культовый BAW 212 уже в России

В Москве 2 будет ограничено движение автомобилей

ДТП с участием трех автомобилей произошло на внутренней стороне 104 километра МКАД


"Ъ": Москва облегчила жизнь молдаванам в России

Греф представил Путину отчет о деятельности Сбербанка.

Путин сделал шутку о системе "Оплата с помощью улыбки".

Путин: рост Сбербанка обеспечивает стабильность банковской системы.


Новый штамм COVID-19 переносится как легкая форма ОРВИ


Депутата ЗакСа Ленобласти Ивана Апостолевского задержали за пост с Навальным*


Врач-косметолог Мадина Осман: что такое липофилинг и кому он может быть показан

Медицинские справки для школьников в центре ВИТА

Клиника гнатологии – лечение ВНЧС и восстановление прикуса

Обрушение в санатории "Москва" в Кисловодске: пострадали двое отдыхающих


Чтобы убрать Зеленского, США достаточно показать ему одну папку: вот почему Киев упал в ноги Трампу


Сотрудница подразделения столичного главка Росгвардии завоевала «золото» на чемпионате войск по легкоатлетическому кроссу

Чемпионат по военно-спортивному многоборью среди росгвардейцев завершился в Грозном

Легкоатлеты из Мордовии показали лучшие результаты мирового сезона на международных соревнованиях в Москве

Чемпионат по военно-спортивному многоборью среди росгвардейцев завершился в Грозном


Лукашенко взял на контроль ситуацию с уничтожением БПЛА над Минском

В Минске готовы активизировать сотрудничество с Эфиопией

Лукашенко сообщил о телефонном разговоре с Путиным


Станция "Достоевская" Кольцевой линии метро готова на четверть - Собянин

Собянин рассказал о тестировании уникальной ИИ-системы для диагностики инсульта

Собянин: Участие москвичей в жизни города — ключ ко всем позитивным изменениям

Собянин рассказал, как строят станцию «Достоевская» Кольцевой линии метро


Bloomberg: Пожары в Лос-Анджелесе вызвали небесные убытки по страховкам.

Александр Михайлов (GSOC): «Безопасность IT-экосистемы — это зона нулевого доверия к подрядчикам»

Число пострадавших от непогоды автомобилей растет

В Ростокине расскажут о млекопитающих Москвы


Шоумен Дмитрий Дибров будет делить с женой Полиной особняк на Рублевке

Международная выставка «Вечная Женственность» открылась в Ступине

Мостовой назвал точный счёт матча «Ростов» - «Спартак»

Володин сообщил о интеграции парламента в стратегию развития России под руководством Путина.


В Архангельске представили киноальманах «Север, я люблю тебя!» по произведениям современных писателей

В Архангельске с 29 июля перекрывается движение по участку набережной Северной Двины

Туманное утро в Турчасово...

Не чайные клиперы


В Севастополе пройдет масштабная выставка картин Александра Дейнеки

Прогноз погоды в Крыму на 27 июля

Сколько пассажиров прибывают в Крым летом на поездах ежедневно

К парню с костылем подошли трое с требованием уступить. Он был готов, но заступилась бабушка по соседству


Российско-китайская ярмарка культуры и искусства открылась в Хэйхэ

"Главпродукт" окончательно перешёл государству

СК сообщил о возбуждении уголовного дела из-за обвала скалы в Кисловодске

Массовая авария парализовала движение на МКАД в Москве














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *