Добавить новость
smi24.net
World News in Dutch
Сентябрь
2015

Why 'small sample size' is wrong

0
Don't run from this title: it will help you win some arguments.

I spend a lot of time in Philadelphia, which, along with Boston and New York, is tops in terms of sports mania and knowledge. Philly fans may throw snowballs at Santa Claus, and they may boo their draft picks, but their passion is overwhelmingly backed by almost scholarly levels of scrutiny of their teams.

So let's take a look at what they are being told.

Philly boasts two of the highest-quality sports radio stations in America: venerable WIP and upstart WPEN. Between them they bring to the microphone an astonishing number of nationally recognizable sports commentators, led by Sal Paolantonio, Brian Baldinger, my favorites Mike Missanelli and Cuz, and an army of former players.

Lately, however, I've been hearing one phrase abused repeatedly, and it's worth a moment's reflection to consider its true meaning.

That phrase is "small sample size."

I hear this phrase in every broadcast, every hour, before every hard stop for a commercial break.

Generally, it's invoked to caution listeners who forecast future outcomes from a really small set of data. This could be a rookie's first appearances, the initial performance of an athlete returning from an injury, or a high-profile acquisition's performance in a small number of games.

These beloved sports commentators tell listeners, again and again, that small sample sizes lead to hasty, foolish judgments. Are they right? No.

Let's talk about Sam Bradford. Bradford was acquired by the Eagles in a headline-making trade with the St. Louis Rams. Bradford is a once precocious quarterback who has spent most of his career recovering from surgery.

This preseason, Bradford has appeared in two games. In the first, he looked ok, completed passes at a statistically average rate (3 of 5), but also shook off (with a snarl) a possibly dirty shot at his newly rehabilitated knees (that alone endeared him to Philly).

In the second game (the team's third of the preseason), he was a future Hall of Famer, completing all 10 of his passes, including three for touchdowns, and looked to be the next Tom Brady or Peyton Manning.

Then the cascade of fear of the small sample size rained down on the ecstatic Eagles fan base. Incorrectly.

In statistics, there are two key concepts: validity and reliability. Does your data measure what you think it measures (validity) and would additional samples from the same data yield the same result (reliability)? Here, what we really care about is validity: are the 15 preseason throws enough to forecast Sam Bradford's future?

While Philly sports broadcasters have focused on is the idea that 15 is a small number. However, statisticians would focus on what those 15 observations measure.

Here's the difference. Suppose Bradford's 15 throws, 12 successfully executed, occurred in an environment identical to the regular season. Then, a statistician would say, rather than a nice bell curve with a big hump in the middle, the results would look like a bell curve that has been stretched to the edge of the page and squashed in the middle. Because the bell curve is flatter and wider, it gives you less confidence Bradford's throws to date show what he can do in the regular season.

But, statistically, even though small sample sizes yield less confidence in results, it's still unlikely that what we've seen from Bradford will be different from his expected performance in the regular season. Even though Bradford has only thrown 15 times, it's a good bet his performance in the regular season will be similar to his performance in the preseason. That is, if his results in the preseason are valid.

A more important problem would occur if the observed data represent a world (the preseason) that looks nothing like the data it is being used to predict (the regular season). If that is true, if in the preseason players don't play as hard, if game plans are more simplistic, if better players are less likely to play, if the deck is effectively stacked in favor of Bradford (statisticians call this selection bias), then the data are not valid: they simply don't measure what you want them to measure, regular season effectiveness.

So, "small sample size" isn't the problem, validity is. If the data aren't valid, a larger sample size won't solve the problem. Only better (valid) data will.

Philly has great sports fans, and they deserve more precise language. And excellent quarterback play.

-- This feed and its contents are the property of The Huffington Post, and use is subject to our terms. It may be used for personal consumption, but may not be distributed on a website.


















В студии Детского радио прошла церемония гашения почтовой марки

Ваше душевное благополучие важно: когда и как лечение в стационаре становится шагом к себе

«А у кого нет проблем?»: Филипп Киркоров заговорил про здоровье после полученного ожога

Раздвигая горы - к единству и созиданию! Манифест лезгинского народа (письменное обращение, воззвание программного характера)


Why Juventus spent 111m this summer for only one new player

Coke and Pepsi both unveil new sodas made with cane sugar, but neither are what you’d expect

The founder of Deliciously Ella started a blog when suffering from severe chronic pain. Now, her multimillion-dollar snack empire is going global

Félix Auger-Aliassime


Новая модель Hyundai Elantra уже доступна в России: какие изменения произошли

Вечер в Кулогорах...

В Курской области мужчина напал на полицейского

В Курске погиб 36-летний мотоциклист


Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'

Настройки GameHub и Winlator для игры в Prey (2017) на Android

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game



Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году

Paul Oakenfold возвращается в Россию: легенда электронной музыки даст концерты в Москве и Петербурге спустя 7 лет

Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

Медлить — не время. «Выберу.ру» подготовил рейтинг лучших пенсионных вкладов в июле 2025 года


Navicon представляет комплексную систему для интегрированного управления данными

В студии Детского радио прошла церемония гашения почтовой марки

Мария Шувалова: Путь от гимнастики к вершинам балета

Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году


ЦСКА подписал контракт с нападающим Спронгом, выступавшим в НХЛ

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

корреспондент

Религиовед Иванишко: запрет сатанизма коснется маркетплейсы, бары и рок-группы


Бублик стал победителем турнира в Гштаде.

Рублев вместе с чешской теннисисткой заявился в микст на US Open

Кудерметова: раньше думала, что Сафина из Казани, её с Маратом все связывают с Татарстаном

«Саша забрал корону». ATP отреагировал на триумф Александра Бублика


Бастрыкин поставил на контроль дело об избиении мужчиной ребенка в Подмосковье

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

Психует и ругается. Как Сара Нетаньяху опозорилась в Москве. Многочисленные странности жены премьера Израиля

В студии Детского радио прошла церемония гашения почтовой марки


Музыкальные новости

VK Fest 2025 побил рекорд по числу артистов и вошёл в Книгу рекордов России

Врач Поляков: Киркоров рискует сойти с ума из-за препарата для похудения

Ростовский-на-Дону ЭРЗ ввёл в эксплуатацию новый прошивной станок

Рискнул на 100 тысяч рублей: инженер из Смоленска купил более 1,7 тысячи лотерейных билетов и выиграл автомобиль от «Национальной Лотереи» и РОЛЬФ на VK Fest


Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году

В Московской области задержан томский предприниматель, укравший 8,5 млн рублей

Медлить — не время. «Выберу.ру» подготовил рейтинг лучших пенсионных вкладов в июле 2025 года

Paul Oakenfold возвращается в Россию: легенда электронной музыки даст концерты в Москве и Петербурге спустя 7 лет


Paul Oakenfold возвращается в Россию: легенда электронной музыки даст концерты в Москве и Петербурге спустя 7 лет

Новая модель Hyundai Elantra уже доступна в России: какие изменения произошли

В регионах Центральной России продолжается ведомственная акция «Каникулы с Росгвардией»

"Выездные мастер-классы" Межвузовского Чемпионата КВН Санкт-Петербурга


Сильный ливень заблокировал людей в авто в центре Москвы

Движение на участке Филевской линии метро остановили из-за ливней

Столичные росгвардейцы оказали помощь мотоциклистке, пострадавшей в ДТП

Столичные росгвардейцы оказали помощь мотоциклистке, пострадавшей в ДТП


Путин провел встречу с министром юстиции.

Путин выразил соболезнования семье председателя Верховного суда Подносовой

В Москве скончалась подруга Путина, которая рассказывала о его молодости: «Нам он как мужчина не нравился»

Министр юстиции поделился информацией о роли адвокатов в специальной военной операции.




Уже не крепкий орешек: как Брюс Уиллис живет с неизлечимой болезнью

Врач-гигиенист клиники «Мегастом» Инна Гришина: сколько нужно чистить зубы

После вспышки инфекции на теплоходе «Леонид Красин» начали расследование

Трихолог Мадина Осман: типы алопеции и методы борьбы с ними


Axios: закон о НАБУ может спровоцировать Трампа на новую волну критики Киева

В центре Киева митингуют против реформ Зеленского


Кайрат Бермуканов поддержал Петра Яна перед боем в Абу‑Даби

ЦСКА подписал контракт с нападающим Спронгом, выступавшим в НХЛ

Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»

Парк Юрия Лужкова 19 июля стал территорией мастеров экстремального спорта на фестивале The BOWL


Посланник Трампа рассказал, как «неформально» договаривался с Лукашенко: после нескольких тостов Минск освободил политзаключенных


Собянин: Модернизация двух корпусов ГКБ имени Вересаева завершится в этом году

Собянин: Продолжаем внедрять новый стандарт заботы о женском здоровье в одном месте

Более 800 спортивных площадок обновят и обустроят в Москве - Сергей Собянин


Уже 59 орловчан решили побороться за просветительскую награду «Знание. Премия»

Мишустин поучаствует в Международной экологической конференции на Алтае

Экономист оценил экологический и финансовый ущерб от пластиковых пакетов

Россияне рассказали, по каким критериям выбирают квартиру для покупки в 2025 году


ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

ЦСКА подписал контракт с нападающим Спронгом, выступавшим в НХЛ

Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году

Как Москва приехала переманивать специалистов из Татарстана


В Башкирии ревнивец ранил жену шампуром и сдался полиции

Республика Алтай вошла в десятку регионов России по развитию ипотеки

Настольный термотрансферный принтер штрих-кодов iDPRT iE4P

В Нарьян-Маре из-за холодов возобновили подачу отопления в дома


Поезда в Крым и из Крыма следуют с задержками до пяти часов

Поезда "Таврия" по-прежнему задерживаются из-за ЧП в Ростовской области

Актуальная информация о задержке поездов в Крым и обратно

В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями


Володин раскритиковал Чехию за сравнение коммунистической идеологии с фашистской

Религиовед Иванишко: запрет сатанизма затронет маркетплейсы, бары и рок-группы

Как Москва приехала переманивать специалистов из Татарстана

корреспондент














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *