Добавить новость
smi24.net
News in English
Март
2023

Journalists should be looking for undocumented APIs. Here’s how to start.

0

At The Markup, we build our own datasets, a lot. It’s one of the core tenets of our newsroom, and how we test our hypothesis-driven journalism.

One way we do that is by finding and using undocumented APIs (or application program interfaces), which are hidden in plain sight. These APIs run behind the scenes on websites and do things that are so mundane that most people just take them for granted. Autocompleting search queries, scrolling infinitely, and filtering pages after you press a button in the user interface are all usually powered by undocumented APIs.

Especially in circumstances when data is not accessible otherwise, finding an undocumented API can be the key to allowing us to do an investigation — by finding public access to the data.

I designed a step-by-step tutorial on how to find and use undocumented APIs based on my experience doing it at The Markup: https://inspectelement.org/apis.html.

In addition to following the tutorial, let’s talk about why these undocumented APIs matter and how I’ve used them in my reporting.

Finding Google’s blocklist of YouTube ad placements

Finding an undocumented API in Google Ads allowed Aaron Sankin and me to confirm that Google blocked key racial justice terms such as “Black Lives Matter” but not “White lives matter” and other well-known hate terms. From the webpage, it would be impossible to distinguish between a blocked response and one that was obscure and returned no results. By finding the underlying API that populates the page, we were able to intercept search queries before search results were rendered on the page. This allowed us to find structural differences in the API response based on Google’s verdict on a word or phrase and create a clear categorization system. With the API at our service and a categorization system in place, we were able to test curated lists of keywords that we had sourced from nonprofits and independent civil rights groups.

Identifying Amazon private label products

When Adrianne Jeffries and I started investigating whether or not Amazon gives an advantage to its own branded products in search, there was no definitive list saying which products were Amazon brands and exclusives.

At the time, Amazon brands were not clearly labeled on its website, and Amazon had more than 150 trademarked brands. We even ran a national survey of 1,000 adults and found that most Americans were unable to identify Amazon’s top brands.

We began inspecting Amazon’s website to find a reliable method of identifying Amazon’s brands and eventually found an unassuming button on the left-hand side of the search page that filtered the page to “our brands.”

When we listened to the network requests in the browser’s developer tools, we found that the “our brands” button calls an undocumented API that could take any search term and return products that were just Amazon brands and exclusives.

Aside from using the undocumented API throughout the months-long data collection, we built a web extension that uses the API to re-create our findings for Amazon shoppers across multiple countries and languages.

Collecting more than a million internet plans

Most recently, Aaron and I used a series of APIs found on four internet service providers’ websites to collect more than 1.1 million internet plans across major cities in the United States. The scope and scale of our investigation was only possible because we were able to scale up our data collection, which we originally developed using Selenium, a browser automation tool. Although browser automation is a fundamental tool for data collection, it sucked up too many resources and was far too slow. Our trial analysis of one city and one provider took weeks to complete. However, finding the underlying APIs that powered the multistep lookup process allowed us to streamline that process to the point where we were able to collect a 10 percent sample of 21 cities in two days.

A key tool for your next investigation

As journalists, we have a suite of techniques we can use to build our own datasets. This includes filing public records requests (such as FOIA or state-level requests), keeping an eye on government data repositories, crowdsourcing, conducting surveys, web scraping, and even building physical sensors.

One way we frequently get data is through APIs, which make it possible for us to write code to communicate with servers and request records.

Some APIs are official and documented, such as the Census Data API, which we use to retrieve statistical survey data from across the United States. The benefits of documented APIs are that you know what you are going to get, and there are notes and examples to help developers use the tool as intended.

However, as we’ve seen with Twitter and Facebook, official APIs can disappear at a moment’s notice. The environment built around these data sources collapses, and the entity that rescinded the API becomes more opaque.

When it comes to undocumented APIs, there’s even less of a guarantee that they’ll stay around forever, but they do exist for a reason and can help us ask questions and access data that is otherwise inaccessible and unadvertised. We’ll keep finding them and using them for our journalism, and hope you will too.

Again, if you’re interested in learning how to do this yourself, here’s my step-by-step tutorial: https://inspectelement.org/apis.html.








Модель Анастасия Решетова перенесла вирус с осложнениями

Арбуз, кукуруза и холодные напитки: диетолог Садыков назвал продукты, которые портят ваш сон летом

Екатеринбург масштабно отметит свой день рождения

Компания КИТ МЕД представляет революционный аппарат SONOQUEEN — первую в мире анатомическую HIFU-технологию для anti-age терапии в России


Brit Who Fought Usyk Calls For Daniel Dubois To ‘Leave The Sport’ After Staying Down In Rematch

Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur

Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."

Why Juventus spent 111m this summer for only one new player


Свято Боголюбский Женский Монастырь

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

Игровые терминалы в ТЦ: союз ради будущего

Предгрозовое...


Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

Краткая биографическая справка о центральных персонажах Mafia: The Old Country

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game



«Каникулы с Росгвардией» проходят в регионах Центральной России

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

В Третьяковке на Кадашевской набережной открылся концертный зал

В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии


Трагедия для всей России: наша любимая актриса из "Служебного романа" скончалась на 82-м году жизни

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

Гарбузов: виртуальный лифт КМЗ станет экспонатом выставки «Та самая Москва»

Михаил Ефремов разъехался с женой на фоне новостей о разводе


Адвокат Грачева заявила, что Седокову хотят привлечь к уголовной ответственности

Прогноз погоды на сегодня, 25 июля

Сергей Карякин: **23 июля открыл свой Шахматный клуб на базе московского Единого центра поддержки участников специальной военной операции и членов их семей!

Девушка Рая отреагировала на использование ее лица во время выступления Элджея


Россиянин Сидоренко выиграл золото Универсиады в настольном теннисе

Россиянин Сидоренко выиграл соревнования по настольному теннису на Универсиаде‑2025

Винус Уильямс: Если Серена вернется, она даст вам знать

Мальцев и Платонова взяли серебро ЧМ, Бублик вышел в полуфинал Кицбюэля. Главное к утру


Автоэксперт Олег Мосеев: автопарк России на 71,3% состоит из машин старше 10 лет

Ветеринары напомнили жителям Подмосковья о необходимости вакцинации питомцев

Сразу до +35 градусов: синоптики рассказали, когда снова вернется жара. Ждать осталось недолго

Жертва перестройки — почему эта Волга была обречена


Музыкальные новости

Концерт в Москве в честь 75-летия дипотношений России и Вьетнама

Баста и Шура снимаются в сериале «Вирус попсы»

Ростовский-на-Дону ЭРЗ ввёл в эксплуатацию новый прошивной станок

Баста, Слава и Шура снимутся в новом документальном сериале «Вирус попсы»


В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

«Каникулы с Росгвардией» проходят в регионах Центральной России

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве


«Спартак» - «Балтика»: прогноз + статистика встреч

Отношения с Трампом не сложились: Путин зол. Ультиматум США вышел боком

«Единая Россия» заключила договор с Российским экспортным центром

Группа Аквилон передала государству первые квартиры


Несколько автомобилей столкнулись на внешней стороне 92-го км МКАД

Поезда не будут ходить на участке Сокольнической линии метро с 26 по 28 июля

Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы

На МКАД в Москве произошло массовое ДТП, движение затруднено


В сентябре Путину будет представлена обновленная программа строительства кораблей для ВМФ.

Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем


Депздрав: новый штамм коронавируса «стратус» фиксируют в Москве с мая

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая



Компания КИТ МЕД представляет революционный аппарат SONOQUEEN — первую в мире анатомическую HIFU-технологию для anti-age терапии в России

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек


Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире


Пять земельных участков для размещения НКО доступны на городских торгах

«Каникулы с Росгвардией» проходят в регионах Центральной России

Две трети россиян считают, что спортсмены зарабатывают слишком много

Игровые терминалы в ТЦ: союз ради будущего


Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне

Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко посоветовал не злить его и не допускать падежа в животноводстве


Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова

Сергей Собянин поздравил москвича — победителя международной олимпиады по физике

Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом

Сергей Собянин. Главное за день


Московские студенты начали исследовать влияние климатических изменений на сток рек Ямала

В центре внимания: CorpSoft24 вошел в рейтинг крупнейших ИТ-компаний России

Исследование выявило снижение инвестиций в экологически чистую энергетику США.

6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин


Адвокат Грачева заявила, что Седокову хотят привлечь к уголовной ответственности

Прогноз погоды на сегодня, 25 июля

Еще одно здание ГБУ «Жилищник» появится во Внукове

Автоэксперт Олег Мосеев: автопарк России на 71,3% состоит из машин старше 10 лет


В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

Республика Алтай вошла в десятку регионов России по развитию ипотеки

70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский

Настольный термотрансферный принтер штрих-кодов iDPRT iE4P


Прогноз погоды в Крыму на 25 июля

В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

Лавандовое поле горит в Симферопольском районе Крыма

"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму


Синоптик Леус спрогнозировал жаркую погоду в Москве

Ученый Толстых объяснил, что московские ливни вызваны мощным атлантическим циклоном

Жертва перестройки — почему эта Волга была обречена

Прогноз погоды на сегодня, 25 июля














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *