Добавить новость
smi24.net
News in English
Март
2023

AI Is Like … Nuclear Weapons?

0

The concern, as Edward Teller saw it, was quite literally the end of the world. He had run the calculations, and there was a real possibility, he told his Manhattan Project colleagues in 1942, that when they detonated the world’s first nuclear bomb, the blast would set off a chain reaction. The atmosphere would ignite. All life on Earth would be incinerated. Some of Teller’s colleagues dismissed the idea, but others didn’t. If there were even a slight possibility of atmospheric ignition, said Arthur Compton, the director of a Manhattan Project lab in Chicago, all work on the bomb should halt. “Better to accept the slavery of the Nazi,” he later wrote, “than to run a chance of drawing the final curtain on mankind.”

I offer this story as an analogy for—or perhaps a contrast to—our present AI moment. In just a few months, the novelty of ChatGPT has given way to utter mania. Suddenly, AI is everywhere. Is this the beginning of a new misinformation crisis? A new intellectual-property crisis? The end of the college essay? Of white-collar work? Some worry, as Compton did 80 years ago, for the very future of humanity, and have advocated pausing or slowing down AI development; others say it’s already too late.

In the face of such excitement and uncertainty and fear, the best one can do is try to find a good analogy—some way to make this unfamiliar new technology a little more familiar. AI is fire. AI is steroids. AI is an alien toddler. (When I asked for an analogy of its own, GPT-4 suggested Pandora’s box—not terribly reassuring.) Some of these analogies are, to put it mildly, better than others. A few of them are even useful.

Given the past three years, it’s no wonder that pandemic-related analogies abound. AI development has been compared to gain-of-function research, for example. Proponents of the latter work, in which potentially deadly viruses are enhanced in a controlled laboratory setting, say it’s essential to stopping the next pandemic. Opponents say it’s less likely to prevent a catastrophe than to cause one—whether via an accidental leak or an act of bioterrorism.

At a literal level, this analogy works pretty well. AI development really is a kind of gain-of-function research—except algorithms, not viruses, are the things gaining the functions. Also, both hold out the promise of near-term benefits: This experiment could help to prevent the next pandemic; this AI could help to cure your cancer. And both come with potential, world-upending risks: This experiment could help to cause a pandemic many times deadlier than the one we just endured; this AI could wipe out humanity entirely. Putting a number to the probabilities for any of these outcomes, whether good or bad, is no simple thing. Serious people disagree vehemently about their likelihood.

[Read: Bird flu leaves the world with an existential choice]

What the gain-of-function analogy fails to capture are the motivations and incentives driving AI development. Experimental virology is an academic undertaking, mostly carried out at university laboratories by university professors, with the goal at least of protecting people. It is not a lucrative enterprise. Neither the scientists nor the institutions they represent are in it to get rich. The same cannot be said when it comes to AI. Two private companies with billion-dollar profits, Microsoft (partnered with OpenAI) and Google (partnered with Anthropic), are locked in a battle for AI supremacy. Even the smaller players in the industry are flooded with cash. Earlier this year, four top AI researchers at Google quit to start their own company, though they weren’t exactly sure what it would do; about a week later, it had a $100 million valuation. In this respect, the better analogy is …

Social media. Two decades ago, there was fresh money—lots of it—to be made in tech, and the way to make it was not by slowing down or waiting around or dithering about such trifles as the fate of democracy. Private companies moved fast at the risk of breaking human civilization, to hell with the haters. Regulations did not keep pace. All of the same could be said about today’s AI.

[Read: Money will kill ChatGPT’s magic]

The trouble with the social-media comparison is that it undersells the sheer destructive potential of AI. As damaging as social media has been, it does not present an existential threat. Nor does it appear to have conferred, on any country, very meaningful strategic advantages over foreign adversaries, worries about TikTok notwithstanding. The same cannot be said of AI. In that respect, the better analogy is …

Nuclear weapons. This comparison captures both the gravity of the threat and where that threat is likely to originate. Few individuals could muster the colossal resources and technical expertise needed to construct and deploy a nuclear bomb. Thankfully, nukes are the domain of nation-states. AI research has similarly high barriers to entry and similar global geopolitical dynamics. The AI arms race between the U.S. and China is under way, and tech executives are already invoking it as a justification for moving as quickly as possible. As was the case for nuclear-weapons research, citing international competition has been a way of dismissing pleas to pump the brakes.

But nuclear-weapons technology is much narrower in scope than AI. The utility of nukes is purely military; and governments, not companies or individuals, build and wield them. That makes their dangers less diffuse than those that come from AI research. In that respect, the better analogy is …

Electricity. A saw is for cutting, a pen for writing, a hammer for pounding nails. These things are tools; each has a specific function. Electricity does not. It’s less a tool than a force, more a coefficient than a constant, pervading virtually all aspects of life. AI is like this too—or it could be.

[Read: What have humans just unleashed?]

Except that electricity never (really) threatened to kill us all. AI may be diffuse, but it’s also menacing. Not even the nuclear analogy quite captures the nature of the threat. Forget the Cold War–era fears of American and Soviet leaders with their fingers hovering above little red buttons. The biggest threat of superintelligent AI is not that our adversaries will use it against us. It’s the superintelligent AI itself. In that respect, the better analogy is …

Teller’s fear of atmospheric ignition. Once you detonate the bomb—once you build the superintelligent AI—there is no going back. Either the atmosphere ignites or it doesn’t. No do-overs. In the end, Teller’s worry turned out to be unfounded. Further calculations demonstrated that the atmosphere would not ignite—though two Japanese cities eventually did—and the Manhattan Project moved forward.

No further calculations will rule out the possibility of AI apocalypse. The Teller analogy, like all the others, only goes so far. To some extent, this is just the nature of analogies: They are illuminating but incomplete. But it also speaks to the sweeping nature of AI. It encompasses elements of gain-of-function research, social media, and nuclear weapons. It is like all of them—and, in that way, like none of them.








«Это лучшее, что я видела за последнее время». «Тату» вернулись и уже дают концерты. Почему за ними следит вся страна?

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

Баскова, Киркорова и Лазарева погнали с экранов: попались на непотребщине

Раздвигая горы - к единству и созиданию! Манифест лезгинского народа (письменное обращение, воззвание программного характера)


Félix Auger-Aliassime

Why Juventus spent 111m this summer for only one new player

Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."

Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur


Компания MONT расширила ИБ-портфель отечественной системой exploitDog

Отдых в отеле, джип и частный дом: какие взятки мог получить экс-губернатор Тамбовской области

Снижены цены на самый дорогой кроссовер Chery в России

Свято Боголюбский Женский Монастырь


'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game

Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

Brütal Legend is free in honor of Ozzy Osbourne, but only for 666 minutes



Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

В Третьяковке на Кадашевской набережной открылся концертный зал


В студии Детского радио прошла церемония гашения почтовой марки

В МЧС предупредили москвичей о жаре +30 градусов 25 июля

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Бодрость духа, грация и пластика: памяти Владимира Высоцкого


После ареста иномарки в Подмосковье должник погасил задолженность по алиментным платежам

В Ярославской области регистрировалось три групповых очага кори

Больше 20 поездов задерживаются из-за падения обломков БПЛА на юге России (Обновлено!)

Кто прошёл в финал «Нашей новой музыки»: фото участников


Медведев сравнил матчи с Опелкой в Нидерландах и США

Винус Уильямс получила wild card на турнир категории WTA 1000 в Цинциннати

Теннисистка Калинская вышла в четвертьфинал турнира WTA 500 в Вашингтоне

Теннисист Медведев: когда я играю хорошо, могу победить любого


Обломки сбитых дронов повредили контактную сеть на станциях в двух регионах РФ

Увοлeн Γуcмaн, οпοɜοpивший Ροccию. Дaдут инοaгeнтa или пοвыcят?

Οфициaльнο: Ποcлeдний aвиaнοceц Ροccии xοтят οтпpaвить нa мeтaллοлοм

Работа над качеством: цифровой аудитор внедрен на горячей линии московских судов


Музыкальные новости

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

VK Fest 2025 побил рекорд по числу артистов и вошёл в Книгу рекордов России

«Стал таким, каким должен быть мужчина в 45»: Баста об ошибках молодости

Алгоритмы Яндекс Музыки. Алгоритмы продвижения в Яндекс Музыка.


«Каникулы с Росгвардией» проходят в регионах Центральной России

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

В Третьяковке на Кадашевской набережной открылся концертный зал


Делегация «ЛокоТех» посетила финал II чемпионата профессионалов ОАО «РЖД» в Екатеринбурге

Нижегородская область входит в число лидеров по размеру маткапитала в России

Модель Анастасия Решетова перенесла вирус с осложнениями

Акция «Каникулы с Росгвардией» продолжается в Чеченской Республике


На международном ралли «Шелковый путь – 2025» представили новое моторное масло для мотоциклистов

В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)

Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы

Поезда не будут ходить на участке Сокольнической линии метро с 26 по 28 июля


Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры

У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Сигналы становятся всё громче. Переговоры - только ширма. Главное решится не в Стамбуле


Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая

В Алтайском крае распространяется новый штамм коронавируса

Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

Новый штамм коронавируса "стратус" фиксируют в Москве с мая



Компания КИТ МЕД представляет революционный аппарат SONOQUEEN — первую в мире анатомическую HIFU-технологию для anti-age терапии в России

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек

Новый штамм коронавируса "стратус" фиксируют в Москве с мая


Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире


«Каникулы с Росгвардией» проходят в регионах Центральной России

"Атлетико" заключил соглашение с игроком национальной команды Словакии

Пять земельных участков для размещения НКО доступны на городских торгах

Игровые терминалы в ТЦ: союз ради будущего


Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне

Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко посоветовал не злить его и не допускать падежа в животноводстве


Сергей Собянин поздравил москвича — победителя международной олимпиады по физике

Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом

Сергей Собянин. Главное за день

Собянин поддержал проведение конкурса «Лучший книжный магазин Москвы»


Детеныш краснокнижной боливийской обезьяны появился на свет в Московском зоопарке

6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин

В центре внимания: CorpSoft24 вошел в рейтинг крупнейших ИТ-компаний России

Московские студенты начали исследовать влияние климатических изменений на сток рек Ямала


После ареста иномарки в Подмосковье должник погасил задолженность по алиментным платежам

Кто прошёл в финал «Нашей новой музыки»: фото участников

Увοлeн Γуcмaн, οпοɜοpивший Ροccию. Дaдут инοaгeнтa или пοвыcят?

В Самарской области за полгода открыто 410 вакансий для сисадминов, что на 22% меньше, чем годом ранее


70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский

Республика Алтай вошла в десятку регионов России по развитию ипотеки

В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.


Лавандовое поле горит в Симферопольском районе Крыма

В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму

Россияне выбирают Крым для отдыха с детьми – названы города-лидеры


После ареста иномарки в Подмосковье должник погасил задолженность по алиментным платежам

Обломки сбитых дронов повредили контактную сеть на станциях в двух регионах РФ

Группа Аквилон передала государству первые квартиры

Работа над качеством: цифровой аудитор внедрен на горячей линии московских судов














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *