Добавить новость
smi24.net
News in English
Март
2024

Employees at Top AI Labs Fear Safety Is an Afterthought, Report Says

0

Workers at some of the world’s leading AI companies harbor significant concerns about the safety of their work and the incentives driving their leadership, a report published on Monday claimed.

[time-brightcove not-tgx=”true”]

The report, commissioned by the State Department and written by employees of the company Gladstone AI, makes several recommendations for how the U.S. should respond to what it argues are significant national security risks posed by advanced AI.

Read More: Exclusive: U.S. Must Move ‘Decisively’ To Avert ‘Extinction-Level’ Threat from AI, Government-Commissioned Report Says

The report’s authors spoke with more than 200 experts for the report, including employees at OpenAI, Google DeepMind, Meta and Anthropic—leading AI labs that are all working towards “artificial general intelligence,” a hypothetical technology that could perform most tasks at or above the level of a human. The authors shared excerpts of concerns that employees from some of these labs shared with them privately, without naming the individuals or the specific company that they work for. OpenAI, Google, Meta and Anthropic did not immediately respond to requests for comment.

“We have served, through this project, as a de-facto clearing house for the concerns of frontier researchers who are not convinced that the default trajectory of their organizations would avoid catastrophic outcomes,” Jeremie Harris, the CEO of Gladstone and one of the authors of the report, tells TIME.

One individual at an unspecified AI lab shared worries with the report’s authors that the lab has what the report characterized as a “lax approach to safety” stemming from a desire to not slow down the lab’s work to build more powerful systems. Another individual expressed concern that their lab had insufficient containment measures in place to prevent an AGI from escaping their control, even though the lab believes AGI is a near-term possibility.

Still others expressed concerns about cybersecurity. “By the private judgment of many of their own technical staff, the security measures in place at many frontier AI labs are inadequate to resist a sustained IP exfiltration campaign by a sophisticated attacker,” the report states. “Given the current state of frontier lab security, it seems likely that such model exfiltration attempts are likely to succeed absent direct U.S. government support, if they have not already.”

Many of the people who shared those concerns did so while wrestling with the calculation that whistleblowing publicly would likely result in them losing their ability to influence key decisions in the future, says Harris. “The level of concern from some of the people in these labs, about the decisionmaking process and how the incentives for management translate into key decisions, is difficult to overstate,” he tells TIME. “The people who are tracking the risk side of the equation most closely, and are in many cases the most knowledgeable, are often the ones with the greatest levels of concern.”

Are you an employee at an AI lab and have concerns that you might consider sharing with a journalist? You can contact the author of this piece on Signal at billyperrigo.01 

The fact that today’s AI systems have not yet led to catastrophic outcomes for humanity, the authors say, is not evidence that bigger systems will be safe in the future. “One of the big themes we’ve heard from individuals right at the frontier, on the stuff being developed under wraps right now, is that it’s a bit of a Russian roulette game to some extent,” says Edouard Harris, Gladstone’s chief technology officer who also co-authored the report. “Look, we pulled the trigger, and hey, we’re fine, so let’s pull the trigger again.”

Read More: How We Can Have AI Progress Without Sacrificing Safety or Democracy

Many of the world’s governments have woken up to the risk posed by advanced AI systems over the last 12 months. In November, the U.K. hosted an AI Safety Summit where world leaders committed to work together to set international norms for the technology, and in October President Biden issued an executive order setting safety standards for AI labs based in the U.S. Congress, however, is yet to pass an AI law, meaning there are few legal restrictions on what AI labs can and can’t do when it comes to training advanced models.

Biden’s executive order calls on the National Institute of Standards and Technology to set “rigorous standards” for tests that AI systems should have to pass before public release. But the Gladstone report recommends that government regulators should not rely heavily on these kinds of AI evaluations, which are today a common practice for testing whether an AI system has dangerous capabilities or behaviors. Evaluations, the report says, “can be undermined and manipulated easily,” because AI models can be superficially tweaked, or “fine tuned,” by their creators to pass evaluations if the questions are known in advance. Crucially it is easier for these tweaks to simply teach a model to hide dangerous behaviors better, than to remove those behaviors altogether.

The report cites a person described as an expert with “direct knowledge” of one AI lab’s practices, who judged that the unnamed lab is gaming evaluations in this way. “AI evaluations can only reveal the presence, but not confirm the absence, of dangerous capabilities,” the report argues. “Over-reliance on AI evaluations could propagate a false sense of security among AI developers [and] regulators.”








Мичков внесен в Книгу знаменитых людей Кунгура, сообщил директор кунгурского музея: «Никаких его трофеев в музее пока нет, к сожалению»

Арбуз, кукуруза и холодные напитки: диетолог Садыков назвал продукты, которые портят ваш сон летом

В Третьяковке на Кадашевской набережной открылся концертный зал

Екатеринбург масштабно отметит свой день рождения


La UFC anuncia un mes de octubre mayúsculo

Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur

Brit Who Fought Usyk Calls For Daniel Dubois To ‘Leave The Sport’ After Staying Down In Rematch

Why Juventus spent 111m this summer for only one new player


Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

Специалисты Нацпроектстроя надвигают путепровод СБВ над путями МЦД-2

Снижены цены на самый дорогой кроссовер Chery в России

Предгрозовое...


The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'

Краткая биографическая справка о центральных персонажах Mafia: The Old Country

Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'



«Каникулы с Росгвардией» проходят в регионах Центральной России

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

В Третьяковке на Кадашевской набережной открылся концертный зал

В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии


Первая победа «Динамо» в сезоне? «Динамо» — «Ростов»: прогноз и ставка

Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

Михаил Ефремов разъехался с женой на фоне новостей о разводе

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей


Как мы в Fix Price автоматизировали создание рекламных видео

Еще одно здание ГБУ «Жилищник» появится во Внукове

Патрушев: Британия пыталась провокацией на Балтике сорвать переговоры РФ и США

Ученый Толстых объяснил, что московские ливни вызваны мощным атлантическим циклоном


Теннисистка Саккари спасла жука во время матча на турнире в США

Россиянин Сидоренко выиграл золото Универсиады в настольном теннисе

Медведев пробился в четвертьфинал турнира в Вашингтоне

Алькарас рассказал, считает ли Синнера своим другом после поражения в финале Уимблдона


В МЧС предупредили москвичей о жаре +30 градусов 25 июля

Патрушев: Британия пыталась провокацией на Балтике сорвать переговоры РФ и США

В Лианозове проходит фотовыставка «Алюминий – метрополитену»

Как мы в Fix Price автоматизировали создание рекламных видео


Музыкальные новости

«Много врагов»: Юрий Антонов объяснил ситуацию с блокировкой счетов

Питчинг Релиза. Отправить релиз на Питчинг.

Оззи Осборна убила коварная болезнь

Владимир Высоцкий в виде цифрового аватара «выступит» в Москве


Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

В Третьяковке на Кадашевской набережной открылся концертный зал

«Каникулы с Росгвардией» проходят в регионах Центральной России


Парк Юрия Лужкова 19 июля стал территорией мастеров экстремального спорта на фестивале The BOWL

Аудиосказки про Турбозавров теперь на Яндекс Музыке!

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

Михаил Ефремов разъехался с женой на фоне новостей о разводе


В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)

Поезда не будут ходить на участке Сокольнической линии метро с 26 по 28 июля

Несколько автомобилей столкнулись на внешней стороне 92-го км МКАД

На МКАД в Москве произошло массовое ДТП, движение затруднено


У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем

"Ультиматум Трампа: потенциальные последствия для Путина"

Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры

Сигналы становятся всё громче. Переговоры - только ширма. Главное решится не в Стамбуле


Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая

Депздрав: новый штамм коронавируса «стратус» фиксируют в Москве с мая



Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек

Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Компания КИТ МЕД представляет революционный аппарат SONOQUEEN — первую в мире анатомическую HIFU-технологию для anti-age терапии в России


Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире


«Каникулы с Росгвардией» проходят в регионах Центральной России

Игровые терминалы в ТЦ: союз ради будущего

Пять земельных участков для размещения НКО доступны на городских торгах

"Монсон о спортсменах, которые меняют гражданство в сложный период для России"


Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко посоветовал не злить его и не допускать падежа в животноводстве

Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне


Сергей Собянин. Главное за день

Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова

Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом

Собянин поддержал проведение конкурса «Лучший книжный магазин Москвы»


Детеныш краснокнижной боливийской обезьяны появился на свет в Московском зоопарке

Исследование выявило снижение инвестиций в экологически чистую энергетику США.

Московские студенты начали исследовать влияние климатических изменений на сток рек Ямала

6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин


Время в деталях. Как антиквары Барнаула сохраняют историю

В МЧС предупредили москвичей о жаре +30 градусов 25 июля

Движeниe нa Зaпοpοжьe: pοccийcκиe вοйcκa ɜaшли в Ϲтeпнοгοpcκ

Ветеринары напомнили жителям Подмосковья о необходимости вакцинации питомцев


70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский

В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Настольный термотрансферный принтер штрих-кодов iDPRT iE4P


"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму

Лавандовое поле горит в Симферопольском районе Крыма

Россияне выбирают Крым для отдыха с детьми – названы города-лидеры

Прогноз погоды в Крыму на 25 июля


Пир на Волге и новый штамм ковида: главные новости Ярославля за 24 июля

Синоптик Тишковец: череда тропических ливней в Москве завершена

ТАСС: суд арестовал счета основателя «Русагро» Мошковича почти на 3 млрд рублей

После ареста иномарки в Подмосковье должник погасил задолженность по алиментным платежам














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *