Добавить новость
smi24.net
News in English
Март
2024

Employees at Top AI Labs Fear Safety Is an Afterthought, Report Says

0

Workers at some of the world’s leading AI companies harbor significant concerns about the safety of their work and the incentives driving their leadership, a report published on Monday claimed.

[time-brightcove not-tgx=”true”]

The report, commissioned by the State Department and written by employees of the company Gladstone AI, makes several recommendations for how the U.S. should respond to what it argues are significant national security risks posed by advanced AI.

Read More: Exclusive: U.S. Must Move ‘Decisively’ To Avert ‘Extinction-Level’ Threat from AI, Government-Commissioned Report Says

The report’s authors spoke with more than 200 experts for the report, including employees at OpenAI, Google DeepMind, Meta and Anthropic—leading AI labs that are all working towards “artificial general intelligence,” a hypothetical technology that could perform most tasks at or above the level of a human. The authors shared excerpts of concerns that employees from some of these labs shared with them privately, without naming the individuals or the specific company that they work for. OpenAI, Google, Meta and Anthropic did not immediately respond to requests for comment.

“We have served, through this project, as a de-facto clearing house for the concerns of frontier researchers who are not convinced that the default trajectory of their organizations would avoid catastrophic outcomes,” Jeremie Harris, the CEO of Gladstone and one of the authors of the report, tells TIME.

One individual at an unspecified AI lab shared worries with the report’s authors that the lab has what the report characterized as a “lax approach to safety” stemming from a desire to not slow down the lab’s work to build more powerful systems. Another individual expressed concern that their lab had insufficient containment measures in place to prevent an AGI from escaping their control, even though the lab believes AGI is a near-term possibility.

Still others expressed concerns about cybersecurity. “By the private judgment of many of their own technical staff, the security measures in place at many frontier AI labs are inadequate to resist a sustained IP exfiltration campaign by a sophisticated attacker,” the report states. “Given the current state of frontier lab security, it seems likely that such model exfiltration attempts are likely to succeed absent direct U.S. government support, if they have not already.”

Many of the people who shared those concerns did so while wrestling with the calculation that whistleblowing publicly would likely result in them losing their ability to influence key decisions in the future, says Harris. “The level of concern from some of the people in these labs, about the decisionmaking process and how the incentives for management translate into key decisions, is difficult to overstate,” he tells TIME. “The people who are tracking the risk side of the equation most closely, and are in many cases the most knowledgeable, are often the ones with the greatest levels of concern.”

Are you an employee at an AI lab and have concerns that you might consider sharing with a journalist? You can contact the author of this piece on Signal at billyperrigo.01 

The fact that today’s AI systems have not yet led to catastrophic outcomes for humanity, the authors say, is not evidence that bigger systems will be safe in the future. “One of the big themes we’ve heard from individuals right at the frontier, on the stuff being developed under wraps right now, is that it’s a bit of a Russian roulette game to some extent,” says Edouard Harris, Gladstone’s chief technology officer who also co-authored the report. “Look, we pulled the trigger, and hey, we’re fine, so let’s pull the trigger again.”

Read More: How We Can Have AI Progress Without Sacrificing Safety or Democracy

Many of the world’s governments have woken up to the risk posed by advanced AI systems over the last 12 months. In November, the U.K. hosted an AI Safety Summit where world leaders committed to work together to set international norms for the technology, and in October President Biden issued an executive order setting safety standards for AI labs based in the U.S. Congress, however, is yet to pass an AI law, meaning there are few legal restrictions on what AI labs can and can’t do when it comes to training advanced models.

Biden’s executive order calls on the National Institute of Standards and Technology to set “rigorous standards” for tests that AI systems should have to pass before public release. But the Gladstone report recommends that government regulators should not rely heavily on these kinds of AI evaluations, which are today a common practice for testing whether an AI system has dangerous capabilities or behaviors. Evaluations, the report says, “can be undermined and manipulated easily,” because AI models can be superficially tweaked, or “fine tuned,” by their creators to pass evaluations if the questions are known in advance. Crucially it is easier for these tweaks to simply teach a model to hide dangerous behaviors better, than to remove those behaviors altogether.

The report cites a person described as an expert with “direct knowledge” of one AI lab’s practices, who judged that the unnamed lab is gaming evaluations in this way. “AI evaluations can only reveal the presence, but not confirm the absence, of dangerous capabilities,” the report argues. “Over-reliance on AI evaluations could propagate a false sense of security among AI developers [and] regulators.”








В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

Ночные перекусы в отпуске: доктор Садыков о том, как они влияют на микрофлору и вес

Модель Анастасия Решетова перенесла вирус с осложнениями

Сеть клиник «Будь Здоров» открыла первый травмпункт сети на базе клиники на Сретенке


Chat log from R20 of 2025: Richmond vs Collingwood

UFC Abu Dhabi live blog: Shara Bullet vs. Marc-Andre Barriault

Kolo Muani: Juventus prepare new offer but face Man United and Chelsea threat

The Great Indian Kapil Show: Raghav Chadha reveals telling Parineeti Chopra to manifest he will never become the PM; says ‘Yeh jo bolti hai wo ulta hota hai’


Нагорный Карабах - сторона конфликта в переговорном процессе в рамках Минской группы ОБСЕ. ВИДЕО

В Орловской области в реке утонула женщина

Вечером в Орле сгорели два автомобиля

Летний внчер в Кимже...


Brütal Legend is free in honor of Ozzy Osbourne, but only for 666 minutes

«Если бы у Наруто и AC Shadows был ребёнок»: Разбор англоязычной версии Where Winds Meet

Ninja Party можно предзаказать в мобильных маркетах с релизом в конце июля

Первый трейлер Battlefield 6



Один год в двадцатилетней истории Marins Москва Пражская

Питчинг Релиза. Отправить релиз на Питчинг.

Дорога любви: Жасмин представляет романтичный клип на песню «Ты и я»

Optima Development: Новый сквер и фитнес-клуб


Елена Игоревна Вселенная — писатель, публицист, автор масштабного многотомного проекта «Наследие России»

Пловец из Москвы погиб во время заплыва на Волге

Ядерный шантаж

В Санкт-Петербурге обсудили внедрение ИИ в разработку и оптимальные корпоративные архитектуры


Сергей Семак оценил игру Мирлинда Даку в матче с «Зенитом»

Телеведущая Виктория Лопырева опубликовала фото с матерью

Книга «365 уличных посланий. Нижний Новгород» выходит в свет

Пробки в Подмосковье оценили в 4 балла утром 28 июля


Калинская достигла финала турнира в Вашингтоне

Калинская повысила свои позиции на 17 мест в рейтинге WTA

Весной его дисквалифицировали за мат, а теперь он герой Универсиады. Кто такой Владимир Сидоренко?

Калинская поднялась на 17 позиций в обновленном рейтинге WTA


Сергей Собянин назвал инновационные разработки, которые внедрили в Москве

Пробки в Подмосковье оценили в 4 балла утром 28 июля

Психотерапевт Генварская: изоляция может вызвать ментальные расстройства

Экс-футболист «Зенита» отказался от перехода в «Спартак», пишут СМИ


Музыкальные новости

Владимир Высоцкий в виде цифрового аватара «выступит» в Москве

Он не любил, когда наполовину: каким был Владимир Высоцкий

Цискаридзе-Николаев откроет сезон МХТ. Какие еще премьеры обещают театры?

Социальная интеграция детей и подростков с особенностями ментального развития средствами фиджитал гимнастики


Адвокат Гаврилова раскрыла, чего добивается семья Тиммы после его смерти

Питчинг Релиза. Отправить релиз на Питчинг.

Где живут и на чем ездят самые аварийные водители России?

Семь воздушных судов 28 июля прилетают во Владивосток вне расписания


Путин поднял флаг на атомном подлодке "Князь Пожарский" в Северодвинске

Состав тамбовского ФК "Спартак" пополнился двумя новыми игроками

"Локомотив" победил действующего чемпиона РПЛ

ИИ в Подмосковье резко снизил количество жалоб на незаконную торговлю


Курс на мечту: «Национальная Лотерея» и РОЛЬФ вручили новый автомобиль победителю розыгрыша в честь запуска «Автомобильной лотереи «РОЛЬФ»

В Кот-д'Ивуаре в результате аварии с участием автобуса и самосвала погибли 16 человек.

НПС построит два велопешеходных моста через Москву-реку

На МКАД авария затруднила движение авто


Путин поздравил Жапарова с юбилеем подписания декларации о союзничестве.

СМИ: Путин на этой неделе отправил США ominous сигнал.

«Подводная лодка, демонтрированная Путину, произвела шок на Западе»

Путин в День ВМФ прибыл на территорию Главного Адмиралтейства в Санкт-Петербурге


Приговор экс-руководителю компании по производству вакцин против ковида был смягчен.



Интерьеры медицинских учреждений заимствуют офисные тренды

Ночные перекусы в отпуске: доктор Садыков о том, как они влияют на микрофлору и вес

Сеть клиник «Будь Здоров» открыла первый травмпункт сети на базе клиники на Сретенке

Optima Development: Новый сквер и фитнес-клуб


Кто заставил Зеленского предложить России новый раунд переговоров: В Британии показали пальцем

Зеленский настаивает: встреча с Путиным до конца августа с участием Европы

Запад ударил Зеленского по самому больному месту – кошельку: Киев показательно лишили 1,5 миллиардов помощи

Киевский режим применил все 18 пакетов санкций ЕС


Optima Development: Новый сквер и фитнес-клуб

"Спартак" сделал предложение экс-игроку "Зенита" Артуру, но тот отказался

Росгвардия обеспечила безопасность празднования Дня ВМФ и футбольного матча в Москве

Команда столичного управления МЧС России готовится к участию во Всероссийских соревнованиях по пожарно-спасательному спорту


«Беларусь-1»: Лукашенко дал интервью одному из американских СМИ

Лукашенко дал интервью одному из американских СМИ

Лукашенко получил приглашения от стран Латинской Америки и Азии для визитов.


Собянин: На территории промзоны «Кирпичные улицы» будет создана социнфраструктура

Собянин поздравил работников центров госуслуг с профессиональным праздником

Сергей Собянин назвал инновационные разработки, которые внедрили в Москве

Сергей Собянин. Главное за день


В Феодосии ликвидировали пожар на площади

Самолёт совершил первый прямой авиарейс из Москвы в Пхеньян

Почему технологии ПВВК безопасны и эффективны, химия и экология воды по мнению Алексея Горшкова

Александр Михайлов (GSOC): «Безопасность IT-экосистемы — это зона нулевого доверия к подрядчикам»


Книга «365 уличных посланий. Нижний Новгород» выходит в свет

Пробки в Подмосковье оценили в 4 балла утром 28 июля

Сергей Семак оценил игру Мирлинда Даку в матче с «Зенитом»

Павильон "Экономика Москвы" начнет работу в "Музеоне" 1 августа


В Архангельске представили киноальманах «Север, я люблю тебя!» по произведениям современных писателей

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Александр Цыбульский: "С Архангельской области началась история российского флота"

70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский


К парню с костылем подошли трое с требованием уступить. Он был готов, но заступилась бабушка по соседству

Прогноз погоды в Крыму на 27 июля

В Севастополе пройдет масштабная выставка картин Александра Дейнеки

Сколько пассажиров прибывают в Крым летом на поездах ежедневно


Курс на мечту: «Национальная Лотерея» и РОЛЬФ вручили новый автомобиль победителю розыгрыша в честь запуска «Автомобильной лотереи «РОЛЬФ»

В Кузбассе проходят торжества в честь празднования Крещения Руси

В самарском Сквере Эльдара Рязанова состоится шахматный турнир

Павильон "Экономика Москвы" начнет работу в "Музеоне" 1 августа














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *