Добавить новость
smi24.net
News in English
Октябрь
2023

AI researchers expose critical vulnerabilities within major LLMs

0
Lancaster UK (SPX) Oct 16, 2023 - Large Language Models (LLMs) such as ChatGPT and Bard have taken the world by storm this year, with companies investing millions to develop these AI tools, and some leading AI chatbots being valued in the billions.

These LLMs, which are increasingly used within AI chatbots, scrape the entire Internet of information to learn and to inform answers that they provide to user-specified requests, known as 'prompts'.

However, computer scientists from the AI security start-up Mindgard and Lancaster University in the UK have demonstrated that chunks of these LLMs can be copied in less than a week for as little as $50, and the information gained can be used to launch targeted attacks.

The researchers warn that attackers exploiting these vulnerabilities could reveal private confidential information, bypass guardrails, provide incorrect answers, or stage further targeted attacks.

Detailed in a new paper to be presented at CAMLIS 2023 (Conference on Applied Machine Learning for Information Security) the researchers show that it is possible to copy important aspects of existing LLMs cheaply, and they demonstrate evidence of vulnerabilities being transferred between different models.

This attack, termed 'model leeching', works by talking to LLMs in such a way - asking it a set of targeted prompts - so that the LLMs elicit insightful information giving away how the model works.

The research team, which focused their study on ChatGPT-3.5-Turbo, then used this knowledge to create their own copy model, which was 100 times smaller but replicated key aspects of the LLM.

The researchers were then able to use this model copy as a testing ground to work out how to exploit vulnerabilities in ChatGPT without detection. They were then able to use the knowledge gleaned from their model to attack vulnerabilities in ChatGPT with an 11% increased success rate.

Dr Peter Garraghan of Lancaster University, CEO of Mindgard, and Principal Investigator on the research, said: "What we discovered is scientifically fascinating, but extremely worrying. This is among the very first works to empirically demonstrate that security vulnerabilities can be successfully transferred between closed source and open source Machine Learning models, which is extremely concerning given how much industry relies on publicly available Machine Learning models hosted in places such as HuggingFace."

The researchers say their work highlights that although these powerful digital AI technologies have clear uses, there exist hidden weaknesses, and there may even be common vulnerabilities across models.

Businesses across industry are currently or preparing to invest billions in creating their own LLMs to undertake a wide range of tasks such as smart assistants. Financial services and large enterprises are adopting these technologies but researchers say that these vulnerabilities should be a major concern for all businesses that are planning to build or use third party LLMs.

Dr Garraghan said: "While LLM technology is potentially transformative, businesses and scientists alike will have to think very carefully on understanding and measuring the cyber risks associated with adopting and deploying LLMs."








В студии Детского радио прошла церемония гашения почтовой марки

VZLET.MEDIA: 25 лет успешного SEO-продвижения в эпоху искусственного интеллекта

Делегация «ЛокоТех» посетила финал II чемпионата профессионалов ОАО «РЖД» в Екатеринбурге

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива


Félix Auger-Aliassime

Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."

La UFC anuncia un mes de octubre mayúsculo

Why Juventus spent 111m this summer for only one new player


Предрассветная Нёнокса...

Россияне стали чаще покупать автозапчасти на маркетплейсах

Axenix и RightStep стали партнерами в области комплексной цифровизации промышленных предприятий

Снижены цены на самый дорогой кроссовер Chery в России


'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game

Краткая биографическая справка о центральных персонажах Mafia: The Old Country

Настройки GameHub и Winlator для игры в Prey (2017) на Android



Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Кажетта Ахметжанова: 5 камней для усиления женской энергии

«Каникулы с Росгвардией» проходят в регионах Центральной России


ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году

Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

Вучич выразил соболезнования из-за крушения Ан-24 в Амурской области


Россия тратит миллиарды на армию, но не может создать современное оружие

Еще двух полицейских арестовали по делу о журналистах Telegram-канала Baza

ТАСС: главред Baza Трифонов отказался от права не свидетельствовать против себя

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве


Медведев сравнил матчи с Опелкой в Нидерландах и США

Сидоренко из России одержал победу и стал чемпионом по настольному теннису на Универсиаде.

Потапова не прошла во второй раунд турнира в Вашингтоне.

Винус Уильямс: Если Серена вернется, она даст вам знать


Мужская позиция. SEO спец с ДЦП ищет работу, чтобы обеспечить семью

Shot: Неизвестный мужчина в балаклаве поджег квартиру с детьми в Москве

В столице проводят экскурсии для ветеранов СВО и членов их семей

Из Турции депортировали разыскиваемого за хищение 600 млн рублей гражданина РФ


Музыкальные новости

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Оззи Осборна убила коварная болезнь

Sky News: умерший Осборн с 2019 года страдал от травмы позвоночника

Расторгуев с «Конем» и новый рекорд России. Итоги VK Fest 2025


«Каникулы с Росгвардией» проходят в регионах Центральной России

Кажетта Ахметжанова: 5 камней для усиления женской энергии

В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве


«Каникулы с Росгвардией» проходят в регионах Центральной России

Мосбиржа начала расчет индекса создания стоимости в рамках инициативы с ЦБ РФ

Стратегическое партнерство России и Узбекистана укрепляет газохимическую отрасль обеих стран

Делегация «ЛокоТех» посетила финал II чемпионата профессионалов ОАО «РЖД» в Екатеринбурге


На международном ралли «Шелковый путь – 2025» представили новое моторное масло для мотоциклистов

Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы

В Москве на видео попало, как самокатчица влетела в авто с правоохранителями

Специалисты Нацпроектстроя надвигают путепровод СБВ над путями МЦД-2


Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Путин отметил успех российских школьников на олимпиаде по физике.

Отношения с Трампом не сложились: Путин зол. Ультиматум США вышел боком

Сигналы становятся всё громче. Переговоры - только ширма. Главное решится не в Стамбуле


Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Обнаружен новый штамм коронавируса: он очень заразный и забирает голос

Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

В Алтайском крае распространяется новый штамм коронавируса



Косметолог-эстетист Наталья Рябинова: как правильно использовать масло для губ

В московской больнице оказался князь. Его фамилия известна каждому школьнику

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

В Алтайском крае распространяется новый штамм коронавируса


Axios: закон о НАБУ может спровоцировать Трампа на новую волну критики Киева

«Затрудняет путь в ЕС»: Урсула ждёт от Киева разъяснений по поводу ограничения полномочий НАБУ

Мединский дал неожиданный ответ на предложение Киева о встрече Путина и Зеленского 

Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире


"Монсон о спортсменах, которые меняют гражданство в сложный период для России"

«Каникулы с Росгвардией» проходят в регионах Центральной России

«Спартак» - «Балтика»: прогноз + статистика встреч

Назначены судейские бригады на матчи 2-ого тура МИР РПЛ


Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне

Лукашенко посоветовал не злить его и не допускать падежа в животноводстве

Лукашенко поделился мнением о самой идеальной профессии.


Сергей Собянин осмотрел Дом-музей Федора Конюхова

Сергей Собянин. Главное за день

Собянин поддержал проведение конкурса «Лучший книжный магазин Москвы»

Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова


Детеныш краснокнижной боливийской обезьяны появился на свет в Московском зоопарке

В центре внимания: CorpSoft24 вошел в рейтинг крупнейших ИТ-компаний России

6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин

Исследование выявило снижение инвестиций в экологически чистую энергетику США.


ТАСС: главред Baza Трифонов отказался от права не свидетельствовать против себя

Shot: Неизвестный мужчина в балаклаве поджег квартиру с детьми в Москве

Мужская позиция. SEO спец с ДЦП ищет работу, чтобы обеспечить семью

У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем


70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Республика Алтай вошла в десятку регионов России по развитию ипотеки

В Нарьян-Маре из-за холодов возобновили подачу отопления в дома


В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму

Поезда "Таврия" по-прежнему задерживаются из-за ЧП в Ростовской области

Лавандовое поле горит в Симферопольском районе Крыма


Shot: Неизвестный мужчина в балаклаве поджег квартиру с детьми в Москве

Обыски, задержания полицейских и взятки: главное о деле главреда Baza Трифонова

ТАСС: главред Baza Трифонов отказался от права не свидетельствовать против себя

В Смоленской области пройдёт IT-фестиваль «Мой Бизнес. Табтабус 2025»














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *