Добавить новость
smi24.net
News in English
Октябрь
2023

AI researchers expose critical vulnerabilities within major LLMs

0
Lancaster UK (SPX) Oct 16, 2023 - Large Language Models (LLMs) such as ChatGPT and Bard have taken the world by storm this year, with companies investing millions to develop these AI tools, and some leading AI chatbots being valued in the billions.

These LLMs, which are increasingly used within AI chatbots, scrape the entire Internet of information to learn and to inform answers that they provide to user-specified requests, known as 'prompts'.

However, computer scientists from the AI security start-up Mindgard and Lancaster University in the UK have demonstrated that chunks of these LLMs can be copied in less than a week for as little as $50, and the information gained can be used to launch targeted attacks.

The researchers warn that attackers exploiting these vulnerabilities could reveal private confidential information, bypass guardrails, provide incorrect answers, or stage further targeted attacks.

Detailed in a new paper to be presented at CAMLIS 2023 (Conference on Applied Machine Learning for Information Security) the researchers show that it is possible to copy important aspects of existing LLMs cheaply, and they demonstrate evidence of vulnerabilities being transferred between different models.

This attack, termed 'model leeching', works by talking to LLMs in such a way - asking it a set of targeted prompts - so that the LLMs elicit insightful information giving away how the model works.

The research team, which focused their study on ChatGPT-3.5-Turbo, then used this knowledge to create their own copy model, which was 100 times smaller but replicated key aspects of the LLM.

The researchers were then able to use this model copy as a testing ground to work out how to exploit vulnerabilities in ChatGPT without detection. They were then able to use the knowledge gleaned from their model to attack vulnerabilities in ChatGPT with an 11% increased success rate.

Dr Peter Garraghan of Lancaster University, CEO of Mindgard, and Principal Investigator on the research, said: "What we discovered is scientifically fascinating, but extremely worrying. This is among the very first works to empirically demonstrate that security vulnerabilities can be successfully transferred between closed source and open source Machine Learning models, which is extremely concerning given how much industry relies on publicly available Machine Learning models hosted in places such as HuggingFace."

The researchers say their work highlights that although these powerful digital AI technologies have clear uses, there exist hidden weaknesses, and there may even be common vulnerabilities across models.

Businesses across industry are currently or preparing to invest billions in creating their own LLMs to undertake a wide range of tasks such as smart assistants. Financial services and large enterprises are adopting these technologies but researchers say that these vulnerabilities should be a major concern for all businesses that are planning to build or use third party LLMs.

Dr Garraghan said: "While LLM technology is potentially transformative, businesses and scientists alike will have to think very carefully on understanding and measuring the cyber risks associated with adopting and deploying LLMs."








Ротация на Интернет Радио. Ротация песни на Интернет радио.

Сеть клиник «Будь Здоров» открыла первый травмпункт сети на базе клиники на Сретенке

От «Лебединого озера» до «Дон Кихота»: Relax FM приглашает на балет

Сеть клиник «Будь Здоров» открыла первый травмпункт сети на базе клиники на Сретенке


Chat log from R20 of 2025: Richmond vs Collingwood

Dear Abby: Our son was clean and fit until Emily came along

Kolo Muani: Juventus prepare new offer but face Man United and Chelsea threat

Today in History: July 28, US Army airplane crashes into Empire State Building


В Балаково зазвучало веселое радио

Деревенские прогулки...

Под Орлом автомобиль врезался в земляной вал: водитель в больнице

Эксперт по антиквариату и сервировке Регина ван Влит: как отличить антиквариат от ненужного старья


Today's Wordle answer for Monday, July 28

Bloody fighting game Invincible VS gets its most brutal character yet in Comic-Con trailer

Quarantine Zone creator reveals 3 reasons the zombie sim went viral on TikTok

Five Nights at Freddy's 2 movie gets its first full trailer for Comic-Con, promising even more animatronic terror



Культовый BAW 212 уже в России

Александр Михайлов (GSOC): «Безопасность IT-экосистемы — это зона нулевого доверия к подрядчикам»

От «Лебединого озера» до «Дон Кихота»: Relax FM приглашает на балет

Клиника гнатологии – лечение ВНЧС и восстановление прикуса


Александр Михайлов (GSOC): «Безопасность IT-экосистемы — это зона нулевого доверия к подрядчикам»

СК сообщил о возбуждении уголовного дела из-за обвала скалы в Кисловодске

Лео Канделаки и Анжелика Стубайло сыграют в новую трэвел-игру «Кто куда» на ТНТ

От «Лебединого озера» до «Дон Кихота»: Relax FM приглашает на балет


Путин: модернизация Военно-морского флота усилит защиту интересов России

Детёныш редкого кенгуру валлаби появился на свет в Московском зоопарке

Двое туристов из Тольятти пострадали в Кисловодске из-за обвала грунта

"Ъ": Москва облегчила жизнь молдаванам в России


Калинская повысила свои позиции на 17 мест в рейтинге WTA

Рублев покинул топ-10 мирового рейтинга ATP

Александр Бублик посвятил супруге победу на турнире ATP-250 в Кицбюэле

«Краснодар» — «Локо», UFC и матч Калинской: что посмотреть сегодня


"Аэрофлот" сообщил о возобновлении нормальной работы по расписанию

Августовский урожай. Сезонные ягоды и фрукты, которые стоит купить сейчас

Путин указал на важность ипотеки для граждан без дополнительных плат по договору

Детёныш редкого кенгуру валлаби появился на свет в Московском зоопарке


Музыкальные новости

Релиз трека. Релиз новой песни. Релиз сингла. Релиз Музыкального альбома.

Ротация на Интернет Радио. Ротация песни на Интернет радио.

Дорога любви: Жасмин представляет романтичный клип на песню «Ты и я»

Шнуров защитил русский мат от депутатов


Клиника гнатологии – лечение ВНЧС и восстановление прикуса

Культовый BAW 212 уже в России

От «Лебединого озера» до «Дон Кихота»: Relax FM приглашает на балет

Чемпионат по военно-спортивному многоборью среди росгвардейцев завершился в Грозном


«Спартак» разгромно проиграл «Балтике» после двух удалений

Лео Канделаки и Анжелика Стубайло сыграют в новую трэвел-игру «Кто куда» на ТНТ

В День парашютиста героем рубрики «Знай наших» стал сотрудник СОБР «Булат» Главного управления Росгвардии по Московской области Александр Г.

Сергей Собянин назвал инновационные разработки, которые внедрили в Москве


Сотрудники ОМОН Росгвардии помогли пострадавшему в ДТП на МКАД

Культовый BAW 212 уже в России

В Москве 2 будет ограничено движение автомобилей

Сотрудники ОМОН Росгвардии помогли пострадавшему в ДТП на МКАД


Володин сообщил о интеграции парламента в стратегию развития России под руководством Путина.

Путин: рост Сбербанка обеспечивает стабильность банковской системы.

Греф представил Путину отчет о деятельности Сбербанка.

Путин поделился достижениями России в области технологий искусственного интеллекта.


Новый штамм COVID-19 переносится как легкая форма ОРВИ


Депутата ЗакСа Ленобласти Ивана Апостолевского задержали за пост с Навальным*


Медицинские справки для школьников в центре ВИТА

Клиника гнатологии – лечение ВНЧС и восстановление прикуса

Врач-косметолог Мадина Осман: что такое липофилинг и кому он может быть показан

Медицинские справки для школьников в центре ВИТА


Кто заставил Зеленского предложить России новый раунд переговоров: В Британии показали пальцем

Чтобы убрать Зеленского, США достаточно показать ему одну папку: вот почему Киев упал в ноги Трампу


Чемпионат по военно-спортивному многоборью среди росгвардейцев завершился в Грозном

Чемпионат по военно-спортивному многоборью среди росгвардейцев завершился в Грозном

Сотрудница подразделения столичного главка Росгвардии завоевала «золото» на чемпионате войск по легкоатлетическому кроссу

«Краснодар» и московское «Динамо» проведут сегодня первые матчи в Кубке России


Лукашенко сообщил о телефонном разговоре с Путиным

В Минске готовы активизировать сотрудничество с Эфиопией

Лукашенко взял на контроль ситуацию с уничтожением БПЛА над Минском


Станция "Достоевская" Кольцевой линии метро готова на четверть - Собянин

Мэр Москвы рассказал о развитии бывшей промзоны «Кирпичные улицы»

Собянин рассказал, как строят станцию «Достоевская» Кольцевой линии метро

Собянин рассказал о тестировании уникальной ИИ-системы для диагностики инсульта


Число пострадавших от непогоды автомобилей растет

В Бузулукском бору в эти дни работает смена проекта «Заповедное дело РГО»

Александр Михайлов (GSOC): «Безопасность IT-экосистемы — это зона нулевого доверия к подрядчикам»

В Ростокине расскажут о млекопитающих Москвы


"Главпродукт" окончательно перешёл государству

Детёныш редкого кенгуру валлаби появился на свет в Московском зоопарке

"Ъ": Москва облегчила жизнь молдаванам в России

Двое туристов из Тольятти пострадали в Кисловодске из-за обвала грунта


Не чайные клиперы

В Архангельске с 29 июля перекрывается движение по участку набережной Северной Двины

Туманное утро в Турчасово...

В Архангельске представили киноальманах «Север, я люблю тебя!» по произведениям современных писателей


В Крыму из-за дыма от пожара столкнулись девять автомобилей

Сколько пассажиров прибывают в Крым летом на поездах ежедневно

Прогноз погоды в Крыму на 27 июля

В Севастополе пройдет масштабная выставка картин Александра Дейнеки


Детёныш редкого кенгуру валлаби появился на свет в Московском зоопарке

"Аэрофлот" сообщил о возобновлении нормальной работы по расписанию

Мобильный интернет, закрытый «Смарт» и нацпроекты. Что обсуждали на штабе по комплексному развитию региона

"Ъ": Москва облегчила жизнь молдаванам в России














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *