Anthropic odmítl ultimátum Pentagonu. Nechce dělat na autonomních AI zbraních
V technologickém závodu kolem umělé inteligence jí patří jedna z předních pozic. Její AI model byl vůbec první, který získal přístup k přísně tajným informacím amerického ministerstva obrany. Teď však Pentagon plánuje společnost Anthropic – tvůrce velkého jazykového modelu Claude – odstřihnout od lukrativní státní zakázky za 200 milionů dolarů.
Pentagon požaduje, aby firma odstranila některé své bezpečnostní mantinely a umožnila americké armádě využívat Clauda prakticky neomezeně. Jestli to do pátečního večera neudělá, zařadí ji na takzvaný seznam rizik pro dodavatelský řetězec.
Anthropic by to odstřihlo od všech vládních zakázek v USA. Také by to přinutilo partnery firmy s „vládním“ angažmá, jako je třeba Palantir, přerušit s ní veškerou spolupráci.
CEO Anthropicu Dario Amodei nátlak Pentagonu odmítl. Na firemní stránky ve čtvrtek napsal, že firma raději spolupráci s ministerstvem obrany přeruší, než aby souhlasila s užitím své technologie pro „podkopávání místo hájení demokratických hodnot“.
Amodei píše o dvou potenciálních užitích technologií Anthropicu, se kterými má zásadní problém: masovém sledování občanů USA a plně autonomních zbraních na bázi umělé inteligence. „Pokud je nám známo, tyto dvě výjimky dosud nebyly překážkou pro využívání našich modelů ozbrojenými silami,“ uvedl CEO.
Podle Amodeie totiž současné AI modely nejsou natolik spolehlivé, abychom jim mohli svěřit samostatné rozhodování v situacích, při nichž mohou umírat lidé. „Nebude vědomě poskytovat produkt, který by ohrozil americké vojáky a civilisty,“ napsal.
S americký ministrem obrany Petem Hegsethem se osobně potkal před dvěma dny. Zde mu Hegseth poprvé pohrozil zařazením Anthropicu na zmíněný blacklist, který tvoří zejména zahraniční firmy s vazbami na geopolitické soupeře USA, jako je Čína, Írán nebo Rusko.
Mluvčí Anthropicu uvedla, že firma po schůzce obdržela od ministerstva obrany aktualizované znění vládního kontraktu, ale že v textu nedošlo „prakticky k žádnému pokroku v zabránění využití Clauda k hromadnému sledování Američanů nebo v plně autonomních zbraních“.
Náměstek ministra obrany USA Emil Michael ve čtvrtek večer zaútočil na šéfa Anthropicu na síti X a obvinil ho ze lži. „Ministerstvo hromadné sledování neprovádí, jelikož je to ilegální. Mluvíme o tom, že umožníme našim vojákům využívat umělou inteligenci bez toho, abychom museli Amodeiovi zavolat,“ napsal.
Americká armáda v současnosti model od Anthropicu aktivně využívá. Claude byl vůbec prvním AI modelem nasazeným na sítě americké vlády fungující v režimu přísně tajné (classified). Donedávna i jediným, podobný přístup však tento týden získal také Grok od společnosti xAI Elona Muska.
Claude slouží armádě k analýze zpravodajských informací, modelování, simulacím, operačnímu plánování a kybernetickým operacím, uvádí CEO Anthropicu Damodei. Armáda k modelu Claude přistupuje primárně skrze platformu společnosti Palantir Technologies (AIP), která slouží jako operační rozhraní pro analýzu dat a plánování misí.
V polovině února list The Wall Street Journal spojil armádní využití Clauda s konkrétní bojovou misí – exktrakcí venezuelského diktátora Nicoláse Madura ze začátku letošního roku. Na základě článku začal Anthropic prověřovat, zda nedošlo k porušením jeho etických zásad. Což značně popudilo ministra obrany Hegsetha, který to označil za vměšování soukromé firmy do národní bezpečnosti.
Mantinely se i tak bortí
Loni v létě Anthropic společně s rivaly z AI sektoru – Open AI, Googlem a xAI – podepsal s americkou vládou zakázku za 200 milionů dolarů.
V lednovém projevu v sídle společnosti SpaceX, která má stejného šéfa a majitele jako x AI, Hegseth prohlásil, že umělá inteligence ministerstva obrany „nebude woke“ a má fungovat bez ideologických omezení, která „limitují vojenské aplikace v mezích zákona“. Většina analytiků to četla jako útok na Anthropic, jelikož David Sacks – hlavní poradce Bílého domu v otázkách umělé inteligence – společnost v minulosti opakovaně kritizoval.
Anthropic nyní spolupráci s americkou vládou s největší pravděpodobností přeruší. Ultimátum Pentagonu vyprší ve 23:00 našeho času a nic nenasvědčuje tomu, že by nějaká ze stran hodlala ustoupit.
Podle kritiků Anthropicu z řad současné americké administrativy je přístup firmy k vojenským otázkám pokrytecký. Poukazují v této souvislosti na nedávné překopání interní politiky zodpovědného škálování (Responsible Scaling Policy).
Anthropic se totiž v roce 2023 zavázal, že nikdy nezveřejní AI model, u nějž nezvládne předem zaručit, že bude fungovat v rámci adekvátních bezpečnostních mantinelů. Tento příslib už neplatí.
„Měli jsme pocit, že kdybychom AI modely přestali trénovat, tak by to nikomu vlastně nepomohlo,“ zdůvodnil nedávno tento krok šéf vědecké sekce Anthropicu Jared Kaplan. „Vzhledem k rychlému pokroku umělé inteligence jsme si opravdu nemysleli, že by pro nás mělo smysl činit jednostranné závazky… pokud konkurence s náskokem sílí,“ dodal.
The post Anthropic odmítl ultimátum Pentagonu. Nechce dělat na autonomních AI zbraních appeared first on Forbes.