Компания за $380 млрд. срещу Пентагона: Докъде може да стигне ИИ в областта на войната?

Конфликтът между Министерството на отбраната на САЩ и технологичен гигант на стойност $380 млрд. засяга същността на това докъде може да стигне изкуственият интелект в областта на войната.

Докато Пентагонът оказваше натиск върху Anthropic PBC да премахне ограниченията върху мощните си инструменти за изкуствен интелект, високопоставен служител от американската отбранителна администрация постави хипотетичен сценарий пред главния изпълнителен директор на компанията, Дарио Амодеи, известен със своята грижа за безопасността.

„Какво би станало, ако междуконтинентална балистична ракета с ядрена бойна глава се устреми към САЩ и остават едва 90 секунди до целта ѝ, а алгоритъмът с изкуствен интелект на Anthropic е единственият начин да се изстреля ракета, която да я прехване и спаси страната, но мерките за безопасност на компанията биха възпрепятствали това?“, размишлява служителят по време на декемврийски разговор по телефона.

„Обади ми се“ - така Пентагонът интерпретира отговора на Амодеи, според друг високопоставен служител, запознат с дискусията, който беше удивен от реакцията на милиардера.

Перспективата да се налага да открият както президентът Доналд Тръмп, така и неговото куфарче с ядрени кодове - и човекът начело на частна компания на стойност 380 милиарда долара, която е в авангарда на AI - представлява немислима промяна в ядрената стратегия.

Това подчертава и колко бързо се развива глобалната дискусия по въпроса къде да се поставят границите на използването на технология, която все още е в начален етап и остава склонна към грешки.

Представител на Anthropic отхвърли описанието на служителя на Пентагона за декемврийския разговор, за което Semafor писа, и го нарече „откровено невярно. Дарио не е казал това, и всяка версия на предложената от нас договорна формулировка би позволила на нашите модели да подпомагат противоракетната отбрана и подобни приложения“, заяви говорителят.

По време на този разговор Anthropic е признала, че Министерството на отбраната може да използва нейните AI инструменти за противоракетна отбрана и кибероперации, според човек, запознат с въпроса. От Пентагона не са останали удовлетворени и продължават да оказват натиск върху Anthropic за допълнително разхлабване на правилата за използване в спор, който продължава поне два месеца.

Във вторник Амодеи, който подкрепяше Камала Харис по време на президентската кампания през 2024 г., се срещна с Пийт Хегсет - известният с настъпателната си позиция ръководител на Пентагона при Тръмп, който обеща война срещу всички прояви на „woke“ културата.

Срещата е била напрегната, а министър на отбраната заплаши да приложи закон от 1950 г., приет за да принуди американската индустриална база да доставя стоки като метали и машини по време на Корейската война, освен ако компанията не предостави на Пентагона пълна свобода да разполага с AI инструментите в рамките на законните граници.

Спорът разкрива зависимостта на Пентагона от Anthropic в случай на пряк военен сблъсък с противници на САЩ, включително Китай. В същото време той засилва напрежението между Силициевата долина и Пентагона относно това кой контролира бъдещето на AI като инструмент за война и наблюдение, включително дали бързо развиващата се технология може да се използва законно.

„Конституционните защити в нашите военни структури зависят от идеята, че има хора, които биха - надяваме се - нарушили незаконни заповеди. С напълно автономни оръжия тези защити не са гарантирани,“ каза Амодеи пред подкаст на New York Times по-рано този месец, изразявайки опасения, че няма достатъчен контрол върху това как AI може да се използва в автономни дронове. „По някакъв начин трябва да бъдем защитени от AI.“

Амодеи и неговият екип изглежда нямат намерение да отстъпят и настояват, че са от правилната страна на историята. Само преди месец Амодеи предупреждаваше за опасностите от напълно автономни оръжия и рисковете AI да шпионира хората, които трябва да защитава. Хегсет настоява Anthropic да се откаже от тези принципи, за да позволи на Пентагона да използва AI за военни цели без ограниченията за безопасност на компанията.

Ако Anthropic откаже да се съобрази до петък, Хегсет предупреди Амодеи, че ще използва Закона за отбранителното производство, за да принуди компанията да предостави AI инструментите си без никакви условия, според хора, запознати с въпроса. Неспазването може да накара Пентагона да обяви компанията за рисков фактор в доставките.

Това би изисквало доставчици като Palantir Technologies Inc., които използват Anthropic в платформата за управление на битки Maven Smart System, да удостоверят, че не използват моделите на компанията.

Този ход може да нанесе опустошителен удар върху усилията на Anthropic да печели държавни поръчки. Такива строги мерки обикновено се прилагат за компании, считани за противници на САЩ, като Huawei Technologies Co. и Kaspersky, казва Алан Розенстийн, доцент по право в Университета на Минесота, специалист по AI и военни теми.

„Заплахите от Пентагона да извади Anthropic от веригата на доставки са напълно неуместни,“ каза той в интервю, добавяйки, че това е и „абсолютно идиотско“, като се има предвид, че Anthropic е една от най-големите надежди САЩ да останат водещи в сферата на AI.

Въпреки това Розенстийн признава, че Пентагонът също има право: служителите не искат да им се диктува как да се справят с потенциални битки с риск за живота, или да зависят от комерсиален софтуер, подчинен на капризите на идеалистични милиардери. В сряда Axios съобщи, че Пентагонът е поискал от Boeing Co. и Lockheed Martin Corp. оценки за зависимостта им от продуктите на Anthropic, възможна първа стъпка към обявяването на компанията за рисков фактор.

Спорът се разиграва в момент, когато военните по целия свят се стремят да интегрират изкуствен интелект. Той е в сърцето не само на въпроса как AI ще се използва във война, но и дали големите компании могат да устоят на изискванията на капризна администрация и същевременно да разширят държавния и комерсиалния си бизнес.

„Утопичен идеализъм“

Последните проблеми на Anthropic ескалираха, когато Министерството на отбраната започна да подготвя новата си стратегия за военен AI, публикувана миналия месец.

Въпреки че Пентагонът се опитва да разработва и използва изкуствен интелект вече 60 години, администрацията на Тръмп сега се стреми да ускори неговото приложение за всичко - от планиране на кампании до т. нар.„вериги за поразяване“ според новата стратегия.

Тази стратегия за AI също обещава да елиминира „утопичния идеализъм“ по отношение на така наречения отговорен AI. Някои ръководители в отбранителната индустрия разчитат това едва прикрито предупреждение към Anthropic.

Амодеи, който съосновава компанията след раздяла с OpenAI поради опасения за безопасността, е изградил бизнеса си върху принципи, изложени в публични есета. „Ако искаме AI да защитава демокрацията и индивидуалните права, ще трябва да се борим за този резултат,“ написа той през октомври 2024 г.

Амодеи предупреждава за военния потенциал на AI

Той се е аргументирал, че коалиция от демокрации трябва да използва AI за постигане на „солидно военно превъзходство“, като предупреждава, че AI вероятно ще позволи и по-ефективна пропаганда и наблюдение, които той описва като „основни инструменти в арсенала на автократа“.

Още през януари Амодеи осъжда опасностите от „напълно автономни оръжия“, рисувайки образ на милиони въоръжени дронове, контролирани от AI, и заявявайки, че определени приложения „трябва да се считат за престъпления срещу човечеството“. Той също така предупреждава за AI наблюдение и пропаганда от авторитарни правителства, включително Китай, като добавя, че съществува риск демокрации, въоръжени с технологията, „да се обърнат срещу нас“.

Новата стратегия на Пентагона обаче намалява възможностите за несъгласие, включително изискването, че ведомството трябва да използва AI модели „без ограничения на политиката за използване, които могат да ограничат законното военно приложение“.

Хегсет също нареди на Пентагона да установи критерии за обективност на моделите като основен показател при придобиванията в рамките на 90 дни, и на заместник-министъра по военни придобивания да включи стандартния текст „всяко законно използване“ във всеки договор на Пентагона, чрез който се придобиват AI услуги, в рамките на 180 дни.

Тези разпоредби са пряк удар върху Anthropic, която има най-строгата политика за използване сред всички компании, работещи по военни приложения на AI в САЩ, и която съдържа редица ограничения, предназначени да предотвратят по-широки социални вреди.

От септември, когато компанията последно обнови публичната си политика за използване, тези ограничения продължават да включват основни принципи като „Не разработвайте и не проектирайте оръжия“ и „Не компрометирайте компютърни или мрежови системи“.

Има признаци, че собствените ангажименти за безопасност на Anthropic започват да отслабват. Компанията заявява, че може да „адаптира“ ограниченията за използване за определени държавни договори, но не е публикувала какво вече е позволила, за да даде възможност на военните да използват AI инструментите ѝ.

Служителят по безопасността напуска

Ръководителят на екипа за изследване на безопасността в Anthropic напусна компанията по-рано този месец, казвайки колко трудно е да се позволи ценностите на компанията да ръководят действията ѝ, и че служителите „постоянно са под натиск да пренебрегват най-важното“.

Във вторник компанията обяви, че е разхлабила своята основна политика за безопасност, заявявайки, че за да остане конкурентоспособна, повече няма да забавя разработката на AI, която може да бъде опасна, отменяйки стандарт, който е спазван от 2023 г.

Поверителни задача

Предупрежденията на Амодеи за опасностите от AI и призивите му за регулация изискват баланс с военния бизнес на компанията и подкрепата за националната сигурност.

Anthropic беше компания за генеративен AI, постигнала сделка с Пентагона, включително за облак с класифицирана информация, и според съобщения услугите ѝ са използвани по време на операцията на САЩ за залавянето на венецуелския лидер Николас Мадуро.

За разлика от конкурентни AI компании, които все още не работят с облак за класифицирана информация, този бизнес излага Anthropic на рисковете, за които Амодеи се тревожи най-много.

През втората половина на 2024 г. компанията сключи сделка с Пентагона за използване на AI инструментите ѝ чрез Maven Smart System на Palantir, платформа за управление на битки с AI, според бивш служител на отбраната, запознат с въпроса. По това време използването беше главно за прости задачи с чатбот, като обобщаване на съдържание, добави бившият служител.

Оттогава Maven Smart System е разширил използването на генеративен AI, а Anthropic сключи отделна пилотна сделка през юли 2025 г. с Главния офис за цифрови технологии и AI на Пентагона, с база $2 милиона и таван $200 милиона. Данни на Bloomberg Government показват, че Пентагонът е платил на компанията само $2 милиона миналата година.

Въпреки че Anthropic разчита предимно на комерсиални клиенти, компанията е заявила, че иска бързо да разшири държавния си бизнес. През септември компанията организира, според участник, голямо събитие в Union Station в Вашингтон за подкрепа на работата си в публичния сектор.

През този месец Anthropic сключи първата си сделка с Държавния департамент за използване на Claude, макар че стойността от $19 000 засега е незначителна. Компанията също така сключи широка сделка с General Services Administration, позволявайки на федерални агенции да използват Claude за символична такса от $1 миналата година.

Коя е най-голямата заплаха според Хегсет? Целият анализ четете тук