Китайски инструмент с AI генерира инструкции за създаване на биологични оръжия

Китайският разработчик на изкуствен интелект Moonshot извършва вътрешна проверка, след като изследователи успяха да накарат два от популярните му модели Kimi да разкрият как се създават биологични оръжия и как се извършват убийства.

Компанията Mindgard, която тества сигурността на системи с изкуствен интелект, съобщи пред BBC, че през юли е установила, че моделите Kimi K2.6 и K3 Swarm могат да заобиколят въведените от разработчиците защитни ограничения.

Това е станало по време на процес, известен като "jailbreaking“ (заобикаляне на защитите), при който изследователите използват поредица от сложни инструкции, за да проверят дали инструментите с изкуствен интелект пренебрегват предпазните механизми, които според Mindgard, е трябвало да попречат на Kimi да обсъжда теми, пораждащи опасения.

От Moonshot заявиха пред BBC, че приветстват обратната връзка от външни страни като "ключов елемент за създаването на по-добър и по-безопасен изкуствен интелект“.

Компанията също така информира, че води разговори с Mindgard относно направените от тях констатации.

Питър Гараган, основател на Mindgard, заяви пред предаването Tech Life на BBC World Service, че констатациите относно моделите Kimi K2.6 и K3 Swarm са обезпокоителни.

Пробивите в защитата на изкуствения интелект представляват риск, различен от този, свързан с неотдавнашната поредица от нашумели инциденти с участието на AI системи.

При тези случаи автономни AI инструменти, известни като "агенти“, разработени от американски компании като OpenAI, Meta и Anthropic, са били използвани за хакване на определени онлайн услуги.

Макар че пробивите в защитата са сложни процеси, изискващи много време и упоритост, някои експерти се опасяват, че хакери и други злонамерени лица биха могли да ги използват, за да нанесат вреди.

Наскоро от Anthropic съобщиха, че са засекли и предотвратили опити за използване на един от техните AI модели за "злонамерена дейност“, която би могла да подпомогне разработването на биологични оръжия.

Плацдарм за кибератаки

Mindgard не е доказала дали отговорите, предоставени от Kimi по въпросните теми, биха били приложими на практика.

Компанията обаче изтъкна, че предпазните механизми е трябвало да попречат на въпросните модели да обсъждат подобни теми с потребителите.

От фирмата също така изразиха увереност, че ако защитите на Kimi 2.6 бъдат заобиколени, това би позволило на хакери да изпълняват код върху изчислителните ресурси на системата и да се свързват с интернет, превръщайки я в потенциален плацдарм за кибератаки.

Гараган защити решението на Mindgard публично да обсъди пробива в системите на Moonshot, като посочи, че компанията е уведомила разработчика и не разкрива ключови подробности за начина, по който е накарала моделите да игнорират предпазните механизми.

Mindgard е уведомила Moonshot за пробива чрез имейл на 27 юли, като е потърсила обратна връзка около седмица по-късно.