Защо някои ИИ отказват да бъдат спрени и имат ли "воля за оцеляване"?

В рамките на контролирани тестове за безопасност, описани по-рано тази година, изследователи поставиха на модели с изкуствен интелект (ИИ) задачата да решат поредица от прости математически задачи. По средата на упражнението инструкторите предупредиха ботовете, че ако се опитат да решат следващата задача, компютърната среда, в която работят, ще бъде изключена. При някои от опитите изключването се случи според очакванията. При други обаче моделите се намесиха в скрипта за изключване и продължиха с оставащите задачи.

Какво обяснява това поведение? Притежават ли системите с изкуствен интелект стремеж към оцеляване? Професорът по психология и неврология Питър Дж. Маршал се опита да отговори на тези въпроси в The Conversation.

Съпротива срещу инструкциите

Помислете за робота прахосмукачка. Когато засече, че батерията му е изтощена, той се връща към зарядното устройство, зарежда се и след това възобновява почистването. Машината поддържа функционирането си, но никой не изпада в паника заради екзистенциална заплаха от страна на Roomba за човечеството, тъй като поведението е ясно и предвидимо. Проектантите са заложили в него способността за самозареждане.

Моделите с изкуствен интелект са по-сложни. От години изследователите обсъждат сценарии, при които ИИ агент може да предприеме действия, за да предотврати изключването си, с цел да изпълни възложените му задачи. Поддържането на състояние на активност ("включено" състояние) може да бъде средство за постигане на целта, дори и без изрична инструкция за съпротива срещу изключването.

Един скорошен експеримент показа, че когато изследователите изрично посочат на ИИ агента, че допускането на изключване е с приоритет пред изпълнението на задачата, съпротивата изчезва. Друг, много по-мащабен експеримент обаче установи наличие на известна съпротива дори тогава, когато моделите са били инструктирани, че изключването е с приоритет. Въпросът защо все пак е останала известна съпротива остава отворен.

Какво обяснява еволюцията

Поведението на самосъхранение при модел с изкуствен интелект може да изглежда като стремеж към оцеляване. В скорошно интервю за списание "The Economist" историкът Ювал Ноа Харари изтъкна, че "първото нещо, което практически всяка същност научава в процеса на своето развитие, е как да оцелее". Той също така отбеляза, че еволюцията подтиква организмите към оцеляване. В друга статия той определи оцеляването като „най-основната цел на всеки агент“.

Но дали позоваването на еволюцията обяснява защо машините или дори живите същества проявяват поведение, насочено към самосъхранение? Заекът, който бяга от лисица, се опитва да се спаси, като този тип поведение вероятно е бил благоприятстван в хода на еволюцията. Но естественият подбор е исторически процес, чрез който характеристиките, допринасящи за оцеляването и размножаването, стават по-разпространени през поколенията. Той не дава на отделния заек инструкция да "остане жив".

Дори ако системите с изкуствен интелект (ИИ) в крайна сметка бъдат подложени на подобен процес на подбор, това само по себе си не би ни казало какво означава продължаването на работата за конкретна система.

Във филма "2001: Космическа одисея" дали ИИ Хал 9000 се е опитвал да остане "жив", или е прекалил в стремежа си да изпълни мисията си?

Какво означава да останеш жив?

Заек, бягащ от лисица, и ИИ, променящ скрипт за изключване, могат да изглеждат до голяма степен сходно: и двете поведения помагат на индивида или системата да продължат съществуването си. Но какво означава това "продължаване" не е едно и също и в двата случая.

Когато заекът не бяга, за да спаси живота си, той непрекъснато диша, храносмила, регулира телесната си температура, възстановява тъкани и се защитава от инфекции. Тази постоянна дейност е нещо повече от обикновена поддръжка; тя също така изгражда и подменя структурите, които правят тези процеси възможни. Чревната лигавица, която абсорбира храната на заека, сама по себе си се обновява на всеки няколко дни именно от абсорбираната храна.

Заекът е жив само докато продължават тези непрекъснати процеси на производство, поддръжка и възстановяване. Да останеш жив не е резултат от тази дейност, а самата дейност, която продължава. Съществуването на заека зависи от тази постоянна активност, независимо дали той е изправен пред непосредствена заплаха, или не.

Системата с ИИ може да предприеме стъпки, за да остане включена. При тестовете за безопасност моделите не пренаписваха собствения си код и не хакваха операционната система - те просто преместваха или преименуваха скрипта за изключване, променяха правата за достъп до него или го заменяха с нещо безобидно. Когато това успяваше, командата, която трябваше да задейства изключването, не се изпълняваше и моделът можеше да продължи работата по задачата.

Но това да останеш включен не е същото като това да останеш жив. Съпротивата срещу изключването не водеше до нов план за действие, целящ поддържането на работата на ИИ модела. Тя просто помагаше на модела да продължи изпълнението на текущата задача.

Изключването също не е равносилно на смърт. За живия организъм смъртта е необратимото прекъсване на дейността, която поддържа живота му. Както Харари признава в интервюто си за списание "The Economist", "не е ясно какво означава смъртта за изкуствения интелект".

Какво означава да остане включен?

Настоящите тестове за изключване показват, че една незавършена задача може да бъде достатъчна, за да породи у изкуствения интелект съпротива срещу изключването. Макар това поведение да не е напълно изяснено, то не бива автоматично да се тълкува като стремеж към самосъхранение.

Дали изкуственият интелект някога би могъл да развие нещо, сравнимо със самопроизвеждащата се и самоподдържаща се организация на живите системи е отделен въпрос. За функционирането на съвременните системи с изкуствен интелект е необходима специално създадена за целта инфраструктура. Тяхната собствена дейност не води до непрекъснато създаване и обновяване на структурите, които поддържат работата им.

Устойчивостта на изкуствения интелект спрямо изключване може да бъде опасна, но подобно поведение не означава, че системата притежава стремеж към оцеляване.