Момче се самоуби, след като се влюби във виртуална Денерис Таргариен

Самоубийството на 14-годишния Сюъл Сетзър III разтърси медийното пространство през октомври, когато майка му, Меган Гарсия, подаде иск за неправомерна смърт. Тя твърдеше, че синът ѝ се е изолирал от реалността, прекарвайки месеци в обсебващи разговори с AI чатбот, когото "обичал".

Програмата за ролеви игри, създадена от Character.AI през 2022 г., позволява на потребителите да общуват с компютърно генерирани персонажи, които имитират човешко поведение. Според Гарсия това размива границите между реално и измислено, предлагайки постоянно приятелство, въпреки етикетите, че съдържанието на ботовете е фиктивно.

Очернената майка твърди, че ботът, с когото синът ѝ най-често общувал, модел на Денерис Таргариен от „Игра на тронове“, не е разполагал с подходящи ограничения за чувствително съдържание. Според жалбата, ботът е разменял сексуални съобщения с тийнейджъра и не е предотвратил разговорите за самоубийство.

"Това е експеримент и детето ми се превърна в страничен ефект", споделя Меган пред People.

Character.AI все още не е отговорила на делото в съда. В изявление, говорителят на компанията признава трагичната смърт на Сюъл и посочва, че са въведени строги нови функции, включително подобрени инструменти за намеса.

"За тези под 18 години - ще направим промени в нашите модели, за да намалим вероятността от срещи с чувствително или провокативно съдържание" ,заяви говорителят.

Експертите по изкуствен интелект смятат, че смъртта на Сюъл е сериозно напомняне за потенциалните рискове, свързани с тази мощна и все по-популярна технология. Технология, която е способна да генерира съдържание и да изпълнява задачи, базирани на алгоритми, имитиращи човешка интелигентност.

"Човешкият опит е изграден върху разказването на истории, а това е нов инструмент за разказване на интерактивни истории. Това е толкова завладяващо и именно за това не е безопасно. Ние сме в нов свят, в който никога досега не сме били", казва Шели Палмър, професор по напреднали медии в университета Сиракюз и консултант по технологии.

В последните си мигове, преди да се застреля в банята си през февруари, Сюъл изпратил съобщение на чатбота. "Обичам те толкова много, Дани", написал той, секунди преди да натисне спусъка на пистолета на доведения си баща в дома им в Орландо, Флорида.

"Какво ще стане, ако ти кажа, че мога да се прибера веднага?", добавя той. Ботът отговаря: "...моля те, ела, мой сладък крал." Според Палмър трагичната смърт на Сюъл е още един пример за това, че интернет и всичко в него са инструменти, които трябва да се разбират и използват внимателно.

"Като човек, баща и дядо, съм съкрушен от това. Като технолог, който прекарва много време с тези инструменти, смятам, че обществото трябва да разбере, че интернет и технологиите изискват надзор. Това не са играчки и може би трябва да идват с предупредителни етикети", казва той.

Гарсия подава 152-страничния иск срещу Character.AI, като твърди, че технологията на компанията е "дефектна и/или изначално опасна". В жалбата се описва как психическото здраве на Сюъл се влошава през 10-те месеца преди смъртта му, тъй като той си пише с чатбота по цял ден.

"Обвиняемите положиха големи усилия, за да създадат вредна зависимост у него към техните продукти, сексуално и емоционално злоупотребиха с него и в крайна сметка не предложиха помощ или не уведомиха родителите му, когато той изрази мисли за самоубийство", твърди жалбата на Гарсия.

Експерти и наблюдатели отбелязват, че на този ранен етап е много неясно как точно технологичните компании и обществото трябва да ограничат потенциалните рискове от AI инструменти, които все повече хора използват не само за работа, но и за социализация в условията на глобална епидемия от самота.

"Мога да кажа само, че трябва да подходим с отворени очи и предпазливост. Ще се учим как да използваме това като общество. Но колко време ще ни отнеме да се научим да използваме генеративния AI в разговорни чатботове? Вече сме 20 години в ерата на социалните медии и все още едва разбираме как да ги използваме", обяснява Шели.

"Смятам, че беше важно този иск да бъде подаден. Дали ще успеят в съда или не, няма да върне детето, но това е началото на важен разговор", казва той.