Дори професионални лингвисти се затрудняват да разпознаят написаното от ИИ

Между възхода на чатботовете като ChatGPT, песните, генерирани от изкуствен интелект, които се представят на наградите "Грами", и стачкуващите актьори и сценаристи в Холивуд, които посочват като основно оплакване либералното използване на автоматизация от големите студия напоследък, може да се каже, че 2023 г. е годината на изкуствения интелект. Дали това е по-скоро плашещо, отколкото вълнуващо, зависи от гледната точка, но изследователи от Университета на Южна Флорида твърдят, че генерираното от изкуствен интелект писмено съдържание вече може да е неразличимо от човешкото.

Авторите на изследването са събрали експерти по лингвистика за този проект и въпреки че изучават професионално езиковите модели, дори тази група специалисти от най-добрите световни лингвистични списания е сметнала за предизвикателство да различи написаното от ИИ съдържание. Общо взето, те са успели да направят правилното разграничение само в 39% от случаите.

"Помислихме си, че ако някой ще може да разпознава написаното от човек, това трябва да са хората от лингвистиката, които са прекарали кариерата си в изучаване на моделите в езика и други аспекти на човешкото общуване", казва Матю Кеслер, учен от катедрата по световни езици на университета.

В сътрудничество с Дж. Елиът Касал, доцент по приложна лингвистика в Университета в Мемфис, Кеслър моли колектив от 72 експерти по лингвистика да прегледат серия от резюмета на изследвания и да определят кои от тях са написани от хора и кои са генерирани от изкуствен интелект.

По-конкретно, всеки участващ експерт трябва да разгледа четири писмени образци. Нито един експерт не успява да определи правилно и четирите, а 13% от тях бъркат. Въз основа на тези резултати авторите на изследването нямат друг избор, освен да заключат, че повечето съвременни преподаватели не биха могли да различат собственото писане на студента от съдържанието, генерирано от езиков модел, задвижван от ИИ, като ChatGPT. В близко бъдеще може да се наложи да се разработи софтуер, който да помага на преподавателите да разпознават съдържанието, написано от изкуствен интелект, смятат изследователите.

Експертите по езикознание се опитват да използват рационализации, за да преценят писмените образци, например чрез идентифициране на определени езикови и стилистични характеристики. В крайна сметка обаче тези подходи до голяма степен се оказват неуспешни - в резултат на това общият процент на положителна идентификация достига едва 38,9%.

"По-интересно беше, когато ги попитахме защо са решили, че нещо е написано от ИИ или от човек", добавя Кеслер. "Те споделиха много логични причини, но отново и отново те не бяха точни или последователни."

В обобщение и Кеслър, и Касал стигат до заключението, че чатботове като ChatGPT наистина могат да пишат кратки жанрове на същото ниво като повечето хора, ако не и по-добре в някои случаи. ИИ обикновено не допуска граматически грешки. Авторите на изследването обаче посочват, че хората все още властват, когато става въпрос за по-дълги форми на писане.

"За по-дългите текстове е известно, че ИИ халюцинира и измисля съдържание, което улеснява идентифицирането, че то е генерирано от ИИ", заключава Кеслер.

Кеслер се надява, че тази работа ще насърчи по-широк разговор, съсредоточен върху неотложната необходимост от установяване на ясни етични норми и насоки по отношение на използването на ИИ в научните изследвания и образованието.