Удари ли изкуственият интелект греда: Развитието му започва да се забавя

Анализ на Epoch AI, неправителствен изследователски институт в сферата на изкуствения интелект, сочи, че индустрията може скоро да не успява да извлича значителни подобрения в производителността от т.нар. разсъждаващи AI модели. Според доклада, напредъкът при тези модели може да се забави още в рамките на следващата година.

Разсъждаващи модели като o3 на OpenAI доведоха до значителни подобрения в различни AI тестове през последните месеци, особено при задачи, свързани с математика и програмиране. Тези модели могат да прилагат повече изчислителна мощ към даден проблем, което подобрява представянето им, но за сметка на по-дълго време за изпълнение спрямо стандартните модели.

Разсъждаващите модели се разработват чрез първоначално обучение на конвенционален модел върху огромно количество данни, след което се прилага техника, наречена обучение чрез подсилване (reinforcement learning), която на практика дава "обратна връзка" на модела относно решенията му при трудни задачи. До момента водещите AI лаборатории, като OpenAI, не са прилагали огромна изчислителна мощ именно на етапа на обучение чрез подсилване, според Epoch.

Това, обаче, се променя. OpenAI заяви, че е използвала около 10 пъти повече изчислителна мощ за обучението на модела o3, отколкото за неговия предшественик o1, и от Epoch предполагат, че по-голямата част от тази мощ е отишла именно за reinforcement learning. Изследователят от OpenAI Дан Робъртс наскоро разкри, че бъдещите планове на компанията предвиждат използване на още повече изчислителни ресурси за обучение чрез подсилване - дори повече, отколкото за първоначалното обучение на модела.

Но според Epoch има горна граница на това колко изчислителна мощ може да се приложи към този етап на обучение. Анализаторът Джош Ю от Epoch - автор на изследването - обяснява, че подобренията в производителността при стандартното AI обучение в момента се увеличават 4 пъти годишно, докато при обучение чрез подсилване растежът е 10-кратен на всеки 3 до 5 месеца. По думите му, напредъкът в обучението на разсъждаващи модели вероятно ще се изравни с общото развитие на водещите модели до 2026 г.

Анализът на Epoch прави няколко допускания и се базира отчасти на публични изявления на ръководители от AI индустрията. В същото време се подчертава, че мащабирането на разсъждаващи модели може да се окаже предизвикателство не само заради изчислителната мощ, но и поради високите постоянни разходи за изследвания, пише dir.bg.

"Ако има постоянни разходи за изследователска дейност, разсъждаващите модели може да не се развият толкова, колкото очакваме", пише Ю. "Бързото мащабиране на изчисленията може да е критично важно за напредъка при тези модели, така че това трябва да се следи внимателно".

Всеки знак, че напредъкът на разсъждаващите AI модели скоро може да достигне граница, вероятно ще предизвика тревога в индустрията, която вече е вложила огромни ресурси в разработването им. Освен това, вече има изследвания, които показват, че тези модели - макар и скъпи за използване - имат сериозни недостатъци, включително склонност да "халюцинират" повече от някои традиционни модели.