
Учёные давно надеются полностью замкнуть цикл, создав ИИ-агентов, которые рекурсивно улучшают себя. Новое исследование демонстрирует впечатляющий пример такой системы. «Это хорошая работа», — сказал Юрген Шмидхубер, учёный-компьютерщик из Университета науки и технологий имени короля Абдуллы (KAUST) в Саудовской Аравии, не принимавший участия в новом исследовании.
«Я думаю, для многих людей результаты являются неожиданными. Поскольку я работаю над этой темой уже почти 40 лет, для меня это, возможно, немного менее удивительно».
В 2003 году Шмидхубер создал решатели задач, которые переписывали свой собственный код только в том случае, если они могли формально доказать полезность обновлений.
Он назвал их машинами Гёделя, в честь Курта Гёделя, математика, работавшего над самоссылающимися системами. Но для сложных агентов доказуемая полезность достигается нелегко. Новые системы, описанные в недавнем исследовании, полагаются на эмпирические доказательства.
В знак уважения к Шмидхуберу они называются машинами Дарвина-Гёделя (ДГМ). ДГМ начинается с кодирующего агента, который может читать, писать и выполнять код, используя LLM для чтения и записи.
Затем он применяет эволюционный алгоритм для создания множества новых агентов. На каждой итерации ДГМ выбирает одного агента из популяции и поручает LLM создать одно изменение для улучшения способности агента к написанию кода.
LLM обладают чем-то вроде интуиции о том, что может помочь, потому что они обучаются на большом количестве кода, написанного человеком. В результате получается управляемая эволюция, что-то среднее между случайной мутацией и доказуемо полезным улучшением.
Затем ДГМ тестирует нового агента на эталонном коде, оценивая его способность решать задачи программирования. Иллюстрация: Dalle Некоторые эволюционные алгоритмы сохраняют только лучших исполнителей в популяции, исходя из предположения, что прогресс движется бесконечно вперёд.
ДГМ, однако, сохраняют всех, на случай, если инновация, которая изначально потерпела неудачу, на самом деле станет ключом к прорыву позже, после дальнейшей доработки.
Это форма «открытого исследования», не закрывающего путей к прогрессу (ДГМ всё же отдают приоритет агентам с более высокими баллами при выборе предков). Учёные запустили ДГМ на 80 итераций, используя эталонный код SWE-bench, и на 80 итераций, используя эталонный код Polyglot.
Баллы агентов улучшились на SWE-bench с 20% до 50%, а на Polyglot — с 14% до 31%. «Мы были действительно очень удивлены, что агент мог сам написать такой сложный код», — сказала Дженни Чжан, учёный из Университета Британской Колумбии и ведущий автор статьи.
«Он мог редактировать несколько файлов, создавать новые файлы и создавать действительно сложные системы».
Важно, что ДГМ превзошли альтернативный метод, который использовал внешнюю систему для улучшения агентов. С ДГМ улучшения агентов накапливались по мере того, как они улучшали себя в улучшении себя. ДГМ также превзошли версию, которая не поддерживала популяцию агентов и просто модифицировала последнего агента.
Лучший агент SWE-bench был не так хорош, как лучший агент, разработанный людьми, который набрал около 70%, но он был сгенерирован автоматически, и, возможно, с достаточным временем и вычислительными мощностями агент сможет превзойти человеческую экспертизу.
Агенты могут стать неинтерпретируемыми или перестать следовать указаниям человека. Поэтому Чжан и её коллеги добавили ограждения.
Они держали ДГМ в песочницах без доступа к Интернету или операционной системе и регистрировали и проверяли все изменения кода. Они предполагают, что в будущем продолжат исследование с вознаграждением агентов за то, что они делают себя более интерпретируемыми и согласованными.
Рубрика: Технологии и Наука. Читать весь текст на www.ixbt.com.