Система AI Scientist-v2 компании Sakana AI сделала заметный шаг вперед, создав научную работу, которая успешно прошла процесс рецензирования на семинаре международной конференции ICLR. Статья под названием “Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization” была посвящена негативным аспектам метода регуляризации нейронных сетей и получила оценку 6,33 балла, что немного выше порога принятия.
Важным аспектом является то, что рецензенты не знали, что работа была сгенерирована ИИ, поскольку их заранее предупредили о возможности такого исхода. AI Scientist-v2 самостоятельно разработала гипотезу, предложила эксперименты, сгенерировала код, провела исследование, проанализировала данные и написала статью. Исследователи лишь предоставили тему и отобрали наиболее перспективные работы для подачи на конференцию.
Тем не менее, работа была принята только на уровне семинара, где показатели приема составляют 60-70%, в отличие от основных конференций, где этот показатель составляет всего 20-30%. Sakana AI признала, что ни одна из трех представленных работ не соответствовала критериям для принятия на основную конференцию ICLR. В результате, после рецензирования, статья была отозвана по соглашению между организаторами конференции и компанией, так как научное сообщество пока не разработало стандартов для работы с материалами, созданными ИИ.
В ходе внутренней проверки было выявлено, что AI Scientist-v2 допускает ошибки в цитировании, включая неверные указания авторов и годы публикации других статей. “Мы считаем, что научному сообществу важно изучать качество исследований, созданных с помощью ИИ, и представлять их на строгие процессы рецензирования, которые применяются к работам, написанным человеком”, — отметили в Sakana AI.
Напомним, ранее профессор Университета Цинхуа написал и проиллюстрировал при помощи ИИ книгу, за что получил национальную премию в области научной фантастики, потратив на ее создание всего три часа.