Учёные из Корнеллского университета и Калифорнийского университета в Беркли изучили около 2,1 млн научных работ, размещённых на препринт-платформах в период с января 2018 по июнь 2024 года. Анализ показал: использование больших языковых моделей, таких как ChatGPT, заметно увеличило объём публикаций, однако привычные показатели научного качества перестали быть надёжными индикаторами.
Увеличение числа работ распределилось неравномерно между дисциплинами. Наибольший рост зафиксирован в социальных и гуманитарных науках — почти 60%. В биологии и близких областях показатель составил 52,9%, а в физике и математике — 36,2%. Для выявления влияния ИИ исследовательская группа обучила модель обнаруживать характерные признаки машинного текста, сопоставляя реальные аннотации с вариантами, переписанными с помощью GPT-3.5.
Наиболее выраженный эффект наблюдался у исследователей из стран, где английский язык не является родным. Поскольку ведущие научные журналы требуют публикаций на академическом английском, такие авторы ранее находились в менее выгодном положении. С появлением языковых моделей их публикационная активность в ряде случаев увеличилась до 89%, фактически нивелировав языковые ограничения.
При этом авторы работы указывают на тревожную тенденцию. Ранее сложный и формализованный научный стиль часто воспринимался как признак глубины и качества исследования. Теперь эта связь ослабевает: результаты показывают, что чем более «вылизанным» и усложнённым оказывается ИИ-сгенерированный текст, тем ниже может быть реальная научная ценность работы. Внешняя форма всё чаще скрывает содержательные недостатки.
В связи с этим исследователи призывают пересмотреть процедуры рецензирования. Они считают необходимым внедрение более тщательных проверок и специализированных «ИИ-рецензентов», способных выявлять машинный вклад в тексты. В противном случае, предупреждают авторы, редакторы начнут ориентироваться прежде всего на формальные признаки — известность автора или престиж его института, что может свести на нет потенциально демократизирующее влияние ИИ на науку.
Увеличение числа работ распределилось неравномерно между дисциплинами. Наибольший рост зафиксирован в социальных и гуманитарных науках — почти 60%. В биологии и близких областях показатель составил 52,9%, а в физике и математике — 36,2%. Для выявления влияния ИИ исследовательская группа обучила модель обнаруживать характерные признаки машинного текста, сопоставляя реальные аннотации с вариантами, переписанными с помощью GPT-3.5.
Наиболее выраженный эффект наблюдался у исследователей из стран, где английский язык не является родным. Поскольку ведущие научные журналы требуют публикаций на академическом английском, такие авторы ранее находились в менее выгодном положении. С появлением языковых моделей их публикационная активность в ряде случаев увеличилась до 89%, фактически нивелировав языковые ограничения.
При этом авторы работы указывают на тревожную тенденцию. Ранее сложный и формализованный научный стиль часто воспринимался как признак глубины и качества исследования. Теперь эта связь ослабевает: результаты показывают, что чем более «вылизанным» и усложнённым оказывается ИИ-сгенерированный текст, тем ниже может быть реальная научная ценность работы. Внешняя форма всё чаще скрывает содержательные недостатки.
В связи с этим исследователи призывают пересмотреть процедуры рецензирования. Они считают необходимым внедрение более тщательных проверок и специализированных «ИИ-рецензентов», способных выявлять машинный вклад в тексты. В противном случае, предупреждают авторы, редакторы начнут ориентироваться прежде всего на формальные признаки — известность автора или престиж его института, что может свести на нет потенциально демократизирующее влияние ИИ на науку.
