Российские ученые разработали метод точного выявления галлюцинаций ИИ даже при ограниченных данных

Специалисты из Центра практического искусственного интеллекта Сбербанка представили новый эффективный метод обнаружения галлюцинаций в больших языковых моделях. Подход позволяет с высокой точностью отслеживать ошибки ИИ даже при минимальном количестве обучающих примеров. По данным пресс-службы Сбера, точность распознавания ложной информации выросла примерно на 30%.

«Мы продемонстрировали, что даже при ограниченном объеме данных можно достичь высокой точности в определении галлюцинаций. Метод основан на использовании метамоделей и интеллектуального понижения размерности — это серьёзный шаг вперёд в повышении надёжности ИИ», — отметил директор центра Глеб Гусев.

Одна из главных проблем современных нейросетей — генерация правдоподобных, но ложных ответов. Ранее существовавшие методы выявления таких ошибок требовали больших объемов качественно размеченных данных. Новый российский подход отличается простотой и эффективностью: он анализирует изменения во внутренних слоях модели во время генерации ответов и использует классические алгоритмы машинного обучения или нейросеть TabPFNv2 для классификации.

Метод протестировали на наборах запросов, контекстов и ответов от языковых моделей, включая как корректные, так и искажённые. Даже при обучении на 250 примерах система показала результаты, сопоставимые с мощными коммерческими решениями на базе закрытых моделей.

Это решение позволяет заметно сократить затраты на разметку данных, повысить устойчивость ИИ к ошибкам и снизить риск распространения недостоверной информации. Разработка также открывает новые возможности для анализа поведения языковых моделей и позволяет пользователям получать более точные и надёжные ответы.