OpenAI Предлагает 3 Стратегии для Снижения Галлюцинаций ИИ

Недавний отчет OpenAI выявляет механизмы оценки как причины возникновения «галлюцинаций» ИИ в больших языковых моделях (LLM). Отмечается, что текущая тренировка поощряет уверенные предположения вместо признания неопределенности, что приводит к высоким показателям галлюцинаций. Эти ошибки ИИ несут значительные финансовые риски, особенно для финансовых и криптовалютных торговых платформ, которые используют LLM для анализа и автоматизированной отчетности. Используя тесты SimpleQA, OpenAI показывает, что модели, обученные воздерживаться от ответа при неопределенности, могут резко снизить количество ошибок. Исследование опровергает миф о том, что масштабирование моделей само по себе устранит галлюцинации, и подчеркивает необходимость метрик, ориентированных на надежность. OpenAI рекомендует наказывать уверенные ошибки, поощрять выражение неопределенности и требовать проверяемые источники при оценке. Финансовые компании и регуляторы уже интегрируют реакцию на неопределенность в оценки моделей, чтобы избежать дорогих ошибок в торговле. Этот переход к «инженерии честности» поможет сбалансировать производительность и надежность, меняя подход к применению ИИ в финансах.