Исследователи из OpenAI обнаружили, что галлюцинации нейросетей являются не ошибкой, а закономерным результатом работы технологии.
Даже если в тренировочных данных нет ни единой ошибки, модель все равно будет выдумывать факты, потому что это заложено на этапе предварительного обучения.
Нейросети создают ответы, опираясь на шаблоны, грамматику, общие знания и логические рассуждения. Однако, когда требуется найти конкретный факт, особенно малоизвестный, нейросеть воспринимает это как отдельную задачу, а не как часть более широкого контекста. В результате она выдаёт наиболее вероятный ответ, но не занимается буквальным поиском конкретного факта.
Даже метод обучения с подкреплением, при котором модель получает отрицательные оценки за...