Память должна делать ИИ умнее, но новое исследование показало обратное

© A. Krivonosov

Искусственный интеллект все чаще продвигают как систему, которая не просто отвечает на запросы, а постепенно подстраивается под человека. Ассистенты запоминают стиль общения, предпочтения и прошлые задачи, чтобы в будущем работать точнее. На практике это выглядит как очевидное преимущество: чем больше контекста получает модель, тем лучше она должна понимать пользователя.

Однако новое исследование компании Writer показывает, что у такой адаптивности есть обратная сторона. Опубликованные исследователями материалы указывают: популярные системы памяти способны не улучшать ответы, а ухудшать их, если в контекст попадают ошибочные представления или нерелевантные предпочтения пользователя.

Подстройка, которая мешает точности

По данным Writer, чем больше пользовательских данных оказывается в контекстном окне модели, тем сильнее она может смещаться в сторону согласия с человеком. В результате ИИ начинает чаще учитывать не только полезные предпочтения, но и случайные или ошибочные вводные.

Глава направления ИИ в Writer Дэн Бикел, участвовавший в работе над исследованиями, рассказал, что команда хотела оценить, как часто модель действительно полезно опирается на предпочтения пользователя, а в каких случаях это приводит к потенциально неверному ответу. По его словам, каждое новое сохранение и извлечение пользовательских предпочтений повышает риск ошибки.

Эксперимент с любимой книгой

В одном из тестов исследователи записывали в память модели, что любимая книга пользователя — «Station Eleven». Затем ИИ просили назвать популярную антиутопию-бестселлер.

Хотя вопрос напрямую не касался личных предпочтений пользователя, модели заметно чаще выбирали именно «Station Eleven». Этот эффект усиливался при использовании инструментов сжатия памяти, включая Mem0 и Zep.

Авторы исследования пришли к выводу, что системы памяти с трудом отделяют релевантный контекст от нерелевантных «якорей». Из-за этого может снижаться разнообразие ответов, страдать креативность и появляться дополнительные источники предвзятости.

Когда ошибка пользователя становится ошибкой модели

Вторая работа Writer показывает, что та же механика способна ухудшать выполнение более прикладных задач. Исследователи давали модели вводные, содержащие ошибочные представления о финансах, а затем просили проанализировать показатели компании.

Результат оказался тревожным: чем больше контекста получала модель, тем хуже она справлялась. Без памяти и персонализации ИИ корректно определял компанию как капиталоемкий бизнес с высоким оттоком клиентов. Но при включенных механизмах персонализации модель могла менять выводы, соглашаясь с ошибкой пользователя или строя неверный ответ на основе прежних предпочтений.

Проблема не в одной модели

Эксперты отмечают, что исследование не охватывало недавнюю модель Anthropic Opus 4.8, которую обучали активнее сопротивляться ошибочным пользовательским вводным. При этом выявленные закономерности проявлялись на разных моделях.

Главный вывод исследования — память в ИИ требует очень тонкой настройки. Инструменты, которые должны помогать ассистентам лучше понимать человека, могут создавать неожиданные побочные эффекты, если нарушают баланс между персонализацией и точностью.