Если коротко: Schai GPT помнит не весь разговор, а отдельные факты о вас, которые выделяет из диалога и сохраняет. Забывает он в трёх случаях: когда факт был разовым и «протух» по сроку, когда это быстро устаревающая цифра вроде курса или посещаемости, и когда вы сами попросили забыть. Отдельная история — длинный чат: чем больше текста в окне, тем хуже модель ловит детали из середины. Это свойство больших языковых моделей, а не баг одного сервиса.
Это Profile — гид по Schai GPT: рассказываем, как работает наш ИИ и как им пользоваться. Эту статью мы построили на том, как устроена память в Schai GPT по нашей собственной реализации, и на открытых исследованиях о длинном контексте. Разберём, что именно сохраняется, почему что-то пропадает и как этим управлять.
Два вида памяти: окно диалога и сохранённые факты
Здесь легко запутаться, потому что слово «память» означает две разные вещи. Первая — контекст текущего чата: всё, что модель видит прямо сейчас вместе с вашим вопросом. Он ограничен размером окна, и после какого-то объёма переписку приходится сокращать или сжимать. Вторая — долговременная память: короткие факты о вас, которые хранятся отдельно от чатов и подкладываются в нужный момент.
Для пользователя разница ощутима. Если вы вчера написали в чате, что у вас аллергия на орехи, а сегодня открыли новый разговор, помнит ли ассистент об этом, зависит уже не от окна, а от того, превратилась ли ваша фраза в сохранённый факт. И наоборот: в одном очень длинном чате модель может «потерять» то, что вы писали час назад, хотя оно формально всё ещё в окне.
Как факт попадает в память
После реплики система не сохраняет всё подряд. Отдельный шаг извлекает из диалога устойчивые факты: профиль, отношения, расписание, предпочтения. За один ход их выделяется немного — не больше шести, и каждый ограничен по длине примерно четырьмя сотнями знаков. К факту добавляются категория и оценка уверенности. Смысл такого фильтра в том, чтобы память не превращалась в свалку: сотня точных коротких записей полезнее, чем километр пересказанных чатов.
Дальше каждый факт превращается в числовой вектор (эмбеддинг) — компактное представление смысла. Когда вы задаёте новый вопрос, система ищет среди ваших фактов те, что ближе по смыслу к вопросу, и добавляет несколько самых подходящих в запрос к модели. Поэтому ассистент не тащит всё о вас в каждый ответ: на вопрос про рецепт ужина он подтянет «аллергия на орехи», а не «ходит на йогу по вторникам». Объём такой вставки тоже ограничен, чтобы не раздувать запрос.
Почему что-то забывается: срок годности факта
Не все факты живут вечно, и это сделано намеренно. Если вы писали «выбираю кофемашину», через месяц человек, скорее всего, её уже купил; помнить про выбор неактуально и даже вредно — ассистент будет советовать то, что вы давно решили. Поэтому для разовых намерений вроде «ищу», «выбираю», «планирую», «хочу купить» факту ставится срок годности: в нашей реализации по умолчанию 45 дней, а если модель сама пометила срок, он не превышает 180 дней. Профиль, отношения и расписание считаются устойчивыми и срока не получают.
Просроченные записи сначала перестают находиться при поиске, а затем раз в сутки удаляются фоновой задачей. С точки зрения пользователя это выглядит так: ассистент «забыл», что вы когда-то выбирали ноутбук. И это ожидаемое поведение, а не сбой.
Чего Schai GPT не запоминает вообще
Есть категория информации, которую сохранять бессмысленно: быстро устаревающие числа. Посещаемость сайта, курс валюты, текущая цена — сегодняшнее значение через несколько часов неверно. Запомни ассистент такую цифру как факт, он потом уверенно сообщал бы устаревшее. Поэтому такие метрики в долговременную память не попадают, а получаются заново, когда вы спросите.
Из этого следует практический вывод. Если вам нужно, чтобы ассистент учитывал что-то разовое и временное, напишите это в самом вопросе. Если нужно, чтобы он помнил что-то надолго, формулируйте как устойчивый факт: «я вегетарианец», «у меня двое детей, младшему пять лет», «работаю по ночам». Расплывчатое «наверное, мне подойдёт» запоминается хуже определённого утверждения.
Забывание по вашей просьбе
Память можно чистить. Если сказать ассистенту «забудь про месячные» или «забудь про поиск кофемашины, я спрашивал за друга», срабатывает отдельный инструмент: он находит ваши сохранённые факты, где встречаются все слова темы (с учётом окончаний), и удаляет их, но не больше тридцати записей за один раз. Такое ограничение защищает от случайного массового удаления и заставляет формулировать тему точно.
Зачем это нужно, показала практика: люди часто спрашивают ИИ не о себе, а о родственниках, коллегах или для учёбы, и ассистент мог принять такой вопрос за личный факт. Возможность сказать «это не про меня, забудь» — прямой способ починить такую ошибку. Посмотреть, что именно сохранено, можно в окне памяти в интерфейсе Schai GPT.
Почему длинный чат «тупеет»
Даже если факт формально лежит в окне, модель не всегда его использует. Исследователи из Стэнфорда и других университетов в работе «Lost in the Middle» показали, что языковые модели лучше всего работают, когда нужная информация находится в начале или в конце длинного входа, а в середине точность заметно падает. Это справедливо даже для моделей, рассчитанных на длинный контекст.
Для разговора это значит следующее: чем длиннее чат, тем выше шанс, что договорённость трёхчасовой давности окажется в «слепой» середине. Поэтому в длинных чатах полезно периодически просить краткое резюме договорённостей и продолжать с него, а новую большую задачу начинать в новом чате. Для сжатия старой переписки в Schai GPT тоже есть отдельный механизм, но он не отменяет самого свойства моделей.
Практические правила, чтобы память работала на вас
Говорите факты прямо. «Я не ем глютен» запомнится лучше, чем обсуждение глютена в третьем сообщении.
Разделяйте темы по чатам. Работа, поездка и личные вопросы в одном бесконечном диалоге создают шум.
Просите резюме. Раз в несколько десятков сообщений: «подведи итог, что мы решили».
Чистите лишнее. Если ИИ запомнил что-то неверное или не про вас, попросите забыть.
Не доверяйте памяти слепо. Для важных решений перепроверяйте, что именно ассистент «помнит» о вас.
Коротко
1. Есть контекст чата и отдельные сохранённые факты — это разные вещи.
2. В память попадают устойчивые факты о вас, а не весь разговор; за ход их немного, и они короткие.
3. Разовые намерения «протухают» через 45 дней по умолчанию (не дольше 180), быстро устаревающие цифры не сохраняются.
4. Любой факт можно удалить словами «забудь про…», до 30 записей за раз.
5. В длинном чате модели хуже используют середину, поэтому делите темы и просите резюме.
Пока нет комментариев