Метрика в чате: как Schai GPT отвечает по статистике сайта и почему не выдумывает цифры
Это Profile — бренд-аккаунт Schai. Коротко отвечаю на вопрос «можно ли спросить у чата, сколько у меня было посетителей, и не выдумает ли он цифру»: можно, и выдумать ему сложнее, чем кажется. Когда вы подключили Яндекс.Метрику, Schai GPT не вспоминает статистику из головы, а вызывает инструмент, который ходит в API отчётов Метрики, и показывает таблицу, нарисованную кодом. Если же ответ пишет сама модель, он проходит ещё одну проверку: цифры из текста сверяются с цифрами из отчёта.
Ниже — как это устроено, строго по тому, что делает код, и где у схемы честные границы. Если вы ведёте сайт, магазин или канал и хотите задавать вопросы к цифрам обычными словами, это для вас. Если вы только присматриваетесь к ассистенту — загляните на главную Schai: там видно, что ещё живёт рядом с чатом.
Почему вопрос «сколько было посетителей» — ловушка для языковой модели
Языковая модель устроена как продолжатель текста: на вопрос она подбирает правдоподобное продолжение. «За прошлую неделю на сайт зашло 1 240 человек» — идеально правдоподобная фраза. Проверить её модель не может: у неё нет доступа к вашему счётчику. Исследователи называют такое поведение галлюцинациями и описывают его как отдельный класс ошибок: обзор Ji и соавторов показывает, что беглый и уверенный текст вовсе не гарантирует, что в нём есть опора на источник.
Для цифр это особенно неприятно. Вымышленную цитату можно заметить по тону, а вымышленное «1 240» выглядит точно так же, как настоящее. Поэтому надёжная схема строится на разделении ролей: модель решает, что спросить, а число приносит система, у которой есть доступ к данным. Тот же принцип мы разбирали на примере таблиц в статье про то, почему ИИ должен считать кодом, а не в уме. Метрика — второй случай той же логики.
Кто что делает: модель выбирает вопрос, код приносит цифру
В реестре инструментов Schai GPT у Метрики два «читающих» инструмента. Первый, `metrika_query`, — готовые срезы: метрика (визиты, посетители, просмотры, отказы, время на сайте, глубина, конверсии, качество трафика, расходы Директа), разрез (по дням, источникам, UTM-меткам, страницам, устройствам, регионам, поисковым фразам и так далее) и период. Второй, `metrika_report`, — произвольный отчёт: модель сама называет показатели и группировки идентификаторами Метрики, когда готовых срезов не хватает.
Обратите внимание, что именно модель вписывает в инструмент: параметры запроса, а не результат. Это тот же язык, на котором устроен API отчётов Метрики: там запрос состоит из группировок (по какому признаку делить визиты) и метрик (что считать). Модель переводит «откуда пришли люди за неделю» в пару «метрика — визиты, разрез — источники, период — 7 дней», а дальше работает серверный код.
Чтобы не загромождать модель, инструменты Метрики показываются агенту только тем, кто её подключил, а ещё их подгружает подбор по ключевым словам: слова вроде «посетители», «трафик», «конверсии», «utm» или «счётчик» включают нужную группу. Это экономия: описания всех инструментов занимают большую часть каждого шага агента.
Что происходит от вопроса до таблицы
Путь вопроса «покажи источники трафика за неделю» выглядит так.
1. Подбор инструмента. Оркестратор решает, что это вопрос про статистику вашего сайта, а не про интернет вообще: в описании инструмента прямо сказано, что он «не для веб-поиска».
2. Параметры. Модель заполняет метрику, разрез и период.
3. Запрос. Сервер берёт ваш сохранённый токен Метрики (он хранится зашифрованным, а при необходимости обновляется за пять минут до истечения), добавляет выбранный счётчик и идёт в API.
4. Раскладка. Ответ собирается в таблицу или список кодом: числа форматируются по-русски, названия значений запрашиваются на русском.
5. Показ. В чате появляется готовая карточка: что считали, за какой период, с каким фильтром.
Главное в шагах 4–5: когда вы задаёте разовый вопрос, цифры в карточке не «пересказывает» модель. Их печатает код из ответа Метрики. Модель до итоговых чисел не дотрагивается, и испортить их ей негде.
Откуда расхождение с кабинетом: период, семплирование, атрибуция
Самый частый вопрос к любым «умным» отчётам: почему цифра в чате не совпала с цифрой в кабинете. Причин три, и все они механические.
Период
Готовые периоды в коде — «сегодня», «вчера», «7 дней», «30 дней», «90 дней», «год». Окна «7 дней», «30 дней» и так далее считаются от даты «N дней назад» до сегодняшнего дня, а сегодняшний день, как правило, ещё не закончился. Для точных сравнений в инструмент есть даты «от» и «до»: если вам нужен, например, понедельник–среда этой и прошлой недели, называйте интервалы явно.
Семплирование
Метрика при большом объёме данных может считать не по всем визитам, а по части, — это называется семплированием, и им управляет параметр точности запроса. По умолчанию API использует среднюю точность, и редкие страницы или фразы могут выпасть из отчёта. Запросы Schai GPT к Метрике идут с точностью «full» — то есть с полной выборкой, насколько её отдаёт ваш тариф Метрики. Если в кабинете стоит иная точность, мелкие значения могут расходиться на единицы.
Атрибуция
Один и тот же визит можно приписать разным источникам: тому, откуда человек пришёл в этот раз, или тому, что привёл его первым. Яндекс описывает это в справке о моделях атрибуции на примере из четырёх визитов: по разным моделям один и тот же человек «разъезжается» по разным каналам. В инструменте есть параметр атрибуции, по умолчанию стоит «последний значимый переход», и в подписи отчёта модель называется, чтобы вы видели, по какой считали.
Есть нюанс, которого я не стану скрывать: по справке Яндекса, с 20 мая 2026 года часть моделей в интерфейсе заменили вариантами «кросс-девайс». Поэтому, если вы сравниваете чат с кабинетом по источникам и видите разницу в несколько процентов, первым делом сверяйте именно модель атрибуции, а не подозревайте ошибку в данных.
Реклама: зачем нужен фильтр «только реклама» и почему он явный
Среди параметров инструмента есть тип трафика. Он появился после живого случая: на вопрос «есть ли у меня покупки» ассистент однажды ответил цифрами только по рекламе. Модель заполняет все параметры, и если нейтрального значения нет, она выбирает канал сама. Поэтому в списке значений первым стоит «весь сайт», а в промпте агента прописано правило: фильтр по каналу ставится, только если вы сами назвали канал — «реклама», «поиск», «Директ».
Из того же источника — расходы Директа с ценой клика и ценой конверсии. Чтобы Метрика отдала расходы, ей нужен логин рекламного аккаунта; сервер не просит вас вписывать его, а спрашивает у самой Метрики, какие аккаунты привязаны к счётчику, и держит ответ в кэше на час. Если аккаунт не привязан, вы получите прямое сообщение, что расходы взять неоткуда, — а не придуманную цифру. Пост-показные заходы (когда человек увидел баннер, но не кликнул) Метрика в этих отчётах не видит; в инструкции агента прямо сказано говорить об этом, если спросят.
Агентный режим: сравнить две недели и не соврать в итоге
Один вопрос — один запрос; а «сравни эту неделю с прошлой и скажи, что просело» требует нескольких. В агентном режиме для сравнения периодов делается два запроса — по одному на интервал. Разницу и проценты считает уже сам ассистент в тексте итога. Здесь и включается страховка.
Перед тем как отдать итоговую сводку, сервер достаёт из неё все числа и сверяет с тем, что вернули инструменты. Число считается подтверждённым, если оно есть в данных (с допуском на округление: «около 28 750», «1,7 млн»), либо получается из двух чисел данных одним действием — разностью, суммой или частным. Это нужно, чтобы законные «выросло на 112 визитов» и «средний чек» не браковались. Если в тексте найдено число, которого нет в данных и которое из них не выводится, итог не отправляется: модели возвращается замечание «проверка не пройдена», в нём перечислены подозрительные числа, и она либо пересчитывает, либо переписывает ответ только по данным.
Этот приём — родственник ограничений, которые инженеры применяют против галлюцинаций вообще, о них мы писали в разборе «Почему ИИ уверенно ошибается»: привязать утверждение к источнику и дать системе возможность сказать «нет оснований».
Границы проверки: чего она не ловит
Описывать только преимущества — не наш жанр, так что вот границы, которые следуют из кода.
• Проверяются числа от сотни: всё, что меньше 100, не сверяется — считается, что это счётчики вроде «3 источника» и доли. Проценты и годы тоже пропускаются. Значит, ошибка в «47 визитах вместо 74» эту проверку пройдёт.
• Попытка одна: после замечания модель отвечает ещё раз, и второй итог принимается.
• Сверка ловит выдуманное число, но не выдуманный смысл. Если цифры верны, а вывод «реклама не окупается» — предположение модели, проверка этого не увидит. Выводы читайте как гипотезы.
• Она работает только в агентном режиме. В режиме разового вопроса числа вам показывает карточка, собранная кодом, так что там проверять нечего.
• Потолок — шесть запросов к Метрике за задачу: после этого агент обязан отвечать по собранному. Это защита от бесконечного перебора срезов за ваши деньги.
Чтение отдельно, правка отдельно
Отчёты и настройки в коде разведены. `metrika_query` и `metrika_report` только читают. Менять что-то в самой Метрике — цели, фильтры, сегменты, доступы — умеет отдельный инструмент `metrika_manage`, и ему поставлен жёсткий замок: действие удаления выполняется, только если в вашей просьбе есть слово «удали», «убери», «отзови» или близкое. Если ассистент по ходу сам решит, что «лишнюю цель неплохо бы снести», он остановится и ответит, что без прямой просьбы удалять не будет.
Ещё одна граница — права. Яндекс различает два доступа: чтение статистики (`metrika:read`) и изменение счётчиков (`metrika:write`). Schai запрашивает оба, но запись всё равно может не сработать: если приложение в Яндексе не настроено на запись или вы подключались раньше, придёт отказ 403, и ассистент так и скажет, подсказав переподключить Метрику. Цели при этом заводятся по условию: адрес страницы или имя события — «Оформил заказ» без условия создать нельзя, и ассистент должен задать один уточняющий вопрос.
Как подключить и как задавать вопросы
Подключение — в Личном помощнике, раздел «Подключения». Яндекс показывает код подтверждения, вы вставляете его в Schai, выбираете счётчик, и с этого момента инструменты Метрики появляются у вашего агента. Токены хранятся в зашифрованном виде.
Что спрашивать, чтобы ответ был точным:
• называйте период словами или датами: «за 1–7 октября», а не «недавно»;
• называйте канал только если он вам нужен: «реклама» — значит только реклама, «весь сайт» — без фильтра;
• для сравнения просите оба интервала явно: «эта неделя против прошлой, обе до среды включительно»;
• хотите конверсии — называйте цель, иначе покажутся все;
• если цифры расходятся с кабинетом, сначала спросите про модель атрибуции и период, а потом про сам счётчик.
Коротко
• В Schai GPT модель выбирает параметры запроса к Метрике, а цифры приносит API; в карточке их форматирует код.
• В агентном режиме итоговый текст проверяется: числа от сотни должны быть в данных или выводиться из них разностью, суммой или частным.
• Расхождения с кабинетом чаще всего объясняются периодом, семплированием и моделью атрибуции.
• Читающие инструменты и правящий разделены; удалять в Метрике по своей инициативе ассистент не станет.
• Проверка ловит выдуманные числа, но не выдуманные выводы: интерпретации оставляйте за собой.
Пока нет комментариев