ИИ для анализа данных и прогнозирования: какой метод выбрать под вашу задачу

ИИ для анализа данных и прогнозирования начинается с выбора метода, а не модели. На одни вопросы отвечает обычный запрос к базе, на другие статистика, на третьи модель машинного обучения, а языковая модель нужна там, где в данных есть текст или вопрос задают словами. Мы делим вопросы на анализ (что было и почему) и прогноз (что будет), берём для каждого самый простой метод, который проходит проверку на ваших данных, и считаем в вашем контуре. Решение остаётся за человеком.

Обследование — от 200 000 ₽, 2–3 неделиСначала простой метод, сложный только если он выигрывает на проверкеДанные, модели и расчёты остаются на ваших серверах

Два класса задач

ИИ для анализа данных и прогнозирования: два класса вопросов и разные ошибки

ИИ для анализа данных и прогнозирования решает два разных класса задач, и смешивать их дорого. Первое, что мы выясняем: нужно объяснить прошлое или оценить будущее. Анализ отвечает о прошлом: сколько, где, что изменилось, почему. Прогноз оценивает будущее: сколько придёт заказов, какая нужна смена, кто из клиентов может уйти, хватит ли остатков до поставки. Ошибаются они в разных местах, поэтому и проверяют их по-разному.

Анализ: ошибка в определениях и соединениях

Число посчитано верно, но не то: выручка взята по оплате вместо отгрузки, клиент посчитан дважды, период сдвинут на день. Здесь нужны точный запрос и записанные определения, а не обучаемая модель. Языковая модель принимает вопрос словами и пишет пересказ, считает база данных. Подробнее — на странице ИИ-аналитика по данным компании.

Прогноз: ошибка в проверке

Прогноз ошибается всегда, а важно узнать насколько и в какую сторону до того, как придёт факт. Поэтому главная работа — проверка на периоде, которого модель не видела, и сравнение с простым прогнозом. Прогноз, который нельзя проверить на прошлом, мы не строим. Общее у двух классов одно: решение, ради которого задан вопрос, и срок, за который его надо принять. Если после ответа ничего не изменится, ни анализ, ни прогноз не нужны.

Анализ

Задачи анализа: вопрос, данные, метод и проверка

Заготовка для разбора ваших вопросов. Горизонта у анализа нет, зато есть решение, ради которого вопрос задают.

Задача
Данные
Метод
Чем проверяем
ЗадачаСколько и гдесправка
ДанныеПроведённые документы 1С, справочники
МетодЗапрос к витрине; модель принимает вопрос и пересказывает ответ
Чем проверяемИтог сходится с отчётом 1С по тем же определениям
ЗадачаЧто изменилосьотклонение от плана или прошлого периода
ДанныеДокументы в разрезе клиентов, товаров, цен, количества
МетодЗапрос с разложением на вклады: объём, цена, состав
Чем проверяемСумма вкладов равна общему отклонению
ЗадачаПочему так вышлопоиск причин
ДанныеПоказатели и события рядом: поставки, акции, сбои
МетодСравнение групп и периодов; модель предлагает гипотезы, человек выбирает
Чем проверяемПричина подтверждена цифрой и источником; «причина не найдена» — допустимый ответ
ЗадачаЧто необычновыбросы и сбои
ДанныеПлатежи, отгрузки, показатели процесса по дням
МетодСтатистическое правило; модель, если режимов работы несколько
Чем проверяемСпециалист размечает сработки, мы считаем долю ложных тревог
ЗадачаЧто пишут клиентытексты
ДанныеОбращения, комментарии менеджеров, причины отказов
МетодЯзыковая модель относит записи к темам, число по темам считает запрос
Чем проверяемРазметка выборки из ста-двухсот записей двумя людьми
Прогноз

Задачи прогноза: на чём считаем и на сколько вперёд

Закупки и запасы подробно разобраны на странице прогнозирования спроса; здесь задачи стоят рядом, чтобы было видно, чем различаются методы и горизонты.

Задача
Данные
Метод
Проверка и горизонт
ЗадачаСпрос по позициямзакупки, производство
ДанныеПродажи по дням, остатки, акции, календарь
МетодСезонный профиль; модель на признаках при большом ассортименте
Проверка и горизонтРазбивка по времени против «как в прошлый раз»; горизонт — срок поставки плюс интервал между заказами
ЗадачаЗагрузкасмены, склад, линия поддержки
ДанныеОперации или обращения по часам и дням, события
МетодСезонные модели по часам и дням недели
Проверка и горизонтОшибка отдельно в часы пик; горизонт от дня до двух недель
ЗадачаОтток клиентовудержание
ДанныеЗаказы, чеки, обращения; «ушёл» записан числом дней
МетодМодель на признаках; правило «давно не заказывал» как планка
Проверка и горизонтПериод после даты прогноза; цена пропуска против цены звонка; горизонт — время на звонок
ЗадачаСрок исполнения заявкиремонт, поставка
ДанныеЗакрытые заявки: тип, объём, исполнитель, даты этапов
МетодМедиана по типу как планка; модель для сложных типов
Проверка и горизонтСравнение с оценкой менеджера на новых заявках; горизонт — срок, обещанный клиенту
Выбор метода

Запрос, статистика, модель или языковая модель: как выбрать

Ступень выше берём, только если нижняя не прошла проверку на ваших данных, а выигрыш повторяется на нескольких периодах.

  1. Запрос к данным. Хватает, когда ответ — число по известным правилам: итог, срез, сравнение периодов. Дешевле и точнее модели, проверяется отчётом.
  2. Статистика. Разложение отклонения, сравнение групп, сезонный профиль, коридор вокруг прогноза. Объясняется за минуту, работает на небольшой истории.
  3. Модель машинного обучения. Нужна, когда исход зависит от многих признаков сразу (отток, срок исполнения), а простое правило проверку не проходит. Как мы её строим, описано на странице разработки моделей машинного обучения.
  4. Языковая модель. Нужна там, где вход или выход — слова: вопрос к данным, текст обращения, черновик пояснения. Числа и прогнозы она не считает: называет их уверенно, но проверки по времени не проходит.

Прогнозирование с помощью нейросетей: когда оправдано

Нейросеть для рядов оправдана при многих связанных рядах (позиции по точкам продаж), длинной истории и внешних признаках, которые простая модель не берёт. Берём её, только если выигрыш подтверждён на нескольких периодах и перекрывает стоимость сопровождения. Нет выигрыша — остаётся простой метод: его проще объяснить, проверить и передать. Выбор записывается в отчёт вместе с результатами простых методов.

Мало данных

С чего начинать ИИ для анализа данных и прогнозирования, когда данных мало

Истории меньше двух сезонов

Сезон не отличить от случайного пика, годовой профиль не строим. Берём простой прогноз по недавним периодам и показываем коридор, а исход каждого прогноза записываем: через сезон история будет.

Событий мало

Для оттока или отказа важно число самих событий, а не строк. Если их десятки, модель закономерностей не выучит. Работает правило по двум-трём признакам и разбор случаев вручную.

Позиция или клиент новые

Берём аналоги из той же группы и подписываем результат «оценка по аналогам». По мере продаж подключаем собственную историю.

Данные лежат в трёх местах

Сначала единая таблица по общим ключам: это часто половина работы, и она нужна любому методу. Без ключей модель выучит расхождения между системами.

Проверка

Какая ошибка проверки подстерегает каждый метод

Постановку и ловушки данных для прогноза разбирает статья «Предиктивная аналитика: как не ошибиться с проверкой». Здесь ошибки разложены по методам: приёмка записывается по методу, а не одной цифрой.

Метод
Как выглядит ошибка
Как ловим
Что пишем в приёмку
МетодЗапросответ на соседний вопрос
Как выглядит ошибкаЛишние строки при соединении, не тот период или определение
Как ловимСверка с отчётом учёта; период и определение рядом с ответом
Что пишем в приёмкуВопросы с эталонными таблицами
МетодСтатистикавывод шире данных
Как выглядит ошибкаПричина объявлена по одной связи; вывод по группе из трёх человек
Как ловимПроверка на соседнем периоде, минимальный размер группы, «связано», а не «вызвано»
Что пишем в приёмкуПравила формулировок, пороги групп
МетодМодель и прогноз рядаутечка, неверный период, нет планки
Как выглядит ошибкаПризнак известен только после события; строки перемешаны; проверка попала на акцию; модель сравнивают сама с собой
Как ловимДата появления каждого признака; несколько границ по времени; рядом всегда «как в прошлый раз»
Что пишем в приёмкуСхема разбивки, признаки с датами, простые методы рядом с моделью
МетодЯзыковая модельубедительный неверный ответ
Как выглядит ошибкаПравдоподобный текст со ссылкой не на тот документ или числом не из таблицы
Как ловимЧисла пересказа сверяет программа; отказ — верный ответ
Что пишем в приёмкуВопросы с отказами, порог по категориям
Эксплуатация

После запуска: что пересчитывать и когда

Дрейф, пороги и откат описаны в статье «Как следить за моделью в продакшене». Здесь график пересчёта по классам задач.

Ответы на вопросы

Устаревают определения, а не расчёт: сменилась формула показателя или появилась новая статья. Набор вопросов с эталонами прогоняем после каждого изменения и после обновления 1С.

Прогнозы

Данные обновляются по расписанию, модель переобучается по сигналу: ошибка вышла за порог, появился новый канал, изменились правила учёта. До пересчёта показываем простой прогноз с пометкой. Исходы оттока приходят с задержкой, поэтому его качество считаем по зрелым прогнозам.

Сбой данных

Выгрузка не пришла или поле опустело: прогноз получает пометку «данные на дату», а не обновляется молча. Вчерашнее число вместо свежего без пометки считается дефектом.

Что делаем

Из чего состоит работа и сколько она стоит

Суммы те же, что на странице тарифов. Точная цена бывает только у обследования, остальное называем по его итогам; остановиться можно после любой ступени.

Обследование: вопросы, данные и метод

Ваши вопросы по двум классам, источники данных, проверка на выборке, простой прогноз как планка. На выходе таблица «задача, метод, проверка» и вилка бюджета. Вычитается из первого этапа.

200 000 ₽ · 2–3 недели

Обследование: несколько систем

1С, CRM, склад и сайт вместе: схема источников и ключи сопоставления.

350 000 ₽ · 3–4 недели

Лёгкий пилот: проверка на истории

Анализ: ваши вопросы с эталонными ответами. Прогноз: обучающая таблица, простой метод и одна-две модели, проверка по времени. Результат — отчёт, есть ли выигрыш.

150 000–400 000 ₽ · 2–8 недель

Витрина данных, если её нет

Загрузка из одной-двух систем, определения показателей, права.

от 250 000 ₽ · от 4 недель

Тяжёлый пилот: расчёт в рабочем процессе

Расчёт на свежих данных рядом с вашим текущим методом, исходы записываются и сравниваются.

400 000–1 200 000 ₽ · 2–3 месяца

Вывод в эксплуатацию

Обновление данных, контроль ошибки, регламент пересчёта, обучение, передача исходников.

от 1 500 000 ₽, этапы 300 000–700 000 ₽ · от 3 месяцев

Сопровождение

Сравнение с фактом, пересчёт по регламенту, разбор промахов; плановые доработки — в пакете на 60 000 ₽.

20 000 / 60 000 / 120 000 ₽ в месяц
Процесс

Как идёт работа

2–3 недели — Вопросы и данные

Собираем вопросы к данным и решения, которые зависят от прогнозов. Проверяем выгрузки на выборке, считаем простой прогноз и фиксируем планку.

Перед пилотом — Эталоны и критерии

Аналитик пишет эталонные ответы; для прогноза записываем определение события, горизонт и порог приёмки. Часть данных закрываем до финальной проверки.

2–8 недель — Пилот на истории

Простой метод и одна-две модели, проверка по времени и по группам, разбор промахов с теми, кто будет пользоваться результатом.

2–3 месяца — Рабочий процесс

Расчёт идёт на свежих данных рядом с вашим текущим методом, исходы записываются.

Приёмка — Решение о продолжении

Отчёт по записанным критериям. Нет выигрыша — остановка, исходники и отчёт остаются у вас.

Дальше — эксплуатация или новые вопросы

Регламент пересчёта, мониторинг, новые вопросы на собранных данных.

Контроль

Что остаётся у вас и чего мы не делаем

Остаётся у вас

  • Исходный код в вашем репозитории с первого коммита.
  • Запросы, модели, эталонные наборы и скрипты проверки: расчёт можно повторить без нас.
  • Данные, обученные модели и журнал исходов на ваших серверах.
  • Право остановиться после любой ступени: сделанное остаётся у вас по акту.

Мы этого не делаем

  • Не заменяем аналитика: причину предлагаем, утверждает человек.
  • Не называем точность прогноза заранее: до проверки на ваших данных любая цифра выдумана.
  • Не строим кредитный скоринг и не даём финансовых, инвестиционных и юридических заключений.
  • Не берём работы дешевле 150 000 ₽, не дежурим круглосуточно, лицензии ФСТЭК нет.
Условный пример

Время ответа поддержки выросло, а к понедельнику нужен график смен

Условный пример без реального клиента. Руководитель службы поддержки спрашивает: «Почему вырос срок первого ответа и сколько операторов ставить на ближайшие две недели?» Это два вопроса разных классов, и закрывают их разные методы.

Первый вопрос: анализ

Запрос к базе заявок раскладывает рост срока ответа по часам, темам и сменам. Тему обращения определяет языковая модель по тексту, потому что поле «категория» заполнено не у всех заявок; число по темам считает запрос. Условная находка: срок вырос только в вечерние часы по одной теме, после смены правил возврата. Пока нет документа о смене правил, это гипотеза.

Второй вопрос: прогноз

Прогнозируем число обращений по часам. Планка — «столько же, сколько в такой же день прошлой недели». Сезонный профиль по часам и дням недели добавляет известные события: рассылку и акцию. Проверка идёт на трёх последних неделях, которых модель не видела, ошибка считается отдельно в часы пик. Не выиграл профиль у планки — остаётся планка.

Причину и действие (поправить шаблон ответа по теме возврата) определяет человек, как и коридор нагрузки для смен. Языковая модель не посчитала ни одного числа, она только прочитала тексты.

Соседние решения

Анализ, прогноз, BI или своя модель: что заказывать

Постоянные панели с утверждёнными показателями, которые смотрят каждую неделю, — это BI и витрина данных: прогноз для них не нужен. Вероятность события (отток, риск неоплаты, закрытие сделки) мы описываем на странице предиктивной аналитики, а вопросы по продажам с еженедельной сводкой — на странице ИИ для анализа продаж.

Если неясно, готовы ли данные, начните с проверки на пятидесяти строках: порядок описан в статье «ИИ для анализа данных: что подготовить до начала», а подготовку к пилоту любого типа разбирает материал «Как подготовить данные для ИИ-пилота».

Подготовка

Что принести на обследование

  • Пять-десять вопросов, которые вы задаёте данным чаще всего, и решение, которое зависит от каждого ответа.
  • Прогнозы, которые строите сейчас, в любом виде: таблица, оценка менеджера, правило «как в прошлый раз».
  • Выгрузки за два-три года по ключевым процессам, перечень систем и события, на которых прогноз «ломается»: акции, смены правил учёта, сбои.
Материалы

Материалы по теме

Статья

ИИ для анализа данных: что подготовить до начала

Вопрос бизнеса, словарь терминов, права и проверка качества на пятидесяти строках до первого запуска.

  • Вопрос и решение
  • Словарь терминов
  • Проверка на 50 строках
Читать →
Статья

Предиктивная аналитика: как не ошибиться с проверкой

Цель, горизонт и момент решения, ловушки в данных, проверка по времени и против простого правила.

  • Постановка
  • Ловушки
  • Проверка
Читать →
Статья

Как следить за моделью в продакшене: дрейф, качество, откат

Четыре слоя мониторинга и что делать, когда ошибка растёт.

  • Дрейф
  • Пороги
  • Откат
Читать →
Заявка

Разберём ваши вопросы к данным и прогнозы

Сорок минут созвона: какие вопросы вы задаёте данным, какие решения зависят от прогноза, где лежат данные. Скажем, где хватит запроса, где нужна модель и с какой ступени начинать.

или оставьте заявку

Спасибо, заявка отправлена. Ответим в течение рабочего дня.

Не удалось отправить. Напишите в Telegram или MAX, или позвоните.

Вопросы

Частые вопросы: ии для анализа данных и прогнозирования

Сколько стоит ИИ для анализа данных и прогнозирования?

Обследование — 200 000 ₽ за один-два процесса (2–3 недели), 350 000 ₽ при нескольких системах, 500 000 ₽ для производства или контура. Дальше цену двигают число вопросов и прогнозов, состояние данных и место результата: отчёт или рабочая система. Лёгкий пилот — 150 000–400 000 ₽, тяжёлый — 400 000–1 200 000 ₽. Обследование вычитается из первого этапа.

Чем анализ данных с помощью ИИ отличается от обычного отчёта?

Отчёт отвечает на заготовленный вопрос. При анализе с ИИ вопрос задают словами, система строит запрос и показывает его вместе с таблицей, поэтому результат проверяется. Считает база данных, а не модель. Постоянные панели остаются за BI.

Когда нужно прогнозирование с помощью нейросетей, а когда хватает простой модели?

Нейросеть оправдана при многих связанных рядах, длинной истории и внешних признаках, которые простая модель не берёт. Решает проверка: сначала считаем «как в прошлый раз», сезонный профиль и модель на признаках, а сложный метод берём, только если выигрыш повторяется на нескольких периодах.

Можно ли узнать точность прогноза заранее и сколько нужно истории?

Точность заранее назвать нельзя: до проверки на ваших данных любая цифра выдумана. Мы называем способ замера и порог приёмки, которые вы утверждаете до начала. Для сезонного ряда нужно не меньше двух циклов, для редких событий важно число самих событий. Что хватает вам, видно на обследовании.

Что будет, если после запуска модель начнёт ошибаться?

Ошибка сравнивается с фактом по расписанию. Если она выходит за порог из регламента, пользователи видят простой прогноз с пометкой, а мы разбираем причину: сбой данных, смена правил учёта или дрейф. Переобучение — решение владельца модели, а не автоматика.

Где работают модели и кому принадлежит код?

Основной вариант — ваши серверы: для данных ограниченного доступа внешние сервисы чаще не подходят по требованиям заказчика, а персональные данные граждан России обычно должны храниться в России (это не юридическая консультация). Код лежит в вашем репозитории с первого коммита, модели и скрипты проверки передаются по акту.

Вы работаете только в Ростове-на-Дону?

Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.