Например, снижение числа возвращающихся игроков может быть связано с допуском к кампании, неудачными платежами, доступностью продукта или изменением измерений. Сам симптом не устанавливает причину.
Убедитесь, что сравнение корректно
Проверьте определение показателя, знаменатель, статус, когорту, валюту и часовой пояс. Убедитесь, что релиз или изменение отслеживания не поменяли объект подсчёта. Сравнивайте соответствующие периоды и сегменты на одной основе.
Проследите выборку записей до источника. Совпадающий общий итог может скрывать взаимно компенсирующие ошибки, а два разных итога могут оба быть верными при разных определениях.
Проследите затронутый сценарий
| Наблюдаемый симптом | Какие доказательства изучить |
|---|---|
| Меньше завершённых депозитов | Попытки, ответы провайдера, допуск аккаунта и сверку |
| Ниже повторная активность | Определение когорты, доступ к продукту, допуск к коммуникации и соответствующие инциденты |
| Выше расходы на бонусы | Правила начисления, квалифицирующую активность, отмены и оплачиваемый результат |
| Изменился букмекерский результат | Состав ставок, расчёты, корректировки и решения о риске |
| Необъяснимое расхождение с поставщиком | Идентификаторы транзакций, отчётный период и политику корректировок |
Выбирайте путь расследования по реальной проблеме. Корреляции с кампанией или релизом недостаточно, чтобы доказать причину изменения.
Превратите выводы в реестр проверяемых действий
Разделите подтверждённые дефекты, обоснованные объяснения и гипотезы, которым ещё нужен тест. Для каждого действия укажите доказательства, ожидаемый механизм, ответственного и шаг проверки. Включите зависимости и трудозатраты для выполнения.
Расставляйте приоритеты по влиянию на бизнес и силе доказательств. Визуально заметная проблема необязательно вызывает наибольшую потерю.
Определите объём аудита
Согласуйте системы, период, доступы и исключения до начала работ. По возможности начните с узкого вопроса и расширяйте исследование, только если данные указывают на другую часть сценария. Если основная проблема в определениях отчётности, согласуйте результат с BI и отчётностью.
Пришлите симптом и отчёты, по которым его обнаружили. Укажите недавние изменения и решение, которое нужно принять после уточнения причины.