Бесплатные кредиты помогают начать. Что помогает вернуться?
Продуктовый вопрос возник из опыта Альбины в Monolit: как изменить выдачу бесплатных AI-кредитов, чтобы поддерживать повторное полезное использование. Сохранённых логов компании и подтверждённого результата внедрения нет.
Для портфолио создано самостоятельное исследование на синтетических данных. Оно сравнивает $5 при регистрации с $1 в каждый из пяти дней при соблюдении условий. Отдельный анализ реальных сессий UCI решает другую задачу.
Один исходный бюджет. Две механики.
Распределённые кредиты могут дать пользователю несколько возможностей найти ценность. Одновременно возможны возвраты без полезной работы и замещение платного спроса.
Полезное использование определено как минимум двумя успешными AI-запросами в день. Это операционная метрика, а не доказательство завершённой задачи. Выдача кредита не требует визита; расходы и истечение каждого гранта учитываются отдельно.
Связанная модель вместо независимых случайных таблиц.
Модель следует за 10 000 пользователями в течение 90 календарных дней. Сессии порождают запросы; запросы расходуют баланс и создают стоимость; подписки формируют платежи и могут отменяться. Восемь связанных таблиц поддерживают SQL, Python и дашборд.
Знаменатели включают неактивных пользователей с достаточным временем наблюдения. Поздние когорты исключаются только из недоступных окон. Фиксированный seed, проверки баланса и сопоставление SQL с Python делают вычисления воспроизводимыми.
Большой D7-эффект ещё не доказывает привычку.
В базовом синтетическом запуске полезное удержание D7 составляет 1,38% в контроле и 21,27% в тесте. Разность — +19,89 п.п.; 95% интервал: [+18,67; +21,13] п.п. Это результаты выбранной модели, а не эксперимента Monolit.
Кредит контроля истекает в начале D7, а более поздние кредиты теста доступны до начала D11. Значительная часть различия связана с доступностью средств в точке измерения. Для реального пилота нужно согласовать окончание доступности или явно тестировать весь пакет условий, а также измерять D14/D30 после наград.
Больше возвратов может означать меньше ценности.
В нейтральном сценарии разность вклада за первые 30 дней — +$0,142 на зрелого пользователя; 95% интервал: [−$0,154; +$0,438]. Положительная экономическая прибавка не доказана.
В негативном сценарии полезное удержание D7 растёт на 17,28 п.п., но вклад ухудшается на $0,732. Решающее правило не допускает переход к пилоту при нарушении экономических ограничений. Вклад здесь равен выручке от подписки минус смоделированная стоимость инференса; CAC, налоги, комиссии и накладные расходы не включены.
Сначала правила решения. Затем результат.
План предусматривает рандомизацию по аккаунту, ITT-популяцию, интервалы разности долей, проверку SRM и корректировку Holm для вторичных сравнений. Ограничения по вкладу, платной конверсии и активности без успешных запросов защищают от одностороннего вывода по удержанию.
Сценарии и чувствительность проверяют зависимость от предположений. A/A проверяет поведение статистического инструмента внутри модели. Интервалы не покрывают неопределённость самой поведенческой модели. Открыть интерактивное исследование ↗
12 330 сессий. Другая задача и другой уровень доказательств.
Датасет UCI Online Shoppers Purchasing Intention анализируется отдельно с атрибуцией и лицензией CC BY 4.0. Доля сессий с покупкой — 15,47%; 95% интервал Wilson: [14,85%; 16,12%]. Пропуски и повторяющиеся строки признаков проверены явно.
Нет постоянных ID пользователей, точных временных меток и сумм транзакций. Поэтому из этих данных не рассчитываются пользовательское удержание, ARPU или причинный эффект AI-кредитов. Открыть отдельный анализ реальных данных ↗
Сделать продуктовое решение проверяемым.
Альбина связала вопрос из продуктового контекста с исследовательской логикой: полезное удержание, сравнимый бюджет и экономические ограничения. Независимый проект соединяет моделирование, SQL/Python, эксперименты и интерактивный интерфейс; реализация выполнена с помощью AI.
Следующий шаг для реального продукта — проверить инструментирование и биллинг, определить полезный пользовательский результат, оценить базовые частоты и мощность на реальных данных и зарегистрировать план пилота до анализа результатов.