AI-теми листів збільшили кліки на 23,63%, але приросту покупців не довели
У тесті нові теми листів привели більше людей до товарів. Команда вже готова поширити їх на всю базу, але кількість покупців переконливо не змінилася. Саме таку розбіжність описує Mercari: теми, створені мовною моделлю, збільшили показник кліків на рекомендовані товари на 23,63%, проте приросту загальної конверсії в покупця не довели. Це привід розібратися, яку задачу розв’язала зміна й чи виправдовує вона витрати на впровадження.
Дата публікації:
Що саме змінювали в експерименті Mercari
Команда Mercari провела тижневий рандомізований тест на понад мільйоні користувачів. Йшлося про людей, які нещодавно перестали заходити в застосунок, але ще взаємодіяли з email.
Контрольна тема використовувала назву першого рекомендованого товару в готовому шаблоні. У тестовій групі мовна модель створювала тематичне формулювання на основі рекомендацій. Самі товари всередині листа добирала вже наявна система. Тобто це перевірка способу представити рекомендації, а не порівняння двох товарних добірок.
Японськомовний маркетплейс також застосовував перевірки безпечності формулювань. Результат не описує безконтрольну генерацію довільних обіцянок.
Для власного тесту тут важлива чистота порівняння. Якщо разом із темою замінити товари, знижку й час надсилання, покращення не можна буде приписати саме тексту ШІ. Спочатку потрібно вирішити, який складник ви хочете оцінити. Від цього залежатимуть і налаштування тесту, і висновок, який можна зробити після нього.
Особливо важливо зберегти однаковий перелік рекомендацій: інакше виграш привабливішого товару може помилково стати доказом кращої теми листа. У цьому експерименті саме розмежування цих складників робить порівняння змістовним.
Чому найбільший відсоток не став доказом продажів
У таблиці наведені відносні зміни. Статистична визначеність допомагає відрізнити переконливий результат від коливання, яке цей тест не дозволяє надійно пояснити.
| Метрика | Зміна | Чи був результат статистично значущим |
|---|---|---|
| Відкриття email | +0,46% | Ні |
| Кліки на товари в листі | +23,63% | Так |
| Конверсія в покупця через email | +45,12% | Ні |
| Загальна конверсія в покупця | −0,42% | Ні |
Цифра +45,12% виглядає найпривабливішою, але не доводить збільшення покупців. Так само −0,42% не доводить, що нові теми зашкодили загальній конверсії.
Можливе пояснення: тема краще викликала цікавість до товарів, але цього виявилося недостатньо для покупки. Це інтерпретація, не встановлений механізм експерименту. Одного тижня та окремої аудиторії також недостатньо, щоб оголосити універсальний результат для інших мов і бізнесів.
Якщо команда обирає рішення за покупками, потрібно дивитися також на невизначеність оцінки. Статистично незначущий результат залишає питання відкритим; він не підтверджує ані відсутності будь-якої користі, ані очікуваного комерційного виграшу.
Як вирішити, чи продовжувати власний тест
Якщо мета — повернути людей до перегляду товарів, значуще зростання переходів уже відповідає частині завдання. Якщо мета — додаткові продажі, відповідь поки неповна. Не змінюйте критерій успіху лише тому, що інша метрика виглядає краще.
У звіті розділіть кліки, покупки після email і покупки всіма шляхами. Для кожної групи збережіть кількість призначених користувачів та період спостереження. Інакше зміна атрибуції може виглядати як поява нових покупців.
Окремо порахуйте час редактора, повторні генерації та вартість сервісу. Перевіряйте, чи не вигадує тема знижок, наявності або властивостей товару. Для онлайн-школи це також стосується обіцянок працевлаштування чи результатів навчання.
Продовжувати тест варто з конкретною умовою завершення: яку бізнес-різницю ви хочете виявити й скільки готові витратити на перевірку. Саме зростання кліків не відповідає на це питання.
