Впевненість у тому, чого ви не знаєте, є початком будь-якої успішної кампанії A/B-тестування. Бізнес-рішення, засновані виключно на інтуїції або минулому досвіді, є упередженими і можуть не відповідати інтересам кінцевого користувача.
A/B-тестування мобільних додатків і загальна культура експериментів допомагають менеджерам по продукту мобільних додатків і маркетологам знизити вартість нових ідей і оптимізувати коефіцієнт конверсії.
Чисто кількісні інструменти A/B-тестування можуть надати статистику про те, який варіант з вашого тесту виявився найефективнішим. Але ці цифри стають більш вагомими у поєднанні з якісними – нечисловими – даними, які розкривають, як і чому відбувається поведінка користувачів, і саме з цього складаються всі історії успіху клієнтів. Чудова експериментальна гіпотеза продукту використовує попереднє дослідження обох методів.
Найкращі інструменти для тестування мобільних додатків
Давайте розглянемо найкращі інструменти для тестування мобільних додатків та програмне забезпечення для проведення експериментів з мобільними додатками, щоб покращити коефіцієнт конверсії додатків.
Firebase
Firebase – це платформа для розробки мобільних і веб-додатків від Google, яка пропонує розробникам кілька різних інструментів і сервісів. Ви можете використовувати її для управління бекенд-інфраструктурою, моніторингу продуктивності та стабільності, а також для A/B-тестування мобільних додатків.
Для: Веб-сайти та мобільні.
Можливості: Google Analytics, прогнозування, A/B тестування, аутентифікація, крашлітіка.
Ціноутворення: Безкоштовні та кастомні платні плани.
Optimizely
Optimizely – це платформа для експериментів, яка дозволяє створювати і запускати A/B і багатовимірні тести на веб-сайтах і мобільних додатках. Ви можете створювати різноманітні експерименти Optimizely для своїх веб-сторінок. Optimizely Classic Mobile дозволяє запускати експерименти Optimizely у вашому додатку для iOS або Android.
Для: Веб-сайти та додатки.
Можливості: A/B тести, базова звітність.
Ціноутворення: Доступні різні плани, з фокусом на великі підприємства.
Apptimize
Apptimize – це крос-платформний інструмент для експериментів, оптимізації та випуску нових функцій. Ви можете запускати A/B-тести на різних платформах за допомогою централізованої інформаційної панелі. Інструмент також керує релізами з поетапним розгортанням.
Для: Веб-сайт та додатки.
Функціональність: A/B-тестування, прапори функцій.
Ціноутворення: 30-денна безкоштовна пробна версія, індивідуальне ціноутворення.
Ось він, наш список найкращих інструментів для тестування мобільних додатків. Далі ми розглянемо найкращі інструменти якісної аналітики для підтримки вашого програмного забезпечення для a/b тестування мобільних додатків.
Найкраще якісне аналітичне програмне забезпечення для використання з платформами A/B-тестування
UXCam
Звичайно, ми упереджені, але ви навряд чи знайдете більш комплексний інструмент лише для мобільних додатків. UXCam пропонує аналітику подій, але більше того, ви можете заглибитися в індивідуальний досвід користувачів. На інформаційній панелі ви можете позначати сеанси користувачів і фільтрувати такі проблеми, як натискання в стані гніву, теплові карти натискань, що не відповідають, бачити, де користувачі випадають з воронки, а також вручну досліджувати і переглядати сеанси.
Цей неймовірний рівень деталізації дозволяє фахівцям з оптимізації конверсії (CRO), маркетологам і розробникам формувати обґрунтовані гіпотези та вирішувати, що саме тестувати. UXCam інтегрується з:
- Нативний Android
- Нативна iOS
- Flutter
- React Native
- Cordova
- Xamarin
- Nativescript
Відвідайте нашу сторінку для розробників, щоб дізнатися, як використовувати UXCam разом з платформами A/B тестування, такими як Firebase, Crashlytics, Intercom та Amplitude.
Для: Мобільні додатки.
Можливості: Теплові карти, запис сесій, воронки, аналітика користувачів, подій, аналітика проблем.
Ціна: Безкоштовна пробна версія, ціна за запитом.
Зареєструйте безкоштовний обліковий запис UXCam тут – з 10 000 безкоштовних щомісячних сесій і необмеженими можливостями.
VWO
VWO – це комплексний інструмент для A/B-тестування та аналітики, який компанії використовують для експериментів, оптимізації конверсії, юзабіліті-тестування тощо. Ви можете налаштовувати та запускати A/B тести та багатовимірні тести безпосередньо в редакторі VWO.
Для: Веб-сайти та додатки.
Можливості: A/B тести, теплові карти, опитування, аналітика форм.
Ціни: Три тарифні плани залежно від необхідних функцій.
Hotjar
Hotjar має на меті дати вам повну картину того, як покращити користувацький досвід. Інструмент поєднує в собі багато джерел якісних даних, включаючи теплові карти, записи сеансів та опитування користувачів. Найвідомішою його функцією, мабуть, є теплові карти, що відображають кліки, рухи та прокрутки миші. Хоча Hotjar є надзвичайно популярним і потужним інструментом для веб-сайтів, він не сумісний з мобільними додатками.
Якщо ви шукаєте інструмент, який пропонує теплові карти і записи сеансів для мобільних додатків, зверніть увагу на цей.
Для: Тільки для веб-сайтів та мобільного інтернету.
Можливості: Теплові карти, запис сесії, вхідні відгуки, опитування.
Ціноутворення: Пропонує особисті, бізнес та агентські плани.
Crazy Egg
Crazy Egg пропонує подібну до Hotjar функціональність, з тепловими картами та записами сесій, а також вбудованим A/B-тестуванням. За даними CrazyEgg, понад 300 000 веб-сайтів використовують їхній інструмент для покращення того, що працює, виправлення того, що не працює, та тестування нових ідей.
Для: Тільки для веб-сайтів та мобільного інтернету.
Можливості: Теплові карти, запис сесії, A/B тестування.
Ціна: Починається від $24 на місяць за базовий план з індивідуальним ціноутворенням для підприємств.
Що таке A/B-тестування?
У маркетингу мобільних додатків для оптимізації конверсії часто використовують A/B-тестування. Це контрольований експеримент, в якому вибірка користувачів випадковим чином ділиться на дві групи. Одна група піддається обробці. Друга використовується як контроль для вимірювання змін.
Група А піддається впливу варіанту, наприклад, різних кольорів шрифту на екрані, в той час як середовище групи Б не зазнає жодних змін порівняно з початковим. Якщо різниця виявлена і має достатньо високу статистичну значущість, продакт-менеджери зазвичай підтверджують або відкидають свою гіпотезу.
На які питання відповідає A/B-тестування?
Постановка якісних запитань може призвести до дуже успішних A/B-тестів. У кращому випадку кількісні цифри можуть вказувати на користувацький досвід, але самі по собі цифри можуть вводити в оману. Вони спокушають нас робити власні висновки занадто рано.
Після того, як ви досягли статистичної значущості кількісних результатів, настав час перейти до питань, на які вам допоможуть відповісти інструменти поведінкового аналізу:
- Поведінкова атрибуція: Чи дійсно покращення онбордінгу було результатом затемнення кольору кнопок? Які ще фактори вплинули на зміну поведінки в додатку?
- Джерело розчарування: В який момент і чому вони вирішили піти, не завершивши адаптацію?
- Мотивація: Що шукав користувач, коли відкрив додаток?
Варіант використання
Покращення кількісного A/B-тестування: Як якісні дані допомогли знайти першопричину низької ефективності воронки конверсії для цього мобільного додатку.
Ситуація:
Мережа ресторанів щойно запустила свій новий додаток, перенісши веб-сайт на мобільні пристрої для прийому онлайн-замовлень. Компанія провела аналіз конкурентів і деякі дослідження користувачів щодо того, як має бути розроблений новий процес реєстрації користувачів. Вони дійшли висновку, що процес буде більш зручним для користувачів, якщо вони будуть просити лише одне поле для введення даних на екрані, як на цьому прикладі:
- Екран 1: Введіть адресу електронної пошти
- Екран 2: Введіть ім’я
- Екран 3: Встановіть пароль
- Екран 4: Підтвердження перевірки електронної пошти, здійсненої користувачем
- Екран 5: Прийняття політики конфіденційності та опціональна підписка на маркетингову розсилку
Після надходження достатньої кількості даних воронка реєстрації показує, що коефіцієнт конверсії нижчий за очікування та середні показники в галузі. Високий відсоток відсіву після екрану встановлення пароля.
Користувачам також показувалися хлібні крихти (наприклад, вони могли бачити, що перебувають на 3 кроці з 5) про їхній прогрес. На основі цифр та кількох інтерв’ю з користувачами команда припускає, що користувачі очікували, що деякі кроки можна буде пропустити або завершити на одному екрані. Але коли користувачі бачили, що після встановлення пароля залишилося ще два кроки, вони припиняли процес.
Формування гіпотези на основі минулого досвіду:
Продакт-лідер раніше працювала з мобільним додатком для ресторанів конкурентів. Додаток, над яким вона працювала, мав 3 екрани реєстрації. Коефіцієнт конверсії при реєстрації був на 20% вищим, ніж поточний коефіцієнт конверсії. Вона стверджувала, що якщо вони скоротять процес і об’єднають наступні екрани:
- Екран 1: Ім’я та електронна пошта
- Екран 2: Налаштування пароля та реєстрація
- Екран 3: Підтвердження перевірки електронної пошти, виконаної користувачем
…вони зможуть збільшити коефіцієнт конверсії.
Кількісна гіпотеза: Скорочення процесу реєстрації з 5 до 3 екранів збільшить конверсію реєстрації на 20%.
Команда дизайнерів UX/UI заперечила, що запропоновані зміни перевантажать користувача і ще більше знизять коефіцієнт конверсії. Тому просто переключитися на 3 екрани було неможливо. Щоб припинити ці дебати, продакт-менеджер вирішив провести A/B-тест, щоб виміряти вплив запропонованого спрощення на потік реєстрацій.
A/B testing outcome:
Перевіривши гіпотезу на основній групі, команда виявила, що зменшення кількості екранів не вирішило проблему. На етапі створення пароля все ще спостерігався високий рівень відсіву. Таким чином, гіпотезу було відхилено.
Команда розробників попросила команду інженерів налаштувати спеціальну подію, яка відстежує помилки при створенні пароля. Кількість помилок при створенні паролів значно зросла з того часу, як команда запустила новий потік реєстрації. Після занурення в дані та сегментації за версіями додатків, команда виявила, що помилки налаштування пароля були високими лише в останній версії (наприклад: версія 1.4 проти 1.3). Враховуючи, що вимоги до паролів не змінилися з моменту оновлення, команда не зрозуміла, в чому була проблема.
Саме тут на допомогу приходять якісні дані, які забезпечують життєво важливий контекст для розуміння першопричини низької ефективності воронки:
Команда використовує другий інструмент продуктової аналітики для глибокого занурення в повтори сеансів на етапі створення пароля – етапі з високим показником відсіву. На записаних відео видно, як користувачі повторно вводять паролі після того, як постійно бачать банер “пароль недостатньо надійний”.
При подальшому дослідженні з’ясувалося, що налаштування безпеки паролів команди інженерів вимагали від користувачів використовувати великі літери та спеціальні символи. Однак користувальницький інтерфейс в останній версії не повідомляв про це користувачеві. Він просто продовжував надсилати повідомлення про те, що “пароль недостатньо надійний”.
І тут настав момент ага. Вони протестували наступні зміни на групі пацієнтів:
- Зробили вимоги до паролів менш суворими, прибравши необхідність великої літери, але залишивши тільки спеціальні символи.
- Додано мікрокопію під полем пароля з вимогою “Повинен містити принаймні один спеціальний символ“.
- Налаштуйте слабкий, середній і сильний індикатор під полем пароля, який показуватиме в реальному часі оновлення надійності в міру того, як користувачі вводять свої паролі.
Після оновлень вони одразу помітили зростання конверсії.
Отже, початкова кількісна гіпотеза про те, що кількість екранів впливає на коефіцієнт конверсії, не підтвердилася. Натомість справжню проблему потрібно було виявити за допомогою якісного аналізу поведінки користувачів у воронці конверсії.
Навіщо використовувати такий якісний інструмент, як UXCam?
A/B-тест зайняв багато планування, зустрічей та аналізу. Розробка коротшого потоку реєстрації та його запуск забирає багато часу та ресурсів. Команда могла б заощадити багато часу, якби перевірила свою гіпотезу перед початком експерименту.
Як ви можете бачити на прикладі нашого ресторану, навіть коли у вашому додатку спрацьовують події з даними, все одно важко зрозуміти мотив, що стоїть за тими чи іншими рішеннями. Ви можете краще зрозуміти, чому люди не переходять на наступний екран, а не тільки те, що вони не просуваються в онбордингу. Розширюйте контекст поведінки, переглядаючи теплові карти та записи сесій з конкретних подій. Завдяки цій інформації ви зможете краще зрозуміти розчарування користувача і підтвердити своє припущення.
Як створити власну гіпотезу для A/B тестування?
Створення обґрунтованої, перевіреної гіпотези – це спосіб, за допомогою якого продакт-менеджери та маркетологи можуть переконатися, що вони проводять тестування з думкою про клієнта. Гіпотеза – це твердження, яке виглядає приблизно так: “Якщо x, то y збільшиться на z”. Як ми вже згадували у вступі, якісні інструменти можуть допомогти вам написати її.
Переконлива гіпотеза – це завжди результат кількох різних даних і рекомендацій щодо змін, які позитивно вплинуть на ваш коефіцієнт конверсії. Крейг Салліван, оптимізатор конверсії, пропонує цей чудовий шаблон для написання гіпотези на основі даних:
- Пояснює дані
- Перераховує вплив
- Вказує основну вирішальну метрику, яка покаже, чи має зміна вплив
Щоб дізнатися більше про формування гіпотези, ознайомтеся з розділом “Крок #2: Формування гіпотези” в нашому повному посібнику з оптимізації конверсії мобільних сайтів.
Які інструменти поведінкової аналітики я можу використовувати, щоб сформулювати свою гіпотезу?
Якщо ви намагаєтеся збільшити коефіцієнт конверсії мобільного додатку, ви, швидше за все, вже використовуєте інструмент кількісної аналітики, такий як Firebase або Optimizely (про них ми поговоримо пізніше). Ці кількісні звіти дають вам уявлення про те, як різні аудиторії реагували на різні змінні, які ви налаштували. Використання додаткового SDK, який фокусується на поведінковій аналітиці, доповнить картину.
Ось що важливо
Для деяких маркетологів якісні дані розглядаються як другорядне питання, оскільки їх збір може забирати багато часу – нескінченні інтерв’ю, записи та опитування можуть бути непосильними. На щастя, у 2021 році існує безліч інструментів поведінкової аналітики, які допоможуть вам масштабувати та оптимізувати процес дослідження.
Якщо ви хочете дізнатися більше про дослідження та інструменти, перегляньте інші наші статті:
Якісний та кількісний аналіз (ексклюзивна інфографіка)
Повний посібник з оптимізації конверсії мобільних веб-сайтів
CRO для мобільних: 7 способів підвищити мобільний коефіцієнт конверсії
ОРИГІНАЛ СТАТТІ:7 Best AB Testing Tools for Mobile Apps
АВТОР СТАТІ:Jane Leung
🚀Долучайтесь до нашої спільноти Telegram:
🚀Долучайтесь до нашої спільноти FaceBook:
