Оптимизирано облак за интелигентност: Как да използвате Stats Engine за A/B тест по -интелигентен и по -бърз

Оптимизирана статистика на двигателя и A/B стратегии за тестване

Ако искате да стартирате експериментална програма, която да помогне на вашия бизнес да тества и учи, има вероятност да използвате Оптимизирано облак за интелигентност - или поне си го погледнал. Optimizely е един от най -мощните инструменти в играта, но като всеки такъв инструмент, може да го използвате погрешно, ако не разбирате как работи. 

Какво прави Optimizely толкова мощен? В основата на неговия набор от функции лежи най-информираният и интуитивен статистически механизъм в инструмент на трета страна, който ви позволява да се съсредоточите повече върху получаването на важни тестове на живо-без да се притеснявате, че погрешно интерпретирате резултатите си. 

Подобно на традиционно сляпо изследване в медицината, A / B тестване на случаен принцип ще покаже различно лечение на вашия сайт на различни потребители, за да сравнят ефикасността на всяко лечение. 

След това статистиката ни помага да направим изводи за това колко ефективно може да бъде това лечение в дългосрочен план. 

Повечето инструменти за A/B тестване разчитат на един от двата типа статистически изводи: честота или байесова статистика. Всяко училище има различни плюсове и минуси - Често срещаните статистики изискват размер на извадката да бъде фиксиран преди провеждане на експеримент, а байесовата статистика се грижи главно за вземане на добри решения за насочване, вместо да посочва каквато и да е цифра за въздействие, за да назовем два примера. Суперсилата на Optimizely е, че това е единственият инструмент на пазара днес, за да вземе най-доброто от двата свята подход.

Крайният резултат? Оптимизирано позволява на потребителите да провеждат експерименти по -бързо, по -надеждно и по -интуитивно.

За да се възползвате напълно от това обаче, е важно да разберете какво се случва зад кулисите. Ето 5 прозрения и стратегии, които ще ви накарат да използвате възможностите на Optimizely като професионалист.

Стратегия №1: Разберете, че не всички показатели са създадени равни

В повечето инструменти за тестване често пренебрегван проблем е, че колкото повече показатели добавяте и проследявате като част от теста си, толкова по -вероятно е да видите някои неправилни заключения поради случайна случайност (в статистиката това се нарича „проблем с множество тестове ”). За да запази резултатите си надеждни, Optimizely използва поредица от контроли и корекции, за да поддържа вероятността това да се случи възможно най -ниско. 

Тези контроли и корекции имат две последици, когато отидете да настроите тестове в Optimizely. Първо, показателят, който определяте като свой Първична метрика най -бързо ще достигне статистическа значимост, всички останали неща са постоянни. Второ, колкото повече показатели добавите към експеримент, толкова по -късно ще ви отнеме по -късните показатели да достигнат статистическа значимост.

Когато планирате експеримент, уверете се, че знаете кой показател ще бъде вашият истински север в процеса на вземане на решения, направете го вашият първичен показател. След това запазете останалата част от списъка си с показатели чиста, като премахнете всичко, което е твърде излишно или тангенциално.

Стратегия №2: Изградете свои собствени персонализирани атрибути

Optimizely е чудесно да ви даде няколко интересни и полезни начина да сегментирате резултатите от експеримента си. Например можете да проверите дали някои лечения се представят по -добре на настолни и мобилни устройства или да наблюдавате разлики между източниците на трафик. С напредването на програмата ви за експериментиране вие ​​бързо ще пожелаете нови сегменти-те може да са специфични за вашия случай на използване, като сегменти за еднократни покупки срещу абонамент или като общи като „нови срещу завръщащи се посетители“ (което, честно казано, все още не можем да разберем защо това не е предоставено от кутията).

Добрата новина е, че чрез полето на JavaScript на Optimizely, инженерите, запознати с Optimizely, могат да създадат произволен брой интересни персонализирани атрибути, към които посетителите могат да бъдат назначени и сегментирани. В Cro Metrics сме изградили редица стокови модули (като „нови срещу завръщащи се посетители“), които инсталираме за всички наши клиенти чрез техния проект Javascript. Използването на тази способност е ключов разграничител между зрелите екипи, които имат подходящите технически ресурси, които да им помогнат да се справят, и екипите, които се борят да реализират пълния потенциал на експериментирането.

Стратегия №3: Разгледайте Статистическия ускорител на Optimizely

Една често преувеличена функция на инструмента за тестване е възможността да се използват „многоръки бандити“, вид алгоритъм за машинно обучение, който динамично се променя, когато трафикът ви се разпределя в хода на експеримент, за да изпрати възможно най-много посетители към „печелившите“ възможно най -различни вариации. Проблемът с многоръките бандити е, че техните резултати не са надеждни индикатори за дългосрочни резултати, така че случаят на използване за тези видове експерименти е ограничен до чувствителни към времето случаи като насърчаване на продажбите.

Оптимизирано обаче има различен тип бандитски алгоритъм, достъпен за потребителите на по -високи планове - Stats Accelerator (сега известен като опцията „Ускоряване на обучението“ в рамките на Bandits). В тази настройка, вместо да се опитва да разпределя динамично трафика към най-ефективния вариант, Optimizely динамично разпределя трафика към вариациите, които най-вероятно ще достигнат най-бързо статистическа значимост. По този начин можете да научите по -бързо и да запазите възпроизводимостта на традиционните резултати от A/B тестове.

Стратегия #4: Добавете емотикони към имената на вашите показатели

На пръв поглед тази идея вероятно звучи неуместно, дори безсмислено. Ключов аспект на това да се уверите, че четете правилните резултати от експеримента, започва да се уверите, че вашата аудитория може да разбере въпроса. 

Понякога въпреки нашите усилия, имената на показателите могат да станат объркващи (изчакайте - дали този показател се активира, когато поръчката е приета, или когато потребителят отвори страницата с благодарност?), Или експериментът има толкова много показатели, които превъртат нагоре и надолу резултатите страницата води до пълно когнитивно претоварване.

Добавянето на емотикони към имената на вашите показатели (цели, зелени отметки, дори голямата торба с пари може да работи) може да доведе до страници, които са много по -сканируеми. 

Повярвайте ни - четенето на резултатите ще се почувства много по -лесно.

Стратегия №5: Обмислете отново нивото си на статистическа значимост

Резултатите се считат за убедителни в контекста на експеримент Optimizely, когато са достигнати статистическа значимост. Статистическата значимост е труден математически термин, но по същество това е вероятността вашите наблюдения да са резултат от реална разлика между две популации, а не просто случайна случайност. 

Докладваните нива на статистическа значимост на Optimizely са „винаги валидни“ благодарение на математическа концепция, наречена последователно тестване - това всъщност ги прави далеч по -надеждни от тези на други инструменти за тестване, които са склонни към всякакви „надничащи“ проблеми, ако ги прочетете твърде рано.

Струва си да се обмисли кое ниво на статистическа значимост смятате за важно за вашата програма за тестване. Докато 95% е конвенцията в научната общност, ние тестваме промените в уебсайта, а не ваксините. Друг често срещан избор в експерименталния свят: 90%. Но готови ли сте да приемете малко повече несигурност, за да провеждате експерименти по -бързо и да тествате повече идеи? Може ли да използвате 85% или дори 80% статистическа значимост? Преднамереното отношение към баланса на риска и възнаграждението може да изплати експоненциални дивиденти във времето, така че обмислете това внимателно.

Прочетете повече за Optimizely Intelligence Cloud

Тези пет бързи принципа и прозрения ще бъдат изключително полезни да имате предвид, докато използвате Optimizely. Както при всеки инструмент, той се свежда до това да сте сигурни, че имате добро разбиране за всички задкулисни персонализации, така че можете да сте сигурни, че използвате инструмента ефективно и ефективно. С тези разбирания можете да получите надеждни резултати, които търсите, когато имате нужда от тях. 

Какво мислите?

Този сайт използва Akismet за намаляване на спама. Научете как се обработват данните за коментарите ви.