Optimizely Intelligence Cloud: como usar o Stats Engine para testar A / B com mais inteligência e rapidez

Optimizely Stats Engine e estratégias de teste A / B

Se você deseja executar um programa de experimentação para ajudar sua empresa a testar e aprender, é provável que esteja usando Optimizely Intelligence Cloud - ou você pelo menos olhou para ele. Optimizely é uma das ferramentas mais poderosas do jogo, mas como qualquer ferramenta, você pode usá-la incorretamente se não entender como funciona. 

O que torna o Optimizely tão poderoso? No centro de seu conjunto de recursos está o mecanismo de estatísticas mais informado e intuitivo em uma ferramenta de terceiros, permitindo que você se concentre mais em fazer testes importantes ao vivo - sem precisar se preocupar em interpretar mal seus resultados. 

Muito parecido com um estudo cego tradicional em medicina, Teste A / B Exemplo: crie XNUMX textos de email > XNUMX pessoas na sua lista, XNUMX receberao XNUMX email e XNUMX receberão outro e veja qual email converteu mais irá mostrar aleatoriamente diferente tratamentos do seu site para diferentes usuários para, em seguida, comparar a eficácia de cada tratamento. 

As estatísticas nos ajudam a fazer inferências sobre a eficácia desse tratamento a longo prazo. 

A maioria das ferramentas de teste A / B depende de um dos dois tipos de inferência estatística: Estatísticas de frequência ou Bayesiana. Cada escola tem vários prós e contras - as estatísticas freqüentistas exigem que um tamanho de amostra seja fixado antes da execução de um experimento, e as estatísticas Bayesianas se preocupam principalmente em tomar boas decisões direcionais, em vez de especificar qualquer figura única para o impacto, para citar dois exemplos. O superpoder da Optimizely é que é a única ferramenta no mercado hoje para fazer um melhor dos dois mundos abordagem.

O resultado final? O Optimizely permite que os usuários executem experimentos de forma mais rápida, confiável e intuitiva.

Para tirar o máximo proveito disso, no entanto, é importante entender o que está acontecendo nos bastidores. Aqui estão 5 ideias e estratégias que ajudarão você a usar os recursos do Optimizely como um profissional.

Estratégia # 1: Entenda que nem todas as métricas são criadas iguais

Na maioria das ferramentas de teste, um problema comumente esquecido é que quanto mais métricas você adiciona e rastreia como parte do seu teste, maior a probabilidade de ver algumas conclusões incorretas devido ao acaso (nas estatísticas, isso é chamado de “problema de teste múltiplo ”). A fim de manter seus resultados confiáveis, Optimizely usa uma série de controles e correções para manter as chances de que isso aconteça o mais baixo possível. 

Esses controles e correções têm duas implicações quando você vai configurar testes no Optimizely. Primeiro, a métrica que você designa como seu Métrica Primária alcançará significância estatística mais rápido, todas as outras coisas constantes. Em segundo lugar, quanto mais métricas você adicionar a um experimento, mais tempo as métricas posteriores levarão para alcançar significância estatística.

Ao planejar um experimento, certifique-se de saber qual métrica será seu Norte verdadeiro em seu processo de tomada de decisão, torne-a sua métrica primária. Em seguida, mantenha o restante de sua lista de métricas enxuto, removendo tudo o que for supérfluo ou tangencial.

Estratégia # 2: Crie seus próprios atributos personalizados

O Optimizely é excelente em fornecer várias maneiras interessantes e úteis de segmentar os resultados de sua experiência. Por exemplo, você pode examinar se certos tratamentos têm melhor desempenho em computadores em comparação com dispositivos móveis ou observar diferenças nas origens de tráfego. Porém, conforme seu programa de experimentação amadurece, você deseja rapidamente novos segmentos - eles podem ser específicos para seu caso de uso, como segmentos para compras únicas vs. compras de assinatura, ou gerais como "visitantes novos vs. recorrentes" (que, francamente, ainda não conseguimos descobrir por que isso não é fornecido fora da caixa).

A boa notícia é que, por meio do campo Project Javascript da Optimizely, os engenheiros familiarizados com a Optimizely podem construir qualquer número de atributos personalizados interessantes aos quais os visitantes podem ser atribuídos e segmentados. Na Cro Metrics, construímos uma série de módulos de estoque (como “visitantes novos x recorrentes”) que instalamos para todos os nossos clientes por meio do Javascript do projeto. Alavancar essa habilidade é um diferenciador chave entre equipes maduras que têm os recursos técnicos certos para ajudá-los a executar e equipes que lutam para realizar todo o potencial da experimentação.

Estratégia # 3: Explore o acelerador de estatísticas da Optimizely

Um recurso de ferramenta de teste frequentemente superestimado é a capacidade de usar "bandidos multi-armados", um tipo de algoritmo de aprendizado de máquina que muda dinamicamente onde seu tráfego é alocado ao longo de um experimento, para enviar tantos visitantes ao "vencedor" variação possível. O problema com os bandidos multi-armados é que seus resultados não são indicadores confiáveis ​​de desempenho de longo prazo, portanto, o caso de uso para esses tipos de experimentos é limitado a casos urgentes, como promoções de vendas.

O Optimizely, entretanto, tem um tipo diferente de algoritmo de bandido disponível para usuários em planos superiores - Stats Accelerator (agora conhecido como a opção “Acelerar Aprendizado” dentro do Bandits). Nessa configuração, em vez de tentar alocar dinamicamente o tráfego para a variação de melhor desempenho, o Optimizely aloca dinamicamente o tráfego para as variações com maior probabilidade de alcançar significância estatística mais rápido. Dessa forma, você pode aprender mais rápido e manter a replicabilidade dos resultados dos testes A / B tradicionais.

Estratégia nº 4: Adicionar emojis aos nomes de suas métricas

À primeira vista, essa ideia provavelmente parece fora de lugar, até mesmo fútil. No entanto, um aspecto importante para ter certeza de que você está lendo os resultados corretos da experiência começa em ter certeza de que seu público pode entender a pergunta. 

Às vezes, apesar de nossos melhores esforços, os nomes das métricas podem se tornar confusos (espere - essa métrica dispara quando o pedido é aceito ou quando o usuário acessa a página de agradecimento?), Ou um experimento tem tantas métricas que rolar para cima e para baixo nos resultados página leva a uma sobrecarga cognitiva total.

Adicionar emojis aos nomes de suas métricas (alvos, marcas de verificação verdes, até mesmo o grande saco de dinheiro pode funcionar) pode resultar em páginas que são muito mais digitalizáveis. 

Confie em nós - ler os resultados será muito mais fácil.

Estratégia # 5: Reconsidere seu nível de significância estatística

Os resultados são considerados conclusivos no contexto de um experimento Optimizely quando alcançam Significado estatístico. Significância estatística é um termo matemático difícil, mas essencialmente é a probabilidade de que suas observações sejam o resultado de uma diferença real entre duas populações, e não apenas do acaso. 

Os níveis de significância estatística relatados pela Optimizely são "sempre válidos" graças a um conceito matemático chamado teste sequencial - isso realmente os torna muito mais confiáveis ​​do que os de outras ferramentas de teste, que são propensos a todos os tipos de problemas de "espiar" se você lê-los muito cedo.

Vale a pena considerar o nível de significância estatística que você considera importante para o seu programa de testes. Embora 95% seja a convenção da comunidade científica, estamos testando alterações no site, não vacinas. Outra escolha comum no mundo experimental: 90%. Mas você está disposto a aceitar um pouco mais de incerteza para executar experimentos com mais rapidez e testar mais ideias? Você poderia estar usando 85% ou mesmo 80% de significância estatística? Ser intencional sobre seu equilíbrio risco-recompensa pode pagar dividendos exponenciais ao longo do tempo, então pense nisso com cuidado.

Leia mais sobre o Optimizely Intelligence Cloud

Esses cinco princípios e percepções rápidos serão incrivelmente úteis para manter em mente ao usar o Optimizely. Como acontece com qualquer ferramenta, tudo se resume a garantir que você tenha um bom entendimento de todas as personalizações nos bastidores, para que possa ter certeza de que está usando a ferramenta de forma eficiente e eficaz. Com esses entendimentos, você pode obter os resultados confiáveis ​​que procura, quando precisar deles. 

O que você acha?

Este site usa o Akismet para reduzir o spam. Saiba como seus dados de comentário são processados.