Este artigo aborda as práticas recomendadas para experimentos de melhoria de app.
Nesta página
- Antes de criar um experimento
- Configuração do experimento
- Enquanto o experimento estiver em andamento
- Quando o experimento terminar
Antes de criar um experimento
Entenda como o experimento de melhoria de app resolve seus casos de uso
O que é um experimento de melhoria do app? Esses experimentos ajudam a testar e entender a melhoria na performance ao adicionar recursos de vídeo à sua campanha.
-
Com base nos seus casos de uso, recomendamos as seguintes abordagens ao usar o experimento de melhoria de app:
- Testar um vídeo pela primeira vez: se você ainda não tem vídeos na sua campanha, o experimento de melhoria no app ajuda a entender como adicionar recursos de vídeo melhorou a performance.
- Escolha o valor vencedor de vários recursos de vídeo com resultados direcionais: se você tiver vários recursos de vídeo, o experimento de melhoria do app pode ajudar a entender o seguinte:
- Se todos os recursos de vídeo ajudarem a melhorar a performance
- Como cada recurso de vídeo contribui para o aumento geral da performance
Orçamento mínimo e lance
Recomendamos um orçamento e um lance que gerem pelo menos 100 (de preferência mais de 150) conversões por dia para garantir que nossos modelos otimizem suas campanhas. Os simuladores dos Lances inteligentes ajudam a entender melhor quantas conversões você provavelmente vai receber se mudar o orçamento e a meta da estratégia de lances.
- Quanto maior o número diário de conversões no experimento, mais rápido ele vai alcançar resultados com significância estatística.
- Se a campanha de base tiver um grande número de recursos de vídeo (mais de 50), o orçamento necessário para avaliar diariamente cada recurso provavelmente será muito maior.
Meta da estratégia de lances da campanha (tCPI / tCPE / tROAS)
Se a campanha estiver limitada pelo orçamento, o CPI ou CPE real não será mais de duas vezes menor do que o CPI ou CPE desejado (e o mesmo para o tROAS). Isso ajudará a evitar comportamentos inesperados com inicialização a frio / redução de lances.
Em geral, as campanhas que não estão limitadas pelo orçamento ou pelos lances apresentam resultados mais rápidos e precisos.
Verificar os recursos de vídeo
Se a campanha estiver limitada pelo orçamento
- Se a campanha atual tiver ou não tiver vídeos, mas não estiver gastando, testar a adição de novos vídeos provavelmente não vai melhorar a performance.
- Considere aumentar o orçamento da campanha até acabar com a limitação e, em seguida, avalie a necessidade de um experimento de aumento.
Se a campanha não estiver limitada pelo orçamento
- Se a campanha atual tem recursos de vídeo, mas eles representam uma baixa porcentagem do gasto total, testar a adição de novos recursos de vídeo provavelmente não vai melhorar a performance.
- Aumente o custo por conversão desejado (ou diminua o tROAS) até que os recursos de vídeo atuais alcancem um valor de gasto significativo. Depois, avalie a necessidade de fazer um experimento de melhoria.
Configuração do experimento
Objetivos do experimento
- É melhor escolher as métricas do experimento com base nas metas de otimização da campanha.
- Por exemplo, escolha "Volume de instalações" ou "CPI" se a campanha estiver otimizando para instalações.
- Prefira o custo por ação (instalação / ação no app) às métricas de volume de conversão, a menos que sua campanha não esteja limitada pelo orçamento.
Divisão de experimento
- Recomendamos usar o tráfego 50/50 e a divisão do orçamento na maioria das situações para alcançar os resultados do experimento o mais rápido possível com o menor custo.
- Em determinadas situações, por exemplo, se você acredita que os recursos testados vão gerar um grande impacto negativo, pode ser útil usar uma divisão de tráfego diferente (por exemplo, 40% na campanha de teste e 60% na campanha de base).
Nível de confiança
- Recomendamos usar um nível de confiança de 80%, que geralmente oferece boa precisão nos resultados do experimento com duração mais curta e menor custo, em comparação com um nível de confiança de 85% ou 95%.
- Se você não souber qual nível de confiança escolher, procure na tabela do apêndice o número de conversões necessárias para alcançar um determinado nível de confiança.
Datas do experimento
- Recomendamos manter os experimentos por 30 dias, se possível, para maximizar a possibilidade de resultados conclusivos.
Verificação de integridade do experimento
- A verificação de integridade oferece uma série de diagnósticos e verificações para melhorar a probabilidade de resultados conclusivos do experimento. Recomendamos que você corrija problemas graves (em vermelho), como o uso de um app iOS (atualmente indisponível), e tente solucionar os problemas moderados da melhor maneira possível (em amarelo), como limitações pelo orçamento. Saiba mais sobre a verificação de integridade na criação de um experimento de melhoria do app.
Recomendações gerais
Interações com outras campanhas promovendo o mesmo app
- Para evitar a canibalização, confira se a conta não tem outra campanha promovendo o mesmo app nas mesmas geolocalizações da campanha sendo testada.
Violações da política
- Quando possível, corrija as supostas violações de política na sua campanha, já que elas podem impedir a veiculação de uma das campanhas no experimento ou atrasar os resultados.
Enquanto o experimento estiver em andamento
Alterações de orçamento e meta de performance
- Recomendamos não atualizar essas configurações nos primeiros 7 dias do experimento.
- Se for necessário fazer alterações após esse período, prefira pequenas mudanças diárias incrementais em vez de uma grande de uma só vez.
Alterações de recurso
- Se você precisar modificar um recurso da sua campanha de base, faça a mesma alteração na campanha de tratamento correspondente de maneira simultânea.
Monitorar experimentos
- Recomendamos excluir os primeiros 5 a 10 dias do experimento dos resultados usando o seletor de data para evitar que o período de aprendizado da campanha influencie as métricas.
- É possível monitorar os resultados do experimento usando os três níveis de confiança (80%, 85% e 95%).
- Se você adicionou vários recursos de vídeo à campanha de teste, vai encontrar a performance de um recurso de vídeo específico nos relatórios do Google Ads.
Quando o experimento terminar
Interpretar os resultados do experimento
- Resultados com significância estatística
- Resultados positivos nas duas metas do experimento: recomendamos que você promova o recurso na sua campanha de base e possivelmente em outras campanhas da sua conta, quando aplicável (por exemplo, campanhas com metas semelhantes, mas em áreas geográficas diferentes) para melhorar a performance geral.
- Resultados negativos nas duas metas do experimento: não recomendamos promover o recurso na sua campanha ou conta.
- Combinação de resultados positivos e negativos em metas de experimentos: recomendamos que você tome decisões com base nas necessidades de seus negócios e nas restrições de ROI. Por exemplo, se o CPI aumentar 5% e as instalações, 10%, os anunciantes vão precisar promover os recursos para gerar mais instalações com um aumento no CPI médio.
- Resultados sem significância estatística
- Recomendamos que você tome decisões com base nas necessidades dos seus negócios e na tolerância a riscos. Por exemplo, para anunciantes com interesse em resultados direcionais, é interessante promover recursos com resultados positivos, mas sem significância estatística. Como alternativa, recomendamos fazer mudanças no recurso e conduzir outro experimento.
