¿Qué método utiliza el equipo de experimentos para calcular los intervalos de confianza y la importancia estadística?
El remuestreo Jackknife se aplica a datos agrupados a fin de calcular la varianza de la muestra respecto del cambio porcentual de una métrica. Luego, se ejecutan pruebas de importancia bilaterales con un intervalo de confianza del 95%.
¿Por qué agrupar los datos?
El agrupamiento de datos reduce los efectos de los errores de observación menores. Si desea obtener más información acerca de por qué resulta útil agrupar datos, este es un buen lugar para comenzar.
Aun si los datos no se distribuyen normalmente, los datos segmentados tendrán una distribución prácticamente normal según el teorema del límite central, siempre y cuando haya suficientes observaciones por segmento. En los casos en que no hay suficientes observaciones por segmento, se utiliza el método Jackknife para calcular el intervalo de confianza.
¿Por qué usar el remuestreo Jackknife?
El remuestreo Jackknife es el estándar en Google porque es un método versátil que proporciona un nivel de cobertura alto. También es eficaz a la hora de detectar valores atípicos y reducir el sesgo en la estimación de la muestra. Además, es especialmente útil en los casos en que no hay suficientes datos para obtener una estimación exacta mediante el teorema del límite central. Por este motivo, se utiliza en los datos agrupados a fin de aumentar aún más la exactitud de nuestros intervalos de confianza.
Consulte una descripción general del remuestreo Jackknife aquí. Si desea obtener una explicación más detallada sobre su utilidad, este documento proporciona más detalles.
¿Los anunciantes externos pueden sumar los datos del rendimiento de varios experimentos después de realizados y volver a calcular las estadísticas a nivel general?
No, los anunciantes no tienen acceso a los datos a nivel del usuario para volver a crear segmentos y ejecutar el algoritmo Jackknife. Por el momento, no hay herramientas internas que permitan hacer esto en nombre de nuestros clientes.
¿La segmentación afecta la forma en que se aplica la división de acciones de la subasta al experimento y a la campaña original?
La segmentación no afecta la división. La división se aplica a las subastas que son aptas antes de realizar la segmentación. Por ejemplo, una división 50/50 significa que tanto el experimento como la campaña original se ingresan en la misma cantidad de subastas.
¿Qué condiciones son necesarias para garantizar una verdadera prueba A/A?
En una prueba A/A, el experimento y la campaña original deben ser idénticos durante toda la prueba (no debe haber diferencia entre los anuncios de la campaña, los grupos de anuncios, la configuración, etc. ni en las aprobaciones de anuncios). Cualquier cambio realizado durante la prueba A/A debe hacerse simultáneamente en el grupo experimental y en el original.
¿Qué resultados se esperan de una prueba A/A?
No debe haber diferencias de importancia estadística en los clics, las impresiones, el CTR o el CPC.
¿Cuál es la diferencia entre una división basada en búsquedas y una basada en cookies?
Estas opciones diferentes permiten decidir el tratamiento que recibirá un usuario. Con los grupos experimentales basados en búsquedas, los usuarios se asignan de manera aleatoria al experimento o la campaña original cada vez que realizan una búsqueda. Por eso, es posible que el mismo usuario vea el experimento y la campaña original si realiza varias búsquedas. En cambio, con los grupos experimentales basados en cookies, los usuarios pueden ver solo una versión de la campaña, independientemente de la cantidad de veces que realicen búsquedas. Esto le permite asegurarse de que sus resultados no se vean afectados por otros factores.
¿Cuántos segmentos se utilizan?
Se utilizan veinte segmentos para el grupo de control y veinte para el de tratamiento. Si hay demasiados segmentos, es posible que la prueba demore demasiado tiempo en generar resultados de importancia estadística. Si hay muy pocos, los cálculos sobre el intervalo de confianza pueden no ser precisos. Esto permite alcanzar un buen equilibrio entre los requisitos prácticos y la potencia estadística.
