실험팀은 신뢰 구간과 통계적 유의성을 계산하기 위해 어떤 방법을 사용하나요?
잭나이프 리샘플링은 버킷 데이터에 적용되어 측정항목의 백분율 변화에 대한 샘플 분산을 계산합니다. 양방향 중요성 테스트는 95% 신뢰 구간을 사용하여 실행됩니다.
버킷 데이터를 만드는 이유는 무엇인가요?
버킷 데이터를 만들면 사소한 관찰 오류의 영향이 줄어듭니다. 버킷 데이터를 이용하는 것이 유용한 이유에 대해 자세히 알고 싶다면 여기에 좋은 기초 자료가 있습니다.
데이터가 정상 분포가 아니더라도, 버킷당 관찰한 경우의 수가 충분히 많다면 버킷 데이터는 중심 극한 정리에 따라 대개 정규 분포를 이루게 됩니다. 버킷당 관찰한 경우의 수가 충분하지 않은 경우에 대해서는 잭나이프 방법을 사용하여 신뢰 구간을 계산합니다.
잭나이프 리샘플링을 사용하는 이유는 무엇인가요?
잭나이프 리샘플링은 적용 범위가 넓은 다용도의 방법이므로, Google에서 표준 방식으로 사용됩니다. 또한 이상점을 감지하고 샘플 예측의 편향을 줄이는 데 효과적입니다. 또한 중심 극한 정리를 사용하여 정확한 추정을 하기에 충분한 데이터가 없는 상황에서 특히 유용합니다. 그러므로 신뢰 구간의 정확성을 더 높이기 위해 버킷 데이터에 잭나이프 리샘플링을 사용합니다.
잭나이프 리샘플링에 대한 일반적인 개요는 여기에서 볼 수 있습니다. 그 유용성에 대해서는 이 백서에 자세히 나와 있습니다.
외부 광고주가 실제 데이터를 기준으로 여러 실험의 실적을 집계하고 전체적인 수준에서 통계를 다시 계산할 수 있나요?
아니요. 광고주는 버킷을 다시 만들고 잭나이프 알고리즘을 실행하기 위해 사용자 수준의 데이터를 사용할 수 없습니다. 현재는 고객을 위해 이를 실행할 수 있는 내부 도구가 없습니다.
타겟팅은 입찰 공유 분할이 실험 캠페인과 기존 캠페인에 적용되는 방식에 영향을 주나요?
타겟팅은 분할에 영향을 미치지 않습니다. 이 분할은 타겟팅이 적용되기 전에 적격한 입찰에 적용됩니다. 예를 들어 50:50 분할은 실험 캠페인과 기존 캠페인이 동일한 수의 입찰에 들어감을 의미합니다.
진정한 A/A 테스트를 위한 조건은 무엇인가요?
A/A 테스트는 테스트 기간 동안 실험 캠페인과 기존 캠페인이 동일하게 이행되는 테스트입니다(캠페인 광고/광고그룹/설정 등에 차이가 없고, 광고 승인에도 차이가 없음). A/A 테스트 중에 변경된 사항은 실험 캠페인과 기존 캠페인 모두에 같이 적용해야 합니다.
A/A 테스트의 예상 결과는 무엇인가요?
클릭수, 노출수, CTR 또는 CPC에는 통계적 유의성에 차이가 없어야 합니다.
검색 기반 분할과 쿠키 기반 분할의 차이점은 무엇인가요?
이는 사용자가 받을 처리 방식을 결정하는 두 가지 다른 옵션입니다. 검색 기반 실험 분할을 사용하면, 사용자는 검색이 발생할 때마다 실험 또는 원본 캠페인에 무작위로 배치됩니다. 동일한 사용자가 여러 번 검색하는 경우 실험 캠페인과 원본 캠페인을 모두 볼 수도 있습니다. 쿠키 기반 실험군을 사용하는 경우 검색 횟수에 상관없이 사용자에게 한 가지 버전의 캠페인만 게재될 수 있습니다. 이렇게 하면 다른 요소가 결과에 영향을 미치지 않도록 할 수 있습니다.
얼마나 많은 버킷이 사용되나요?
20개의 버킷이 대조 부분에 사용되고, 20개의 버킷이 처리 부분에 사용됩니다. 버킷이 너무 많으면 통계적으로 중요한 결과를 얻는 데 너무 오래 걸릴 수 있습니다. 버킷 수가 너무 적으면 신뢰 구간 계산이 정확하지 않을 수 있습니다. 이 정도 수량이면 실질적인 요구 사항과 통계적 검증력 사이에 적절한 균형을 유지할 수 있습니다.
