วิธีการทางสถิติที่ใช้กับการทดสอบ

ทีมการทดสอบใช้วิธีใดในการคํานวณช่วงความเชื่อมั่นและนัยสําคัญทางสถิติ

การชักตัวอย่างซ้ำด้วยวิธีแจ็คไนฟ์ใช้กับข้อมูลที่ฝากไว้เพื่อคำนวณความแปรปรวนตัวอย่างของเมตริกที่เปลี่ยนแปลงโดยคิดเป็นเปอร์เซ็นต์ จากนั้นจึงทำการทดสอบนัยสำคัญแบบสองข้างโดยใช้ช่วงความเชื่อมั่น 95%

ทำไมต้องมีการฝากข้อมูล

การฝากข้อมูลจะลดผลกระทบจากข้อผิดพลาดเล็กๆ น้อยๆ ในการสังเกตการณ์ หากต้องการทราบข้อมูลเพิ่มเติมว่าทำไมการฝากข้อมูลจึงมีประโยชน์ ให้เริ่มอ่านบทความนี้ก่อน

แม้ว่าข้อมูลจะไม่ได้เผยแพร่ตามปกติ แต่ข้อมูลที่ฝากไว้จะเผยแพร่ตามปกติอย่างคร่าวๆ ตามทฤษฎีขีดจํากัดกลางหากมีการสังเกตการณ์เพียงพอในที่ฝาก หากจะอธิบายกรณีที่มีการสังเกตการณ์ไม่เพียงพอในที่ฝาก ก็จะใช้วิธีแจ็คไนฟ์ในการคำนวณช่วงความเชื่อมั่น

ทำไมต้องใช้การชักตัวอย่างซ้ำด้วยวิธีแจ็คไนฟ์

การชักตัวอย่างซ้ำด้วยวิธีแจ็คไนฟ์เป็นวิธีมาตรฐานของ Google เพราะใช้งานได้หลากหลายและให้การครอบคลุมระดับสูง ใช้ตรวจหาค่าผิดปกติและลดการให้น้ำหนักพิเศษกับค่าประมาณตัวอย่างได้อย่างมีประสิทธิภาพ รวมทั้งยังมีประโยชน์อย่างยิ่งในกรณีที่มีข้อมูลไม่เพียงพอที่จะได้รับค่าประมาณที่แม่นยำโดยใช้ทฤษฎีขีดจํากัดกลางด้วย เราจึงใช้วิธีนี้กับข้อมูลที่ฝากไว้เพื่อเพิ่มความแม่นยำของช่วงความเชื่อมั่น

ดูภาพรวมทั่วไปของการชักตัวอย่างซ้ำด้วยวิธีแจ็คไนฟ์ได้ที่นี่ หากต้องการคำอธิบายเพิ่มเติมเกี่ยวกับประโยชน์ของวิธีนี้ ให้ดูรายละเอียดจากบทความนี้

ผู้ลงโฆษณาภายนอกรวบรวมข้อมูลประสิทธิภาพของการทดสอบหลายรายการหลังเกิดเหตุและคำนวณสถิติอีกครั้งในระดับผลรวมได้ไหม

ไม่ได้ ผู้ลงโฆษณาไม่สามารถเข้าถึงข้อมูลระดับผู้ใช้เพื่อสร้างที่ฝากข้อมูลใหม่และเรียกใช้อัลกอริทึมแจ็คไนฟ์ ขณะนี้ไม่มีเครื่องมือภายในสำหรับดำเนินการเช่นนี้ในนามของลูกค้า

การกำหนดเป้าหมายมีผลต่อวิธีใช้การแบ่งส่วนแบ่งการประมูลกับแคมเปญการทดสอบและแคมเปญเดิมไหม

การกำหนดเป้าหมายไม่ส่งผลกระทบต่อการแบ่งส่วนแบ่ง เพราะการแบ่งจะใช้กับการประมูลที่มีสิทธิ์ก่อนที่จะมีการใช้การกำหนดเป้าหมาย เช่น การแบ่งส่วนแบ่ง 50:50 จะหมายถึงแคมเปญการทดสอบและแคมเปญเดิมเข้าสู่การประมูลในจำนวนครั้งที่เท่ากัน

มีเงื่อนไขอะไรบ้างที่จะทำให้ได้การทดสอบ A/A ที่แท้จริง

การทดสอบ A/A มีแคมเปญการทดสอบและแคมเปญเดิมที่เหมือนกันตลอดระยะเวลาการทดสอบ (ไม่ว่าจะเป็นโฆษณาในแคมเปญ/กลุ่มโฆษณา/การตั้งค่า ฯลฯ และการอนุมัติโฆษณาก็ไม่แตกต่างกัน) การเปลี่ยนแปลงที่เกิดขึ้นระหว่างการทดสอบ A/A จะต้องทำทั้งในกลุ่มแคมเปญการทดสอบและแคมเปญเดิมในเวลาเดียวกัน

ผลลัพธ์ที่คาดหวังจากการทดสอบ A/A คืออะไร

จำนวนคลิก การแสดงผล CTR หรือ CPC ไม่ควรแตกต่างกันอย่างมีนัยสำคัญทางสถิติ

การแบ่งตามคุกกี้และการแบ่งตามการค้นหาแตกต่างกันอย่างไร

ทั้งสองเป็นคนละตัวเลือกสำหรับเลือกว่าผู้ใช้จะได้รับประสบการณ์ลักษณะใด เมื่อใช้ฝั่งทดสอบที่อิงตามการค้นหา ระบบจะสุ่มผู้ใช้ไปไว้ในแคมเปญทดสอบหรือแคมเปญเดิมทุกครั้งที่เกิดการค้นหา ผู้ใช้รายเดียวกันอาจเห็นทั้งการทดสอบและแคมเปญเดิมได้หากค้นหาหลายครั้ง เมื่อใช้ฝั่งทดสอบที่อิงตามคุกกี้ ผู้ใช้อาจเห็นแคมเปญของคุณเพียงเวอร์ชันเดียว ไม่ว่าจะค้นหากี่ครั้งก็ตาม วิธีนี้ช่วยรับประกันได้ว่าปัจจัยอื่นๆ จะไม่ส่งผลต่อผลลัพธ์

มีการใช้ที่ฝากข้อมูลกี่ที่

มีการใช้ที่ฝากข้อมูล 20 ที่ในสาขาการควบคุมและอีก 20 ที่ในสาขาการปฏิบัติ หากมีที่ฝากข้อมูลจำนวนมากเกินไป ระบบอาจใช้เวลาคำนวณผลลัพธ์ที่มีนัยสำคัญทางสถิตินานมาก แต่หากมีที่ฝากข้อมูลน้อยเกินไป การคำนวณช่วงความเชื่อมั่นก็อาจไม่แม่นยำ วิธีนี้ทำให้เกิดความสมดุลที่ดีระหว่างข้อกำหนดเชิงปฏิบัติและประสิทธิภาพทางสถิติ