หลังจากออกแบบผลิตภัณฑ์ สปอตโฆษณา หรือ Landing Page ขึ้นมาแล้ว นักการตลาดก็จะนำผลงานเหล่านั้นมาทำ A/B Testing เพื่อค้นหารูปแบบที่จะได้รับความนิยมที่สุด หลังจากได้ผลลัพธ์ว่ารูปแบบใดรูปแบบหนึ่งได้รับความนิยมกว่ารูปแบบอื่นๆ เราจึงจะนำมาใช้จริง ด้วยความสบายใจว่าต้องได้ผลตอบรับที่ดีแน่ๆ
แต่นักการตลาดหลายๆ คนอาจเคยประสบปัญหา รูปแบบที่ได้รับการตอบรับดีที่สุดจาก A/B Testing กลับไม่ประสบผลสำเร็จเมื่อนำมาใช้งานจริง นั่นเป็นเพราะอะไรกันนะ?
รู้หรือไม่ว่า? ผลลัพธ์ 80% ของ A/B Testing ที่เราทำนั้น อาจเป็นภาพลวงตา
ซันนี่มาไขข้อข้องใจว่าปัญหานี้เกิดขึ้นได้อย่างไร รวมถึงจะมาแนะนำวิธีการแก้ปัญหาด้วย “A/A Testing”
ก่อนอื่นเรามาทำความเข้าใจวิธีการทำ A/B Testing
A/B Testing คือวิธีการทดสอบโดยนำตัวอย่างทดลอง 2 แบบ (หรืออาจมากกว่า 2 แบบ ถ้ามี 3-4 แบบ อาจแบ่งเป็น A/B/C/D) มาทดสอบความพึงพอใจของผู้ใช้งาน โดยมีตัวแปรร่วมคือประชากรกลุ่มเดียวกัน
โดยการแบ่งประชากรกลุ่มใหญ่ที่เราต้องการทราบความคิดเห็น ออกเป็น 2 กลุ่มย่อยเท่าๆ กันด้วยการเลือกแบบสุ่ม (Random Selection) (หรือมากกว่า 2 กลุ่ม ตามจำนวนตัวอย่างที่ต้องการทดสอบ)
ตัวอย่างใดได้รับผลตอบรับดีกว่า ก็เป็นการแสดงให้เห็นว่าผู้ใช้งานชื่นชอบตัวอย่างนั้นมากกว่า
แต่ปัญหาของ A/B Testing คือ การสุ่มเพื่อแบ่งกลุ่มประชากรอาจจะมีความเอนเอียง (Bias) หากการสุ่มแบ่งประชากรกลุ่มย่อยทั้ง 2 กลุ่ม ไม่ได้คละประชากรอย่างหลากหลาย (Bias Sample) เพราะการเลือกแบบสุ่มนั้น บางครั้งก็มี Bias ในตัวเอง
เช่น หากต้องการจะสุ่มประชากร 2 คน ขึ้นมาจากประชากรชาย 2 คน หญิง 2 คน
ตามหลักความน่าจะเป็นแล้ว ในการสุ่ม 1 ครั้ง
มีโอกาส 50% ที่จะได้ประชากร ชาย 1 คน หญิง1 คน
มีโอกาส 25% ที่จะได้ประชากร ชาย 2 คน
มีโอกาส 25% ที่จะได้ประชากร หญิง 2 คน
ดังนั้น จะเห็นได้ว่ามีโอกาสถึง 50% ที่กลุ่มตัวอย่างจะ Bias คละกันได้ไม่หลากหลายอย่างที่ควรจะเป็น
หากประชากรกลุ่มหนึ่งมีผู้ชายมากกว่า และอีกกลุ่มมีผู้หญิงมากกกว่าในปริมาณมาก ก็อาจทำให้เกิด Bias ต่อตัวอย่างที่เราต้องการทดสอบ
หรือ ประชากรกลุ่มหนึ่งอาจใช้โทรศัพท์มือถือจอใหญ่กว่า และอีกกลุ่มใช้โทรศัพท์มือถือจอเล็กกว่า จนอาจส่งผลต่อการตัดสินใจคลิก หรือไม่คลิกดูตัวอย่างได้
ซึ่ง Bias แบบนี้เกิดขึ้นได้ตลอดเวลาในการเลือกแบบสุ่ม ส่งผลให้ผลลัพธ์ A/B Testing ของเราไม่ตรงกับความเป็นจริงไปด้วย แต่หากเพิ่มจำนวนประชากร (Sample Size) ให้มากขึ้น และขยายระยะเวลาที่ใช้ทดสอบ (Time Frame) ให้นานขึ้น ก็จะสามารถลด Bias ในการสุ่มลงได้
นอกจากนี้ยังมีอีก 1 วิธีที่ใช้ทดสอบความเอนเอียงของระบบสุ่มได้ นั่นก็คือ A/A Testing
A/A Testing คือการทดสอบระบบที่ใช้สุ่ม รวมไปถึงขนาดของประชากรกลุ่มตัวอย่าง ว่ามีขนาดใหญ่พอ และมีการสุ่มที่ Bias หรือไม่ โดยการปล่อยตัวอย่างทดลองเพียงตัวเดียว ออกไปในประชากรทั้ง 2 กลุ่มย่อย หากขนาดประชากรใหญ่พอ และการสุ่มแบ่งกลุ่มย่อยมีการคละกันที่ดี มีความหลากหลายมากพอ ผลลัพธ์ของทั้ง 2 กลุ่ม ควรจะออกมามีค่าเท่ากันที่ 50%
ดังนั้น A/A Testing จึงควรทำก่อน A/B Testing เพื่อทดสอบการสุ่มของระบบว่ามี Bias หรือไม่ และทำให้แน่ใจว่า ผลลัพธ์ A/B Testing ที่ได้เป็นผลลัพธ์ที่ไม่มีความเอนเอียง นำไปใช้งานได้จริงอย่างตรงเป้าหมาย สบายใจ ไร้กังวล
