A/B testi: sonuca güvenmek için ne gerekir

A/B testi, bir şeyin iki sürümünü seçilen bir metrikte karşılaştırır ve hangisinin daha iyi sonuç verdiğini gösterir. İyi tasarlandığında, bir ürün varsayımını odadaki en yüksek sesle değil veriyle sınamanın en etkili yollarından biridir.

Testi dürüst tutan dört adım

1. Önce hipotezi yazın: neyi değiştirdiğinizi, ne olmasını beklediğinizi ve nedenini. Hipotezsiz bir test, dersi olmayan bir sayı üretir.
2. Örneklem büyüklüğünü başlamadan hesaplayın. İstatistiksel anlamlılık için yeterli kullanıcı gerekir. İlk sayılar iyi göründü diye testi erken durdurmak, insanın kendini kandırmasının en yaygın yoludur.
3. Kullanıcıları kontrol ve test gruplarına rastgele atayın, sonra gözlenen dağılımın planlananla örtüştüğünü doğrulayın. Gruplar cihaz, kanal ya da zaman bakımından farklıysa sonuç sizin değişikliğinizi değil, o farkı ölçer.
4. Ana metriğin ötesine bakın. Dönüşüm artarken ortalama sepet, iadeler ya da destek talepleri ters yöne gidebilir. Kazananı ilan etmeden önce yan etkileri kontrol edin.

Bir ödeme akışı örneği

Modanisa'da ödeme akışında yaptığımız A/B testleri dönüşümü yaklaşık %18 artırdı. Sayı, onu üreten yöntemden daha az önemli: yazılı bir hipotez, yeterli kullanıcı, dengeli gruplar ve kazanan ilan edilmeden önce incelenen yan etkiler.

Veriye dayalı olmak ne demek

Her şeyi test etmeniz gerekmez. Gereken, neye inandığınızı açıkça söylemek, test etmeye değer birkaç inancı seçmek ve cevap geldiğinde onu kabul etmektir.