Admost A/B Testing – TR
Admost’un A/B Test aracını, uygulamanızdaki kullanıcıları gruplara bölüp aynı anda farklı parametrelerle test etmek için kullanabilirsiniz. Böylelikle, uygulamak istediğiniz yeni zone/placement düzenlemeleri, network ayarları ve uzaktan yapılandırma yönetimi gibi özelliklerin etkilerini küçük bir kesim üzerinde test ederek görme seçeneğine sahip olursunuz.
A/B Test özelliğini Admost panelindeki sol menüden Test seçeneğinin altında bulabilirsiniz. “Manage A/B Tests” sekmesinin altında “New A/B Test” seçeneğine tıklayarak testinizin detaylarını belirleyebilirsiniz.
Öncelikle hangi uygulamanızda test yapacaksanız onu seçerek active olarak belirlemeniz gerekmektedir.
A/B testi, gelirlerinizi etkilememek için toplam kullanıcılarınızın yaklaşık %5-10 arası yüzdelik kesimine uygulamanız önerilmektedir. Testin dış faktör niteliğindeki farklı parametrelerden etkilenerek sapmaması adına, A/B test sadece testi başlattığınız tarihten itibaren yeni gelen kullanıcılar üzerinde uygulanmaktadır.
Testinizin ismini, yeni gelen kullanıcıların yüzde kaçlık bir oranına uygulanacağını, hangi tarihler arasında gerçekleştirileceğini ve (isterseniz) hangi ülkenin kullanıcılarına açık olacağını belirleyebilirsiniz.
Ardından, “+Groups” seçeneğine tıklayarak A, B, C şeklinde istediğiniz miktarda grup oluşturup bu gruplarda test etmek istediğiniz parametreleri belirleyebilirsiniz.
Yeni gelen kullanıcıların yüzdelik olarak belirlediğiniz kadarı, farklı parametreleri ölçecek bu gruplara rastlantısal bir şekilde dağıtılacaktır. Gruplarda yer alacak kişi sayısı aynı olacaktır.
İsterseniz sadece A grubu üzerinde bir parametre belirleyip B grubunda parametre kullanmayarak uygulamanızın genel haliyle bir karşılaştırma da yapabilirsiniz.
Başka bir seçenek olarak, yine sadece A grubu üzerinde parametre belirleyip başka bir grup eklemeden teste girmemiş genel kullanıcılarla da karşılaştırma yapabilirsiniz. Testinizin geçerli olacağı zone’u da ayrıca belirleyebilirsiniz.
Birden fazla parametre uyguladığınızda sonuçlarınızın kaynağını ölçmek zorlaşacağı için tek bir parametrede yapılan değişikliklerin oluşturduğunuz gruplar üzerindeki etkisini görmek daha sağlıklı olacaktır.
Parametreler
- Zone: Bu seçenek ile aşağıdaki ekran görüntüsünde de gösterildiği şekilde aşağıdaki parametrelerin testini yapabilirsiniz. Seçmiş olduğunuz zone’ların hepsine, eğer zone seçilmediyse tüm zone’lara, değiştirdiğiniz özellikler uygulanır.
Daily Freq. Capping : Günlük gösterim sınırlaması
Hourly Freq. Capping : Saatlik gösterimlerin sınırlaması
Impression Interval : 2 gösterim arasında geçebilecek minimum süre
Impression Delay : Uygulamayı ilk kez açan kullanıcının ilk reklamını minimum kaç saniye sonra görebileceği (Uygulamanın açık olduğu ekran süresi dikkate alınır)
Zone Overall Timeout : Reklamın yüklenmesi için beklenecek maksimum süre
Adaptive Enabled : Admob’un adaptive reklam özelliğini aktifleştirme
Adaptive Cutout : Adaptive reklamın ekranın kenarlarından olan toplam mesafesi. (Belirtilmedikçe ekran genişliği esas alınacaktır.)
- Networks Exclude: Halihazırda kullandığınız network’lerden bir veya birkaçının waterfall’da olmaması halinde uygulamanızın ve gelirlerinizin nasıl etkileneceğini test etmek için bu parametreyi kullanabilirsiniz. Böylece, waterfall’unuzu değiştirmeden, teste tabii olacak yeni kullanıcılarınız üzerinden bir deneme fırsatı bulmuş olursunuz. “Zones” sekmesi ile testinizin geçerli olacağı zone’ları belirleyebilirsiniz.
- Placement Exclude: Halihazırda kullandığınız placement’lardan bir veya birkaçının waterfall’da olmaması halinde uygulamanızın ve gelirlerinizin nasıl etkileneceğini test etmek için bu parametreyi kullanabilirsiniz. Böylece, waterfall’unuzu değiştirmeden, teste tabii olacak yeni kullanıcılarınız üzerinden bir deneme fırsatı bulmuş olursunuz. Zones sekmesi ile testinizin geçerli olacağı zone’ları belirleyebilirsiniz.
- Remote Config: Admost panelinde uygulamanızı güncellemeden veya database’de bir değişiklik yapmadan, uygulamanızda düzenlemeler ve değişiklikler yapmak için config tanımlaması (uzaktan yapılandırma) ayarını kullanabilirsiniz. A/B test yoluyla yapmayı planladığınız bu ayarların kullanıcılarınız üzerindeki etkisini test edebilirsiniz.
Önemli : Burada tanımlanmış config uygulama genelinde tanımlanmış olan bir config varsa onu tamamen ezeceği için testi tanımlarken değerini değiştirmeyecek bile olsanız uygulama içinde kullanmak istediğiniz parametrelerin tümünü tanımlamanız gerekmektedir.
Admost panelinde sol ekrandaki “Analytics” seçeneğinin altındaki “Cohort Analysis” ile A/B testlerinize dair inceleme yapabilirsiniz. Uygulamanızı, “A/B Tests” seçeneği altında görmek istediğiniz testi, testinizi gerçekleştirdiğiniz tarih aralığını seçip Cohort Type olarak Test kırılımını alabilirsiniz.
Bu rapor altında, farklı parametreler belirlediğiniz A ve B gruplarında kaç yeni gelen kullanıcı yer almış, bu kullanıcılardan ne kadar gelir elde edilmiş, kullanıcıların bıraktıkları ortalama gelir (ARPU) gibi bilgileri edinebilirsiniz. Ayrıca, testinizde yer almış yeni kullanıcılar arasında uygulamanızı tekrar açma yüzdesi (retention), kullanıcıların izledikleri geçiş reklamı ve ödüllü reklam oranları, uygulama içi satın alma yapan kullanıcı sayısı gibi verileri karşılaştırabilirsiniz.