Google Website Optimizer報告陳述解讀
前段時間用博客的幾個測試頁面試驗了下運用Google Website Optimizer做A/B測試，通過這段時間使聚在一起了一點測試數值，拜謝大家幫助點擊。實際上之前一直想紹介Google的這個網站相比較實驗優化工具，絕對不收費並且操作簡單，況且在不長的日後獨立的Google Website Optimizer便會消逝，這塊功能會挨整合到Google Analytics裡邊，信任眾多GA的用戶已經在Content板塊中發覺了新增的Experiments這個功能，這個就是從Google Website Optimizer衍生而來，功能和運用上頭應當會有點調試和變動。
對於Google Website Optimizer的運用實際上並沒有那末復雜，運用實驗的開創向導接合網頁的提醒和幫忙，平常的的用戶開創自個兒的實驗絕對沒有問題，只是網站的千差萬別有可能有眾多的細節方面需求注意，還是需求想一點方法讓實驗過程和監控最後結果更加管用。所以這處不紹介GWO工具運用本身，我比較有興致的實際上是實驗輸出的最後結果生產進度報表，裡邊牽涉到對最後結果的區間預估，測試方案勝出的幾率，提高幅度等，這些個指標都用計數學的辦法計算獲得，相形直接比較兩組仔細查看值，比較最後結果更加科學，更具使心服力。
首先看下GWO輸出的報告陳述，這處用的是A/B測試，假如運用Multivariate Testing(MVT)報告陳述會有微小的差別，但指標及計數思維規律應當是相同的：
我用GWO成功實現了一個最簡單的A/B測試，一個原始版本和一個測試版本，輸出的報告陳述主要是比較實驗過程中設定的轉化率。上方的折線圖顯露的是原始版本和實驗版本的轉化率發展方向，截止到現在為止的轉化事情狀況顯露在下方表格的最右側(Conv./Visitors)，從指標名字看，GWO權衡轉化率用的是轉化的用戶數，應當運用Cookie來惟一辨別用戶(這處僅是在博客新建了幾個簡單測試頁面，所以數值量較小，而轉化率相形正常網站都表面化偏高)。
所以，這處重點研討了下圖中表格紅框內的3個指標，看他們是怎麼樣計算獲得的。
估算轉化率
從圖中紅框1中可以看見Est. conv. rate，GWO生產進度報表對到現在為止獲得的轉化率做了正負區間的預估，繼續往前可以獲得到現在為止該版本轉化率有可能的相信區間(詳見前一篇文章——參變量估計與相信區間)，這處用現時的轉化率估計該版本的總體轉化率p，繼續往前可以計算獲得總體標准差σ= sqrt(p(1-p)/n)，譬如這處原始版本的總體標准差約為0.0540，而測試版本的標准差約為0.0647，依據Zα/2×σ計算獲得的上表中正負的7.6百分之百和9.1百分之百，所以我們就可以猜出GWO用的Zα/2約略為1.4，這個數字我在測試時期鄰接證驗過幾次，基本十分牢穩，依據Z值表，這個相信區間約略的相信度在84百分之百，也不曉得為何GWO要挑選這樣個相信度。
紅框1的上方我們可以看見GWO依據測試的效果將測試版本分成了三類，作別用綠顏色表達勝出的測試版本，黃色表達不確認的測試版本，紅色表達被擊敗的測試版本。Google僅給出了簡單的解釋明白，提議我們可以挑選運用顯露為綠顏色的版本，由於他們有非常大的有可能性(也只是有可能)優於原始版本，而顯露紅色版本提議可以休止測試。具體到指標需求達到怎樣的水准纔會顯露綠顏色或紅色，我沒有去證驗，有運用經驗的還是有興致的同學可以去仔細查看下試試。
勝過原始版本的概率
之前在T檢查驗看和卡方檢查驗看這篇文章紹介過可以運用卡方檢查驗看的辦法來比較二項散布數值間的幾率是否存在顯著差別，但卡方檢查驗看只能檢查驗看差別的顯著性，沒法直接解釋明白某組樣本的幾率有若乾的概率超過額外一個樣本，所以在GWO的報告陳述裡邊沒有運用卡方檢查驗看，而運用了單尾Z檢查驗看。當樣本數目超過30的時刻，我們普通會運用Z檢查驗看來代替T檢查驗看比較兩組獨立或配合成雙樣本間的均值差別，由於這處只是為了證實一組樣本幾率表面化超過額外一組樣本的有可能性，所以運用了單尾檢查驗看。計算Z計數量的公式如下所述：
依據表格的數值，原始方案和測試方案的轉化率均值p作別為78.9百分之百和78.0百分之百，依據公式S2=p(1-p)作別計算兩組樣本的方差為0.1665和0.1716，而兩組樣本數n作別為57和41，繼續往前計算獲得Z=0.1068，查Z值表可得Z=0.10的幾率為46.02百分之百，Z=0.11的幾率為45.62百分之百，表中顯露的Chance to Beat Orig.=45.9百分之百，介於兩者之間，運用的應當是大致相似的計數辦法獲得的值，偏差是由於半中腰精密度處置引動的。
仔細查看到的改進
圖中紅框3的Observed improvement，這個指標需求接合紅框1的轉化率相信區間來看，接合條形圖可以比較清楚地得出最後結果，看下我用Excel畫的展出估算轉化率的大致相似條形圖：
這處我用了兩條匡助的虛線，假如第1個是原始版本，那末測試版本全部與原始版本轉化率預估區間的差別都會用顏色展出，而仔細查看到的改進就是著色區間的轉化率差別。譬如圖中第二個條形的紅色區間展出的相應值為-4.2百分之百，而第三個應當是-1.6百分之百+0.6百分之百=-1.0百分之百，即左側的負值區間加上右側的正值區間，第四個為2.9百分之百。這麼GWO生產進度報表中全部指標的計算都可以明確了。
實際上，大多時刻我們運用工具來完成剖析或測試的過程，也不盡然非要理解全部指標最底層的計算思維規律，我們只要曉得這些個指標的涵義及效用，在剖析具體問題時合理地運用這些個指標就可以。而有點時刻我們只能計數獲得一點基礎數值，所以怎麼樣運用這些個基礎數值獲得一點有價值有使心服力的剖析論斷就需求用到一點合宜的計數學辦法，這也是這篇文章去解讀GWO輸落生產進度報表的端由。
» 本文認為合適而使用 BY-NC-SA 協議，過載請注明出處：網站數值剖析 » 《Google Website Optimizer報告陳述解讀》