什麼是 A/B 測試？
A/B 測試定義
A/B 測試 (也稱為拆分測試或分桶測試) 可比較兩種版本內容的績效，查看對訪客/檢視者來說哪一種更有吸引力。它會測試控制組 (A) 版本和變異組 (B) 版本，並根據您的關鍵指標來測量哪個版本最為成功。數位行銷工作者 (不論 B2B 行銷或 B2C 行銷) 在執行 A/B 測試時有下列選項：
- 網站 A/B 測試 (文案、影像、色彩設計、行為召喚) 會將 A 與 B 兩個版本的流量分割。您可監視訪客動作，以識別哪個版本會產生最高的 1) 轉換率或 2) 執行預期動作的訪客數。
- 電子郵件行銷 A/B 測試 (主旨行、影像、行為召喚) 會將收件者拆分成兩個群組，以判斷哪個版本產生較高的開啟率。
- 比較編輯人員選取的內容或演算法依據使用者行為選取的內容，查看哪種內容會產生更多互動。
無論聚焦點為何，A/B 測試可協助您判斷如何提供最佳客戶體驗 (CX)。
除了 A/B 測試外，還有 A/B/N 測試，N 代表「未知」。A/B/N 測試類型使用兩種以上的變異。
選擇 A/B 測試的時機和原因
A/B 測試在持續運作時可提供最大的效益。一般測試流程可提供一系列微調效能的方法建議，也可以持續測試，因為可用的測試選項幾乎沒有限制。
如上所述，A/B 測試幾乎可用來評估任何數位行銷資產，包括：
- 電子郵件
- 電子報
- 廣告
- 文字訊息
- 網站頁面
- 網頁上的元件
- 行動應用程式
A/B 測試在銷售活動管理中扮演著重要的角色，因為它有助於判斷哪些項目運作良好，哪些則否。這會顯示受眾對哪些項目感興趣及有共鳴。A/B 測試可協助您查看行銷策略中哪個元素有最大的影響力；哪一個可以改進，而哪一個必須整個刪除。
既然我們已探討過為何應該進行 A/B 測試，接著來思考下列兩個測試時機準則。
- 您的數位行銷活動或元素績效未達到最佳等級，因此未達到預期。A/B 測試可用來隔離效能問題，並激勵出更高的效能。
- 假設您即將啟動新的項目 (網頁、電子郵件銷售活動)，而您不確定哪個方法 (例如訊息) 執行效果最好。主動使用 A/B 測試可讓您比較及對比兩種不同方法的效能，以找出較佳的方法。
在網站上執行 A/B 測試的優勢
網站 A/B 測試提供極佳的方法，可量化判斷最適合您網站訪客的策略。您可以單純驗證直覺，或證實直覺是錯誤的。不過，這仍是個好處，因為您不會堅持沒有用的事情。您將會吸引更多願意在您網站上花更多時間、點選更多連結的訪客。
藉由測試廣泛使用的網站元件/區段，您做出的判斷不只能改善測試頁面，還可改善其他類似頁面。
如何執行 A/B 測試？
A/B 測試並不難，但需要行銷人員遵循定義完善的程序。以下是 9 個基本步驟：
規劃與執行 A/B 測試的基本步驟
- 1. 評估並檢閱效能基準
- 2. 使用效能基準判斷測試目標
- 3. 擬訂測試如何提升效能的假設
- 4. 識別測試目標或位置
- 5. 建立要測試的 A 版本與 B 版本
- 6. 使用 QA 工具驗證設定
- 7. 執行測試
- 8. 使用 Web 和測試分析追蹤和評估結果
- 9. 套用學習來改善客戶體驗
按照上述步驟 (使用明確目標和合理假設)，即可避免常見的 A/B 測試錯誤。
測試將提供資料與經驗證據，協助您微調及強化效能。使用透過 A/B 測試習得的資訊有助於放大影響力、設計更有吸引力的客戶體驗 (CX)、撰寫更具說服力的文案，以及建立更迷人的視覺效果。隨著持續最佳化，您的行銷策略將變得更有效率，提高投資報酬率並帶來更多收入。
A/B 測試範例
可測試的數位行銷元素清單包含下列一或多個項目：
- 瀏覽連結
- 行為召喚 (CTA)
- 設計/版面配置
- 文案
- 內容優惠
- 標題
- 電子郵件主旨行
- 友善的電子郵件「寄件者」地址
- 影像
- 社交媒體按鈕 (或其他按鈕)
- 標誌與標語
業務目標、效能目標與基準以及目前的行銷活動混合，將協助您決定要測試的最佳候選項目。
網站 A/B 測試中的分析角色
在任何 A/B 測試的生命週期中，分析都是規劃、執行以及效能建議的核心。
開發測試假設需要強大的分析基礎。您必須瞭解目前的效能和流量層級。舉例來說，就 Web 分析而言，您的分析系統在規劃程序期間將提供一些主要資料點，包括：
- 針對測試案例，頁面、元件或其他要檢閱元素的流量 (頁面檢視數、唯一訪客數)
- 互動情況 (花費時間、每次造訪的頁數、跳出率)
- 轉換情況 (點擊數、註冊數、損失數)
- 長期的效能趨勢
若沒有這種分析基礎，任何測試案例或績效評估都可能基於個人偏好或印象。經過測試後，這類假設通常會證實為不正確。
A/B 測試啟動之後，分析依然是重要角色。儀表板可用來即時監控效能指標、驗證測試是否如預期般運作，以及回應任何異常或非預期的結果。這包括停止測試、進行調整並重新啟動，以及確保效能資料如實反映任何變更和該變更發生的時機。效能儀表板可協助判斷測試要執行時間多久才能確保達到統計顯著性。
在測試開始執行程序之後，後續步驟就要靠分析來決定。例如，您可以使用分析，決定測試的獲勝者是否要成為已測試網站頁面上的標準呈現，以及是否要成為後續標準。行銷人員應開發可重複使用的分析範本以傳達測試結果，並調整該範本以反映指定測試的特定元素。
深入瞭解電子郵件 A/B 測試
如何解釋 A/B 測試結果
在規劃測試時建立目標是很重要的，這樣您才能評估結果、決定獲勝者，並更新您的行銷活動及/或網站以反映獲勝結果。在許多情況下，會將一部分受眾預先區隔到保留群組，而這個群組將會收到獲勝的訊息版本。
根據您決定要測量的項目，測試結果會指出兩個元素中何種較佳，測量項目範例如下：
- 訪客數
- 開啟率
- 點閱率
- 註冊數 (電子報等等)
- 訂閱數
測試期間會監控兩個元素，直到取得統計顯著測量結果為止。
轉換率也可根據收入來衡量。您可以考慮銷售數字與某項變更對實際銷售收入的影響。請記住，您可以擷取任何可測量動作的轉換率，而不侷限於電子商務網站和銷售。其中可包含：
- 銷售
- 已產生的潛在客戶數/已提交的註冊數
- 電子報註冊數
- 橫幅廣告點擊數
- 在網站上花費的時間
A/B 測試之後，您應該注意哪些指標？
這個問題的答案取決於您的假設與目標。不過，您應該專注於指出受眾與行銷內容互動狀況的指標。
如果是測試網頁，請查看唯一訪客的數目、返回的訪客人數、訪客在頁面上花費的時間，以及跳出率與離開率。若是電子郵件行銷，您會想要查看誰開啟電子郵件並點擊您的 CTA。
什麼是多變量測試？A/B 測試有何不同？
多變量測試與 A/B 測試常被列在一起討論，因此務必瞭解何謂多變量測試以及它和 A/B 測試的差異點。這二種類別是相關的，但差異非常明確。
多變量測試會測試一或多個網站頁面或電子郵件行銷活動中多個元素 (A/B 測試中則是單一元素) 的不同內容，以識別可產生最高轉換率的組合。
多變量測試會套用統計模型，來測試可產生整體成功體驗與網站最佳化的變更組合。以下是多變量測試的幾個主要特徵：
元素範圍廣泛
系統會針對各種網站/電子郵件變更執行多變量測試，包括優惠的所有部分，例如影像、文字、顏色、字型、連結和 CTA 按鈕，以及登陸頁面或結帳等流程的內容和版面配置。多變量測試通常不會超過 50 個以上的組合。
從假設到結果
多變量測試一開始要先找出可提升轉換率的內容變更假設。使用多變量測試時，您可以將內容變更細分成多個個別元素，以判斷可產生最高轉換率的組合。無論使用者體驗有輕微變更或大幅變更，都可能會影響整體結果。
轉換率
轉換率是訪客執行預期動作的比率，例如按一下優惠或將產品加入購物車。您也可以使用其他指標來評估測試，例如每張訂單的收入或點閱率。「分析」會根據轉換率或您所定義的指標提升，顯示哪種變更組合能產生最佳結果。
持續最佳化
由於您可以定義業務目標，經過測試判斷最佳體驗以讓訪客達成您的目標，因此建議您選擇讓軟體自動依據測試進行體驗最佳化。
是否可以在 iOS 和 Android 應用程式上執行 A/B 和多變量測試？
2020 年的電子商務支出中，行動應用程式就高達 290 億美元。預計到了 2021 年底這個金額會再增加 10 億。這樣的增幅遠超過零售和電子商務。由於許多國家的行動電話比筆記型電腦更普遍，因此行動分享的線上流量成長速度遠比桌上型電腦成長快。因此，在越來越多情況下，客戶的購買歷程都是從 iOS 或 Android 應用程式開始及結束。但由於螢幕小，導致行動裝置的購物車放棄率 (87%) 比桌上型電腦/筆記型電腦 (73%) 更高。
因此，現在的行動體驗勢必要進行最佳化，再加上 iOS 和 Android 應用程式的相關限制，您還需要正確的工具。
觀看下方影片以深入瞭解。
多變量測試中的訪客區隔與訪客群叢集化
並非所有訪客/接收者都會滿意同一種體驗。多變量測試的重要優勢就是能識別訪客群，以及識別訪客對不同體驗的執行/互動方式。例如，您可能認為新訪客偏好與重複訪客不同的體驗，並認為這樣可以獲得較佳的整體成果。進階系統可自動建議訪客區隔，減少分析數百個訪客屬性測試結果所需的時間。
如果您為不同訪客群設定不同體驗，將可大幅增加您的轉換率。根據環境屬性到行為等豐富的訪客屬性來鎖定目標，並包含其他系統 (例如 CRM 系統) 的客戶屬性。
執行 A/B 測試或多變量測試的時機？這是個好問題。
A/B 測試是一項絕佳工具，但如果您需要測試兩個以上的選項以判定何者為「最佳體驗」，建議您執行多變量測試，而不是進行 A/B 測試。
測試兩個以上的選項需要較長執行時間，也無法在單一頁面上顯示變數之間的互動資訊。不過，A/B 測試非常容易理解，也是向懷疑論者介紹網站和銷售活動最佳化概念的好工具，或透過可測量的方式說明設計變更或調整後的影響。
如果您需要比較的資產 (網站頁面或電子郵件) 中包含若干元素 (例如不同的影像和易記的標題組合)，多變量測試就非常實用。不過，由於使用選項較多，需要較高流量。因此，不建議您測試頁面上的所有項目。當太多頁面元素變更時，會導致組合數目過高。例如，對 10 種不同的元素執行測試，可能會衍生超過 350 萬種排列組合。大部分的網站與電子郵件銷售活動都不可能支援這種流量。