A/B 테스트는 무엇인가요?

A/B 테스트의 정의

A/B 테스트가 필요한 시기와 이유

A/B 테스트는 지속적으로 운영할 때 가장 큰 이점을 제공합니다. 정기적으로 이어지는 테스트는 미세한 성능 조정 방법을 위한 권장 사항을 지속적으로 제공할 수 있습니다. 또한 테스트에 사용할 수 있는 옵션이 거의 무제한이므로 지속적인 테스트를 수행할 수 있습니다.

위에서 언급한 바와 같이 A/B 테스트를 이용해 다음과 같은 디지털 마케팅 자산을 평가할 수 있습니다.

• 이메일
• 뉴스레터
• 광고
• 문자 메시지
• 웹 페이지
• 웹 페이지의 구성 요소
• 모바일 앱

A/B 테스트는 효과가 있는 것과 그렇지 않은 것을 결정하는 경우 도움을 주기 때문에 캠페인 관리에서 중요한 역할을 차지합니다. 이는 잠재고객이 무엇에 관심을 갖고 반응하는지 보여줍니다. A/B 테스트에서는 마케팅 전략의 어떤 요소가 가장 큰 효과를 갖고 있는지, 개선이 필요한 요소는 무엇인지, 어떤 요소가 불필요한지 모두 확인할 수 있습니다.

이제 A/B 테스트를 수행해야 하는 이유를 설명했으므로 테스트 시기를 결정하는 두 가지 기준을 살펴보겠습니다.

• 성과가 최적의 수준에 도달하지 못하는 기대 이하의 디지털 마케팅 캠페인이나 요소가 있다고 가정해보겠습니다. A/B 테스트를 사용하면 성능 문제를 분리하여 이를 향상할 수 있습니다.
• 새로운 무언가(웹 페이지, 이메일 캠페인)를 시작하려고 할 때 어떤 접근 방법(예: 메시지)이 가장 좋은 성과를 보여줄 지 확실하지 않습니다. A/B 테스트의 선제적인 사용으로 두 가지 다른 접근 방법의 성과를 비교 및 대조하여 더 나은 것을 파악할 수 있습니다.

웹 사이트에서 A/B 테스트 실행 시의 이점

웹 사이트 A/B 테스트를 통해 웹 사이트 방문자에 가장 적합한 전술을 정량적으로 판별할 수 있습니다. 간단히 예측을 검증하거나 예측 오류가 입증될 수도 있습니다. 그러나 효과가 없는 작업을 고집하지 않아도 된다는 점에서 여전히 유리한 점이 있습니다. 더 많은 시간을 사이트에서 체류하고 더 많은 링크를 클릭하는 방문객을 더 많이 불러모을 수 있을 것입니다.

널리 사용되는 웹 사이트 구성 요소/섹션을 테스트함으로써 테스트 페이지뿐만 아니라 기타 유사한 페이지도 개선할 수 있는 의사 결정이 가능합니다.

A/B 테스트의 수행 방법

A/B 테스트는 어렵지 않지만 마케터들은 잘 정의된 프로세스를 따라야 합니다. 9가지 기본 단계는 다음과 같습니다.

A/B 테스트를 계획하고 실행하는 기본 단계

• 1. 성과 기준 측정 및 검토
• 2. 성과 기준을 사용하여 테스트 목표 결정
• 3. 테스트에서 성과를 개선할 수 있는 방법에 대한 가설을 개발
• 4. 테스트 대상 또는 위치 식별
• 5. 테스트할 A, B 버전 생성
• 6. QA 도구를 활용하여 설정 검증
• 7. 테스트 실행
• 8. 웹 및 테스트 분석을 사용하여 결과 추적 및 평가
• 9. 결론을 적용하여 고객 경험 개선

명확한 목표와 확고한 가설을 갖고 위의 단계를 따르면 일반적인 A/B 테스트 실수를 방지할 수 있습니다.

테스트는 성과 개선과 향상에 도움이 되는 데이터 및 경험적 증거를 제공합니다. A/B 테스트에서 배운 내용을 활용하면 효과를 확대하고, 더욱 많은 고객이 참여할 수 있는 고객 경험(CX)을 설계하며, 더 설득력 있는 텍스트와 매력적인 비주얼을 구성하는 데 도움이 됩니다. 지속적인 최적화로 마케팅 전략이 더욱 효과적으로 개선되어 ROI가 증가하고 매출도 증대됩니다.

A/B 테스트 예시

테스트할 수 있는 디지털 마케팅 요소의 목록에는 아래 항목 가운데 하나 이상을 포함합니다.

• 탐색 링크
• CTA(calls to action)
• 디자인/레이아웃
• 광고 문안
• 콘텐츠 제안
• 헤드라인
• 이메일 제목
• 우호적인 이메일 "발신자" 주소
• 이미지
• 소셜 미디어 버튼(또는 기타 버튼)
• 로고와 슬로건/로그인

현 시점의 비즈니스 목표, 성과 지표 및 기준, 마케팅 캠페인의 구성은 테스트할 최적의 후보를 결정하는 데 도움이 됩니다.

웹 사이트 A/B 테스트에서 분석의 역할

A/B 테스트 결과의 해석 방법

테스트를 계획하는 동안 목표를 설정하는 것이 중요한 이유는 결과를 평가하고, 성공 여부를 판별하며, 마케팅 캠페인 및/혹은 웹사이트를 갱신하여 성공적인 테스트 결과를 반영할 수 있기 때문입니다. 많은 경우 성공한 버전의 테스트 결과 메시지를 수신하게 될 그룹별로 잠재고객을 미리 세분화해 둡니다.

테스트 결과는 다음과 같이 측정하기로 결정한 항목을 바탕으로 다른 요소에 비교한 특정 요소의 성공을 나타냅니다.

• 방문자 수
• 오픈율
• 클릭률
• 등록(뉴스레터 등)
• 구독

테스트가 진행되는 동안 두 개의 요소를 통계적으로 유의미한 측정치에 도달할 때까지 모니터링합니다.

매출 측면에서 전환율을 측정할 수도 있습니다. 변경에 따른 판매 수익의 실제 효과와 판매 수치를 함께 고려할 수 있습니다. 전자상거래 사이트와 판매 뿐 아니라 측정 가능한 모든 활동에서 전환율을 수집할 수 있다는 점을 기억할 필요가 있습니다. 이는 다음을 포함합니다.

• 판매
• 생성된 리드/제출된 등록
• 뉴스레터 등록
• 배너 광고 클릭
• 사이트 체류 시간

A/B 테스트에서 주목해야 할 지표는 무엇입니까?

이 질문에 대한 답은 가설과 목표에 따라 달라집니다. 하지만 잠재고객이 마케팅 콘텐츠에 얼마나 참여하고 있는지를 나타내는 측정지표에 집중해야 합니다.

웹 페이지 테스트의 경우 고유 방문자 수, 방문자 회귀율, 페이지에 머무른 시간, 이탈 및 종료율을 확인해야 합니다. 이메일 마케팅의 경우 누가 이메일을 열어 CTA까지 클릭하는지 확인하고자 할 것입니다.

다변량 테스트란 무엇인가요? A/B 테스트와 차이점은 무엇입니까?

다변량 테스트는 A/B 테스트와 함께 밀접하게 논의되는 경우가 많으므로 다변량 테스트는 무엇이고 A/B 테스트와 어떻게 다른지 이해하는 것이 중요합니다. 두 항목은 관련 분야이지만 분명한 차이가 있습니다.

다변량 테스트는 하나 이상의 웹 사이트 페이지 또는 이메일 마케팅 캠페인에서 여러 요소(예: A/B 테스트의 단일 요소)에 대해 서로 다른 콘텐츠를 테스트하여 전환율이 가장 높은 조합을 식별합니다.

다변량 테스트는 통계 모델을 적용하여 전체적인 성공 이력과 웹사이트 최적화를 유도하는 변경 사항 사이의 조합을 테스트합니다. 다음은 다변량 테스트의 몇 가지 주요 특성입니다.

iOS 및 Android에서 A/B 혹은 다변량 테스트가 가능합니까?

2020년 모바일 앱은 전자상거래 지출에서 2조 9천억 달러를 차지했습니다. 2021년 말까지 이 숫자는 1조 이상 증가할 것으로 예상됩니다. 이러한 성장은 소매와 전자상거래를 넘어 확장됩니다. 대부분의 국가에서 노트북보다 더 쉽게 휴대 전화에 접근할 수 있기에 전체 온라인 트래픽에서 모바일이 차지하는 비중은 데스크탑보다 훨씬 빠르게 성장하고 있습니다. 이에 따라 고객 구매 여정의 시작과 끝이 iOS 또는 Android 앱인 사례는 더욱 더 증가하고 있습니다. 그러나 작은 화면으로 인해 장바구니 포기율은 데스크탑/노트북(73%)보다 모바일(87%)에서 더 높습니다.

모바일 환경의 최적화는 그 어느 때보다 중요하지만 iOS 및 Android 앱의 한계로 인해 올바른 도구가 필요합니다.

자세한 내용은 아래 비디오를 시청하십시오.

다변량 테스트의 방문자 세분화 및 세그먼트 클러스터링

한 가지 경험이 어떤 방문자/수신자에게는 적합하지 않을 수도 있습니다. 다변량 테스트의 중요한 강점은 방문자 세그먼트와 이에 따라 서로 다른 경험을 수행/상호 작용하는 방법을 이해한다는 점입니다 예를 들어, 신규 방문자가 반복 방문자와 비교해 다른 경험을 더 선호하는지 확인할 수 있으며 이 경우 전체 결과를 향상할 수 있습니다. 보다 정교한 시스템은 수백 개의 방문자 속성에 대해 테스트 결과를 분석하는 데 필요한 시간을 줄이기 위해 방문자 세분화를 자동으로 제안합니다.

방문자별 세그먼트를 대상으로 서로 다른 경험을 목표로 설정하면 전환율이 크게 증가합니다. 풍부한 방문자 속성을 바탕으로 타겟팅이 필요합니다. 해당 속성들은 환경적 특성부터 행동 분석결과에 이르기까지 다양하며, CRM 시스템 및 기타 다른 시스템들에 기록된 데이터도 포함됩니다.

A/B 테스트인가 다변량 테스트인가. 그것이 문제.

A/B 테스트는 유용한 도구이지만 "최상의 경험"을 확인하기 위해 테스트해야 하는 옵션이 두 개 이상인 경우 A/B 테스트 대신 다변량 테스트를 수행하고자 할 것입니다.

두 개 이상의 옵션을 사용한 테스트는 실행에 오랜 시간이 걸리며 단일 페이지에서는 변수 간 상호 작용에 대해 어떤 내용도 표시하지 않습니다. 그러나 A/B 테스트는 이해가 매우 쉬우며 회의적 시각을 가진 이들을 위한 웹사이트 콘셉트와 캠페인 최적화를 소개하거나, 디자인 변경 및 수정에 따라 측정 가능한 영향을 보여주기에 좋은 방법입니다.

웹 페이지나 이메일처럼 여러 가지 요소를 비교해야 하는 자산, 예를 들어 서로 다른 이미지 조합, 눈길을 사로잡는 제목의 경우 다변량 테스트가 매우 유용합니다. 하지만 옵션이 많을수록 트래픽이 상승합니다. 따라서 페이지의 모든 항목을 테스트하지 않습니다. 너무 많은 페이지 요소가 변경될 경우 이로 인해 감당하기 어려울 정도로 많은 수의 조합이 발생합니다. 예를 들어, 10개의 다른 요소에 대해 테스트를 실행하면 350만 이상의 조합이 발생할 수 있습니다. 대부분의 웹사이트와 이메일 캠페인은 이를 지원하기 위한 트래픽을 확보하는 데 어려움을 겪고 있습니다.