Google, HubSpot, Shopify의 전문가로부터 테스트 분석 및 아카이브 관리를 할 수 있는 A/B 테스트, 전환 연구, 아이디어 우선순위 설정에 대해 알아보세요.
여러분이 경험이 풍부한 기업가이든 이제 막 시작하는 단계이든 간에 A/B 테스트에 관한 수많은 기사와 자료를 접했을 가능성이 높습니다. 아마도 이메일 제목이나 소셜 미디어 게시물에 대해 A/B 테스트를 이미 진행하고 있을지도 모릅니다.
마케팅 분야에서 A/B 테스트에 대한 많은 이야기가 오갔음에도 불구하고, 많은 기업가는 실제로 시행착오를 겪고 있습니다. 그리하여 부정확한 테스트 결과를 바탕으로 한 중대한 비즈니스 결정이 내려지는 경우가 발생합니다.
A/B 테스트는 종종 과도하게 단순화되며, 특히 스토어 소유자를 위한 콘텐츠에서 그러한 경향이 있습니다. 여기서는 전자상거래를 위한 다양한 유형의 A/B 테스트를 시작하는 데 필요한 모든 내용을 가능한 한 간단하고 유용하게 설명합니다. A/B 테스트는 올바른 제품 포지셔닝을 선택하고, 랜딩 페이지에서 전환율을 높이며, 그 외에도 많은 변화를 불러올 수 있습니다.
A/B 테스트란 무엇인가요?
A/B 테스트는 분할 테스트 또는 버킷 테스트라고도 하며, 동일한 웹 페이지, 이메일 또는 기타 디지털 자산의 두 가지 버전을 비교하여 사용자 행동에 따라 어떤 것이 더 나은 성과를 내는지를 판단하는 과정입니다.
마케팅 캠페인의 성과를 개선하고 목표 고객을 전환하는 요소를 더 잘 이해할 수 있는 유용한 도구입니다. A/B 테스트는 중요한 비즈니스 질문에 대한 답을 제공하고, 현재 보유하고 있는 트래픽보다 더 많은 수익을 창출할 수 있게 도와주며, 데이터 기반 마케팅 전략의 기초를 마련합니다.
A/B 테스트의 작동 방식
- 목표 정의하기. A/B 테스트의 목표를 설정하세요. 예를 들어, 전환율 증가, 클릭률, 전체 매출 증가 등이 있습니다.
- 테스트할 요소 선택하기. 헤드라인, 이미지, 이메일 제목, 클릭 유도 문구(CTA), 가격, 레이아웃 등을 테스트할 수 있습니다.
- 변형 만들기. 두 가지 버전의 요소를 개발하세요. 버전 A는 원본 버전 또는 "제어"입니다. 버전 B는 테스트하고자 하는 변경 사항이 포함된 새로운 버전으로 "변형"이라고 합니다. 마케팅의 맥락에서 50%의 방문자에게 버전 A를, 나머지 50%에게 버전 B를 보여줍니다.
- 테스트 실행하기. 두 그룹 모두 동일한 버전을 미리 정해진 기간에 노출시킵니다. 예를 들어, 전자상거래 사이트의 홈페이지 CTA 버튼을 테스트하는 경우, 통계적으로 유의미한 결과를 얻기 위해 2주 동안 테스트를 진행할 수 있습니다.
- 데이터 수집하기. 두 버전에서 전환, 클릭, 참여 수준 및 매출을 모니터링하고 측정합니다.
- 결과 분석하기. 버전 A와 버전 B의 성과를 비교하여 어떤 버전이 목표를 더 효과적으로 달성했는지 판단합니다. 전환율이 가장 높은 버전이 승리합니다.
- 승자 선언하기. 버전 B의 전환율이 가장 높다면, 이를 승자로 선언하고 모든 방문자를 해당 버전으로 유도합니다. 이 버전이 새로운 제어가 되며, 향후 테스트를 위해 또 다른 변형을 설계해야 합니다.
💡 고려 사항: A/B 테스트의 전환율은 종종 성공의 불완전한 척도가 될 수 있습니다.
예를 들어, 한 페이지에서 상품 가격을 50달러(약 7만 3천원)로 설정하고 다른 페이지에서는 무료로 제공한다면, 이는 진정으로 유용한 인사이트를 제공하는 것이 아닙니다. 비즈니스에 사용하는 모든 도구나 전략은 전략적이어야 합니다.
그렇기 때문에 전환의 가치를 최종 판매까지 추적해야 합니다.
A/B 테스트를 해야 할 시기
트래픽이 적은 사이트나 웹 또는 모바일 앱을 운영하고 있다면, A/B 테스트는 최적화 노력으로는 적합하지 않을 수 있습니다. 예를 들어, 사용자 테스트를 진행하거나 고객과 대화하는 것이 더 높은 투자 수익률(ROI)을 가져올 가능성이 높습니다. 일반적인 믿음과는 달리, 전환율 최적화는 테스트로만 시작하고 끝나는 것이 아닙니다.
왜 2주에서 4주일까요? 최소한 두 번의 전체 비즈니스 사이클 동안 테스트를 진행해야 하는데, 일반적으로 2주에서 4주 정도면 충분하기 때문입니다. 이제 여러분은 “필요한 샘플 크기에 도달하기 위해 2~4주 이상 테스트를 진행할 수도 있지 않나요?”라고 생각할 수 있습니다. 하지만 효과적인 방법이 아닙니다.
테스트가 길어질수록 외부 유효성 위협과 샘플 오염에 더 취약해집니다. 예를 들어, 방문자가 쿠키를 삭제하고 새로운 방문자로 A/B 테스트에 다시 참여할 수 있습니다. 또는 누군가 모바일에서 데스크톱으로 전환하여 다른 변형을 볼 수 있습니다.
본질적으로, 테스트를 너무 오래 진행하면 충분히 실행하지 않은 것과 같이 결과가 왜곡되어 나타날 수 있습니다.
필요한 샘플 크기를 2주에서 4주 안에 충족할 수 있는 스토어에겐 테스트가 적합합니다. 충족할 수 없는 스토어는 트래픽이 증가할 때까지 다른 최적화 방법을 고려해야 합니다.
A/B 테스트 프로세스 설정하기
A/B 테스트 아이디어 우선순위 설정하기
A/B 테스트 사례의 방대한 목록은 흥미롭지만, 무엇을 테스트할지 결정하는 데는 도움이 되지 않습니다. 어디서부터 시작할까요? 바로 우선순위 설정이 필요합니다.
다음은 사용할 수 있는 몇 가지 일반적인 A/B 테스트 우선순위 설정 프레임워크입니다.
- ICE. ICE는 영향, 신뢰도, 용이성을 의미합니다. 각 요소는 1에서 10까지의 순위를 받습니다. 예를 들어, 개발자나 디자이너의 도움 없이 혼자서 쉽게 테스트를 실행할 수 있다면, 용이성에 8점을 줄 수 있습니다. 여기서는 판단력을 사용하며, 여러 사람이 테스트를 진행하는 경우 순위가 너무 주관적일 수 있습니다. 모든 사람이 객관성을 유지할 수 있도록 가이드라인을 갖는 것이 도움이 됩니다.
- PIE. PIE는 잠재력, 중요성, 용이성을 의미합니다. 마찬가지로 각 요소는 1에서 10까지의 순위를 받습니다. 예를 들어, 테스트가 90%의 트래픽에 도달할 경우, 중요성에 8점을 줄 수 있습니다. PIE도 ICE처럼 주관적이므로, 이 프레임워크에서도 가이드라인이 도움이 될 수 있습니다.
- PXL. PXL은 교육 플랫폼 CXL의 우선순위 설정 프레임워크입니다. PIE와 조금 다르며, 더 많은 객관적인 결정을 유도합니다. 세 가지 요소 대신, 예/아니오 질문과 구현 용이성 질문이 포함됩니다. 예를 들어, 프레임워크는 “테스트가 동기를 높이기 위해 설계되었나요?”라고 물어볼 수 있습니다. 그렇다면 1점을 부여하고, 아니라면 0점을 부여합니다. 이 프레임워크에 대해 더 알고 싶다면 스프레드시트(영어)를 다운로드할 수 있습니다.
어디서 시작할지 감이 잡히면, 아이디어를 분류하는 것도 도움이 됩니다. 예를 들어, 전환 연구 중에 실행, 조사, 테스트와 같은 세 가지 카테고리를 사용할 수 있습니다.
- 실행. 그냥 해보세요. 고장 났거나 명백한 경우입니다.
- 조사. 문제를 정의하거나 해결책을 좁히기 위해 추가적인 생각이 필요합니다.
- 테스트. 아이디어가 타당하고 데이터 기반입니다. 테스트해 보세요!
이 분류와 우선순위 설정을 통해 A/B 테스트를 시작할 준비가 완료됩니다.
가설 개발하기
무엇이든 테스트하기 전에 “배송비를 낮추면 전환율이 증가할 것이다.”와 같은 가설이 필요합니다.
가설을 세우는 과정은 복잡하지 않으니 걱정하지 마세요. 기본적으로, 아이디어가 아니라 가설을 테스트해야 합니다. 가설은 측정할 수 있고, 특정 전환 문제를 해결하는 것을 목표로 하며, 승리보다 인사이트에 초점을 맞춥니다.
가설을 작성할 때는 Craig Sullivan의 가설 키트에서 차용한 공식을 사용하는 것이 도움이 됩니다.
- 여러분이 [연구에서 얻은 데이터/피드백]을(를) 보았기 때문에
- [테스트하고자 하는 변경 사항]이 [예상되는 영향]을(를) 초래할 것이라고 기대하며,
- 이를 [데이터 메트릭]을(를) 사용하여 측정할 것입니다.
어렵지 않습니다. 빈칸을 채우기만 하면 A/B 테스트 아이디어가 가설로 변모합니다.
A/B 테스트 도구 선택하기
이제 A/B 테스트 도구나 분할 테스트 서비스를 선택할 수 있습니다. 대개는 Google Optimize, Optimizely, VWO를 먼저 떠올릴 것입니다. 모두 안전하고 좋은 옵션입니다.
다음은 이러한 인기 있는 A/B 테스트 도구에 대한 추가 정보입니다.
- Google Optimize. 무료이며, 몇 가지 다변량 제한이 있지만, 이제 막 시작하는 경우에는 큰 영향을 미치지 않을 것입니다. Google Analytics A/B 테스트를 수행할 때 잘 작동합니다.
- Optimizely. 기술적 기술 없이도 소규모 테스트를 쉽게 시작할 수 있습니다. Stats Engine은 테스트 결과 분석을 더 쉽게 만들어줍니다. 일반적으로 Optimizely는 세 가지 옵션 중 가장 비싼 선택입니다.
- VWO. VWO는 SmartStats를 통해 분석을 더 쉽게 만들어줍니다. 또한 초보자를 위한 훌륭한 WYSIWYG 편집기가 있습니다. 모든 VWO 플랜에는 히트 맵, 사이트 내 설문조사, 양식 분석 등이 포함되어 있습니다.
또한 Shopify 앱 스토어에도 유용할 수 있는 A/B 테스트 도구가 있습니다.
A/B 테스트 도구나 분할 테스트 소프트웨어를 선택한 후, 가입 양식을 작성하고 제공된 지침을 따르세요. 도구마다 프로세스는 다를 수 있습니다. 일반적으로는 사이트에 스니펫을 설치하고 목표를 설정하라는 요청을 받게 됩니다.
결과 분석 방법 결정하기
가설을 올바르게 작성하면, 심지어 패배한 테스트도 승리로 이어질 수 있습니다. 왜냐하면 향후 테스트와 비즈니스의 다른 영역에서 사용할 수 있는 인사이트를 얻을 수 있기 때문입니다. 따라서 테스트 결과를 분석할 때는 테스트의 승패가 아니라 인사이트에 집중해야 합니다. 항상 배울 것이 있고, 분석할 것이 있습니다. 패배한 테스트를 간과하지 마세요!
여기서 가장 중요한 것은 세분화의 필요성입니다. 테스트가 전체적으로 패배했더라도, 특정 고객 세그먼트에서 잘 수행되었을 가능성이 높습니다.
다음은 고객 세그먼트의 몇 가지 예입니다.
- 신규 방문자
- 재방문자
- iOS 방문자
- 안드로이드 방문자
- 크롬 방문자
- 사파리 방문자
- 데스크톱 방문자
- 태블릿 방문자
- 유기적 검색 방문자
- 유료 방문자
- 소셜 미디어 방문자
- 로그인한 구매자
이해가 되나요?
가설이 특정 세그먼트에서 맞아떨어졌을 가능성이 높습니다. 이는 또한 중요한 정보를 제공합니다.
분석은 테스트의 승패보다 훨씬 더 많은 것을 포함합니다. 데이터를 세분화하여 숨겨진 인사이트를 찾아보세요.
A/B 테스트 소프트웨어가 이 분석을 대신해 주지 않으므로, 이는 시간이 지남에 따라 개발해야 할 중요한 기술입니다.
테스트 결과 아카이브하기
내일 첫 번째 테스트를 진행한다고 가정해 봅시다. 2년 후, 그 테스트의 세부 사항을 기억할 수 있을까요? 아마도 아닐 것입니다.
그래서 A/B 테스트 결과를 아카이브하는 것이 중요합니다. 잘 관리된 아카이브가 없다면, 얻은 모든 인사이트가 사라질 것입니다. 또한 아카이브가 없으면 같은 것을 두 번 테스트하게 될 수도 있습니다.
정확한 방법은 없지만, Effective Experiments와 같은 도구를 사용하거나 간단한 스프레드시트를 사용할 수 있습니다. 시작하는 단계에서는 정말로 여러분에게 달려 있습니다.
어떤 도구를 사용하든, 다음 사항을 기록하는 것을 잊지 마세요.
- 테스트한 가설
- 제어 및 변형의 스크린샷
- 승리 또는 패배 여부
- 분석을 통해 얻은 인사이트
성장하면서 이 아카이브를 유지한 것에 대해 스스로에게 감사할 것입니다. 이는 여러분에게만 도움이 되는 것이 아니라, 새로운 직원 및 고문/이해관계자에게도 도움이 됩니다.
A/B 테스트 사례
기술적 분석
스토어가 모든 브라우저와 모든 장치에서 제대로 빠르게 로드되나요? 최신 스마트폰을 가지고 있을지 모르지만, 누군가는 여전히 2005년형 플립폰을 사용하고 있습니다. 사이트가 제대로 작동하지 않거나 빠르지 않다면, 전환율이 최적화되지 않을 것입니다.
사이트 내 설문조사
이 설문조사는 스토어 방문자가 탐색하는 동안 팝업으로 나타납니다. 예를 들어, 같은 페이지에 머무르고 있는 방문자에게 오늘 구매를 망설이게 하는 요소가 무엇인지 물어볼 수 있습니다. 그렇다면, 그 이유가 무엇인지 발견해 보세요. 이 질적 데이터를 사용하여 카피와 전환율을 개선할 수 있습니다.
고객 인터뷰
고객과 전화로 대화하는 것만큼 좋은 것은 없습니다. 왜 그들이 경쟁 스토어보다 여러분의 스토어를 선택했을까요? 그들이 여러분의 사이트에 도착했을 때 해결하고자 했던 문제는 무엇인가요? 고객이 누구인지, 그리고 왜 그들이 여러분에게 정말 구매하는지 물어볼 수 있는 질문은 무수히 많습니다.
고객 설문조사
고객 설문조사는 방문자가 아닌 이미 구매한 사람들에게 보내는 전체 설문조사입니다. 고객 설문조사를 설계할 때는 고객 정의, 그들의 불만 사항 정의, 구매 전의 망설임 정의, 그리고 그들이 여러분의 스토어를 설명하는 데 사용하는 단어와 구문을 파악하는 데 집중해야 합니다.
분석 도구 분석
여러분의 분석 도구가 데이터를 제대로 추적하고 보고하고 있나요? 말도 안 되는 소리 같지만, 많은 분석 도구가 잘못 구성되어 있는지 알고 나면 놀랄 것입니다. 분석 도구 분석은 방문자의 행동을 파악하는 것입니다. 예를 들어, 퍼널에 집중할 수 있습니다. 가장 큰 전환 퍼널 누수가 발생하는 곳은 어디인가요? 즉, 대부분의 사람이 퍼널에서 이탈하는 곳이 어디인가요? 이 지점이 테스트를 시작하기에 좋은 장소입니다.
사용자 테스트
이것은 실제 사람들이 유료 또는 통제된 실험에서 여러분의 사이트에서 작업을 수행하는 모습을 관찰하는 것입니다. 예를 들어, 그들에게 40~60달러(약 5만 8천원~8만 8천원) 사이의 비디오 게임을 찾아 장바구니에 추가해 보라고 요청할 수 있습니다. 그들이 이러한 작업을 수행하는 동안, 그들의 생각과 행동을 소리 내 설명합니다.
세션 재생
세션 재생은 사용자 테스트와 유사하지만, 이제는 실제 방문자들이 실제 돈과 구매 의도를 가지고 사이트를 탐색하는 모습을 다룹니다. 그들이 무엇을 찾는 데 어려움을 겪는지, 어디에서 좌절하는지, 어디에서 혼란스러워하는지를 관찰합니다.
추가적인 연구 유형도 있지만, 자신에게 가장 적합한 A/B 테스트 방법을 선택하는 것부터 시작하세요. 여러 가지를 시도해 보면, 테스트할 가치가 있는 데이터 기반 아이디어 목록이 생길 것입니다.
전문가의 A/B 테스트 프로세스
표준 A/B 테스트 튜토리얼을 마쳤으니, 이제 전문가들의 정확한 프로세스를 살펴보겠습니다.
KS Digital의 Krista Seiden
웹 및 앱 A/B 테스트에 대한 단계별 프로세스는 분석으로 시작됩니다. 이는 좋은 테스트 프로그램의 핵심입니다. 분석 단계에서는 분석 데이터, 설문조사 또는 UX 데이터, 고객 인사이트의 다른 출처를 검토하여 최적화 기회를 이해하는 것이 목표입니다.
분석 단계에서 아이디어 파이프라인을 잘 구축한 후, 무엇이 잘못되었는지 가설을 세우고 이러한 최적화 영역을 어떻게 개선할 수 있을지 고민합니다.
다음으로, 테스트를 구축하고 실행합니다. 적절한 시간 동안 테스트를 실행해야 합니다. (일주일간의 변화나 이상 현상을 고려하기 위해 기본적으로 2주로 설정) 충분한 데이터가 수집되면 결과를 분석하여 승자를 결정합니다.
이 단계에서 패배한 테스트에 대해서도 분석하는 시간을 갖는 것이 중요합니다. 이러한 변형에서 무엇을 배울 수 있을까요?
마지막으로, 견고한 최적화 프로그램을 위한 기초를 다진 후에 개인화에 대해 살펴볼 시간입니다. 이는 고급 도구 세트가 반드시 있어야 하는 것은 아니며, 오히려 사용자에 대한 데이터에서 나올 수 있습니다.
마케팅 개인화는 적절한 콘텐츠를 적절한 위치에 타겟팅하는 것만큼 간단할 수 있으며, 개별 사용자 행동에 따라 타겟팅하는 것만큼 복잡할 수도 있습니다. 그러나 개인화 부분에 한 번에 뛰어들지 마세요. 먼저 기본을 제대로 이해하는 데 충분한 시간을 투자하세요.
Omniscient Digital의 Alex Birkett
전반적으로 다음과 같은 프로세스를 따릅니다.
- 데이터 수집 및 분석 구현이 정확한지 확인합니다.
- 데이터 분석 및 인사이트를 발견합니다.
- 인사이트를 가설로 전환합니다.
- 영향과 용이성을 기준으로 우선순위를 정하고 자원(특히 기술 자원)의 할당을 극대화합니다.
- 테스트를 실행합니다. 지식과 능력에 맞춰 통계 모범 사례를 따릅니다.
- 결과 분석 및 결과에 따라 구현 여부를 결정합니다.
- 발견에 따라 반복하고 재시도합니다.
더 간단히 말하면, 연구, 테스트, 분석, 반복입니다.
이 프로세스는 맥락에 따라 달라질 수 있지만 (비즈니스에 중요한 제품 기능을 테스트하고 있나요? 블로그 게시물 CTA는 어떠한가요? 혁신과 위험 완화의 균형은 어떻게 유지하나요?) 모든 규모나 유형의 회사에 적용 가능합니다.
중요한 점은 이 프로세스가 민첩하다는 것이며, 정성적 고객 피드백과 정량적 분석 모두에서 충분한 데이터를 수집하여 더 나은 테스트 아이디어를 제시하고 우선순위를 정하여 온라인 스토어로 트래픽을 유도할 수 있다는 것입니다.
Online Dialogue의 Ton Wesseling
고객 여정을 최적화하고자 할 때 항상 답해야 하는 첫 번째 질문은 바로 “이 제품이나 서비스가 Online Dialogue에서 만든 ROAR 모델의 어디에 적합한가요?”라고 Ton Wesseling은 말합니다. 여전히 위험 단계에 있나요? 많은 연구를 할 수 있지만 A/B 테스트 온라인 실험을 통해 결과를 검증할 수 없는 단계(월 1,000회 미만의 전환)인가요? 아니면 최적화 단계나 그 이상의 단계에 있나요?
- 위험 단계: 많은 연구가 이루어지며, 이는 비즈니스 모델 전환부터 전체 디자인 및 가치 제안까지 다양한 형태로 변환됩니다.
- 최적화 단계: 가치 제안을 최적화하고 비즈니스 모델을 개선하는 대규모 실험과 사용자 행동 가설을 검증하기 위한 소규모 실험이 진행됩니다. 이는 더 큰 디자인 변경을 위한 지식을 쌓는 데 기여합니다.
- 자동화: 여전히 실험 능력(방문자)이 남아있어, 사용자 여정을 검증하는 데 테스트 잠재력을 완전히 발휘할 필요는 없습니다. 남은 부분은 장기 학습에 초점을 두지 않고 지금 더 빠르게 성장하기 위해 활용되어야 합니다. 이는 밴디트 실행/알고리즘 사용으로 자동화할 수 있습니다.
- 재고: 새로운 것으로 전환하지 않는 한, 많은 연구를 추가하는 것을 중단합니다.
따라서 웹 또는 앱 A/B 테스트는 ROAR의 최적화 단계 및 그 이후(다시 생각할 때까지)에서 중요합니다.
실험 접근 방식은 FACT & ACT 모델이며, 수행하는 연구는 5V 모델을 기반으로 합니다.
이 모든 인사이트를 모아 연구 기반의 주요 가설을 세우며, 이는 수집된 데이터를 기반으로 우선순위가 매겨진 하위 가설로 이어집니다. 가설이 사실일 가능성이 높을수록 더 높은 순위를 부여합니다.
가설이 사실인지 거짓인지 확인한 후, 학습을 결합하고 고객 여정의 더 큰 부분을 재설계 및 재조정하는 더 큰 단계를 밟을 수 있습니다. 그러나 어느 시점에서 모든 성공적인 구현은 로컬 최댓값으로 이어질 것입니다. 그러면 잠재적인 글로벌 최댓값에 도달하기 위해 더 큰 단계를 밟아야 합니다.
그리고 물론, 주요 학습은 회사 전반에 퍼져 나가며, 이는 검증된 1차 인사이트를 기반으로 한 다양한 최적화 및 혁신으로 이어집니다.
국제 고객을 대상으로 마케팅하고 있나요? 의사 현지화를 통해 그 과정을 쉽게 만드는 방법을 알아보세요.
Pinterest의 Julia Starostenko
실험의 목적은 기존 웹페이지에 대한 변경이 비즈니스에 긍정적인 영향을 미친다는 사실을 검증하는 것입니다.
시작하기 전에, 실험을 진행하는 것이 정말 필요한지 판단하는 것이 중요합니다. 다음 시나리오를 고려해 보세요. 클릭률이 극히 낮은 버튼이 있습니다. 이 버튼의 성능을 낮추는 것은 거의 불가능할 것입니다. 따라서 버튼에 대한 제안된 변경 사항의 효과를 검증하는 것(즉, 실험을 진행하는 것)은 필요하지 않습니다.
마찬가지로 버튼에 대한 제안된 변경 사항이 적다면, 실험을 설정하고 실행하며 종료하는 데 시간을 할애할 가치가 없을 것입니다. 이 경우, 변경 사항은 모두에게 적용되고 버튼의 성능을 모니터링하면 됩니다.
실험을 진행하는 것이 실제로 유익하다고 판단되면, 다음 단계는 개선해야 할 비즈니스 메트릭을 정의하는 것입니다(예: 버튼의 전환율 증가). 그런 다음 적절한 데이터 수집이 이루어지도록 합니다.
이 작업이 완료되면, 고객을 무작위로 나누어 두 그룹 간의 분할 테스트를 진행합니다. 한 그룹은 기존 버튼 버전을, 다른 그룹은 새로운 버전을 보여줍니다. 각 고객의 전환율을 모니터링하고, 통계적 유의성이 도달하면 실험 결과를 결정합니다.
CXL의 Peep Laja
A/B 테스트는 더 큰 전환 최적화 그림의 일부입니다. Peep Laja는 연구가 80%이고 테스트가 20%라고 생각했습니다. 전환 연구는 무엇을 테스트할지를 결정하는 데 도움이 됩니다.
CXL의 프로세스를 다음과 같이 요약해 보겠습니다.
- ResearchXL과 같은 프레임워크를 사용하여 사이트의 문제를 식별하는 전환 연구를 수행합니다.
- 우선순위가 높은 문제(많은 사용자에게 영향을 미치고 심각한 문제)를 선택하고, 이 문제에 대한 가능한 해결책을 최대한 많이 브레인스토밍합니다. 전환 연구 인사이트를 통해 아이디어를 구체화합니다. 테스트를 실행할 장치를 결정합니다. 모바일 A/B 테스트는 데스크톱과 별도로 실행해야 합니다.
- 트래픽/거래 수준에 따라 테스트할 수 있는 변형 수를 결정하고, 제어와 비교할 수 있는 최상의 1~2개의 아이디어를 선택합니다.
- 카피 작성, 디자인 변경 등 정확한 처리를 위한 와이어프레임을 작성합니다. 변경 범위에 따라 새로운 요소를 디자인할 디자이너가 필요할 수도 있습니다.
- 프론트엔드 개발자가 테스트 도구에 처리를 구현하도록 합니다. 필요한 통합(Google Analytics 설정) 및 적절한 목표를 설정합니다.
- 테스트에 대한 QA를 수행합니다. 잘못된 테스트는 A/B 테스트의 가장 큰 방해 요소입니다. 모든 브라우저/장치 조합에서 작동하는지 확인합니다.
- 테스트를 시작합니다!
- 테스트가 완료되면 사후 테스트 분석을 수행합니다.
- 결과에 따라 승자를 구현하거나, 처리를 반복하거나, 다른 것을 테스트합니다.
A/B 테스트에서 흔히 발생하는 실수
변수를 동시에 너무 많이 테스트하기
두 개의 변수를 동시에 비교하면 어떤 변화가 효과를 초래했는지 파악하기 어려울 수 있습니다.
예를 들어, 랜딩 페이지를 최적화하고자 한다고 가정해 보겠습니다. 헤드라인만 테스트하는 대신 다음을 모두 테스트해 보기로 합니다.
- CTA(클릭 유도 문구) 텍스트
- CTA 버튼 색상
- 헤더 이미지
- 헤드라인
전환율이 상승하지만, 어떤 변화가 원인인지 파악할 수 없습니다. 한 번에 하나의 변수를 테스트하면 각 변화의 영향을 분리하여 더 정확한 결과를 얻을 수 있습니다.
💡고려 사항: 여러 변수가 서로 어떻게 상호작용을 하는지 이해하고 싶다면 다변량 테스트가 필요합니다. 하지만 다변량 테스트를 실행하려면 더 많은 트래픽과 이미 잘 최적화된 페이지가 필요합니다. 이 프로세스는 A/B 테스트보다 훨씬 복잡합니다.
샘플 크기 부족
A/B 테스트 결과의 신뢰성은 사용된 샘플 크기에 따라 달라집니다. 작은 샘플은 잘못된 위양성 및 음성이 발생할 수 있으므로 그 차이가 변화 때문인지 무작위 우연인지 결론을 내리기 어려울 수 있습니다.
예를 들어, 두 가지 버전의 제품 페이지를 테스트하여 어떤 것이 더 높은 구매율을 이끌어내는지 확인하고 있다고 가정해 보겠습니다. 트래픽을 나누었지만 버전 A에 100명의 방문자, 버전 B에 100명의 방문자만 남았습니다.
버전 A의 전환율이 6%이고, 버전 B의 전환율이 5%라면, 버전 A가 더 좋다고 생각할 수 있습니다. 하지만 각 버전당 100명의 방문자만으로는 통계적으로 유의미하지 않습니다. 더 많은 방문자로 테스트했다면 결과가 달라졌을 가능성이 있습니다.
적합한 샘플 크기를 결정하는 가장 좋은 방법은 샘플 크기 계산기(현재 영어만 제공)를 사용하는 것입니다.
짧은 테스트 기간
A/B 테스트를 최소한 한 번, 이상적으로는 두 번의 전체 비즈니스 사이클 동안 실행하세요. 통계적 유의성에 도달했다고 해서 테스트를 중단하지 마세요. 미리 정해진 샘플 크기를 충족해야 합니다. 마지막으로, 모든 테스트는 전체 주 단위로 실행해야 한다는 점을 잊지 마세요.
왜 두 번의 전체 비즈니스 사이클인가요? 첫째로, 두 사이클은 다음을 고려하는 데 도움이 됩니다.
- “생각해 봐야겠다”는 구매자
- 다양한 트래픽 소스(Facebook, 이메일 뉴스레터, 유기적 검색 등)
- 금요일 이메일 뉴스레터와 같은 이상 현상
두 번의 비즈니스 사이클은 목표 고객의 사용자 행동에 대한 귀중한 인사이트를 얻기에 충분한 시간입니다.
A/B 테스트 랜딩 페이지 테스트 도구를 사용한 적이 있다면, “통계적으로 유의미하다”는 작은 녹색 아이콘에 익숙할 것입니다.
안타깝게도 많은 사람들에게 이는 “테스트가 조작되었으니 종료하라”는 보편적인 신호입니다. 아래에서 배우겠지만, A/B 테스트의 통계적 유의성이 도달했다고 해서 테스트를 중단해야 한다는 의미는 아닙니다.
사용자 세그먼트 간과하기
다양한 사용자 세그먼트를 고려하지 않으면, 모든 사람에게 적용되지 않을 수 있는 일반화된 결과를 얻게 됩니다.
사용자를 인구 통계, 행동 또는 기타 관련 요소로 세분화하는 것이 좋습니다. 신규 사용자에게 효과적인 것이 재방문자에게는 효과적이지 않을 수 있습니다. 세분화하지 않으면 주요 사용자 그룹을 소외시키고 테스트의 무결성을 위험에 빠뜨릴 수 있습니다.
비즈니스를 위한 A/B 테스트 최적화하기
프로세스가 준비되었으니, 이제 여러분의 힘을 발휘하세요! 최고의 A/B 테스트 소프트웨어를 확보하고 스토어를 테스트하기 시작하세요. 그 인사이트를 통해 여러분은 더 많은 돈을 벌어들일 수 있습니다.
최적화에 대해 계속 배우고 싶다면, Google의 A/B 테스트(현재 영어로 제공)와 같은 무료 과정을 고려해 보세요. 웹 및 모바일 앱 A/B 테스트에 대해 더 배우고 최적화 기술을 향상시킬 수 있습니다.
*환율: 2025년 4월 기준
A/B 테스트 FAQ
A/B 테스트란 무엇인가요?
가장 기본적인 수준에서 A/B 테스트는 두 가지 버전을 테스트하여 어떤 것이 더 나은 성과를 내는지를 확인하는 것입니다. 비즈니스와 관련된 다양한 것들, 예를 들어 소셜 미디어 게시물, 콘텐츠, 이메일, 제품 페이지 등을 A/B 테스트할 수 있습니다.
A/B 테스트의 예시는 무엇인가요?
A/B 테스트의 예시는 두 개의 약간 다른 제품 페이지에 유료 트래픽을 유도하여 어떤 페이지가 더 높은 전환율을 가지는지를 확인하는 것입니다. A/B 테스트가 유용한 인사이트를 제공할 수 있도록 하려면, 특정 페이지에 5,000명 이상의 방문자가 있어야 합니다.
사람들이 A/B 테스트를 사용하는 이유는 무엇인가요?
A/B 테스트는 사람들이 웹페이지, 앱 또는 마케팅 캠페인의 두 가지 버전을 테스트하여 서로 다른 사용자 세그먼트에 동시에 보여줌으로써 어떤 버전이 더 많은 전환, 참여 또는 판매를 가져오는지를 결정하는 데 도움을 줍니다.
소셜 미디어에서 A/B 테스트의 예시는 무엇인가요?
소셜 미디어에서 A/B 테스트의 예시는 Instagram 광고의 효과를 테스트하는 것입니다. 예를 들어, 두 가지 버전의 광고를 만들어 각기 다른 미디어를 사용하고, 어떤 버전이 더 많은 클릭과 판매를 가져오는지를 분석합니다.
