안녕하세요, 꾸우._. 입니다. 이번주에는 패스오더를 분석하면서 선정한 MVP를 바탕으로 A/B 테스트 계획을 세워보겠습니다.
📌 시작 전 워밍 업
지난 과제에 이어 워밍 업 프로덕트로 다시 플로를 선택했습니다. 지난 주 UX 개선점을 정리했으나, 다소 주관적이었던 점을 고려해 해당 프로덕트를 다시 찬찬히 훑어보았는데요. 그 때 플로가 제공하는 서비스에 대한 몰랐던 사실을 알 수 있었습니다. 그래서 해당 프로덕트를 조금 더 깊게 들여다보고 싶어 선정하게 되었습니다.
💡 FLO의 각 Funnel
플로에서의 퍼널은 사용자가 어떤 서비스를 사용하느냐에 따라 크게 2가지로 나뉩니다.
- 스트리밍 서비스 사용자
- 회원가입 → 첫 달 100원 → 유료 구독 → 제휴 통신사 회원 유도 → T 멤버십 고객 한정 6개월 30% 할인 → 재구매
- T world 연동 로그인 → 첫 달 100원 → 유료 구독 → T 멤버십 고객 한정 6개월 30% 할인 → 재구매
- 오디오 플랫폼 사용자
- 청취자의 경우
- 회원가입, 로그인 → 오디오 청취 → 사용자 취향 기반의 다양한 오디오 콘텐츠 제공 → 재사용
- 오디오 크리에이터의 경우
- 회원가입, 로그인 → 플로 크리에이터 스튜디오 → 오디오 콘텐츠 제공 → 수익 창출 → 지속적인 오디오 크리에이터 활동
- 청취자의 경우
💡 FLO에서 성장(매출)에 기여하는 메인 기능
플로는 음원 스트리밍 서비스를 제공하고 있으나, 다른 음원 플랫폼들과는 달리 '사용자 취향'을 기반으로 음원 플레이리스트 공유부터 나아가 오디오 콘텐츠 플랫폼을 제공하고 있습니다.
- 이용권 (스트리밍 서비스)
- 이용권 구매 시 부가가치세 (10%) 별도 부과
- 횟수제 이용권의 경우 1분 이상 재생 시 1회 차감, 1분 이내의 곡은 해당 곡을 모두 들으면 1회 차감
- 정기결제 시 월 100원 할인 → 장기 구독 유도
- SK텔레콤 고객의 경우 T멤버십을 활용하면 6개월간 30% 할인
- 이용권 종류 : 무제한+오프라인 재생, 무제한 듣기, 100회 듣기, 모바일 무제한 듣기
- 오디오 오픈 플랫폼
- 콘텐츠 크리에이터에게 수익을 분배하는 사업구조 마련
- 2022년 7월, 누구나 크리에이터가 되어 오디오 콘텐츠를 올릴 수 있는 ‘오디오 오픈플랫폼’으로 전환
- 올해 1월 말 기준, 4,134명의 플로 크리에이터와 1,703개의 프로그램이 등록됐으며, 오디오 콘텐츠 에피소드 수는 15,962개로 꾸준히 증가하는 추세
- 플로 크리에이터들은 각기 다른 취향을 기반으로 플레이리스트 소개, 오디오 드라마, 자작곡, ASMR, 오디오로그, 영화/책 리뷰, 덕질썰 등 다양한 콘텐츠를 공개
💡 사용자가 '전환'하는 데까지 거치는 프로세스
플로에서는 사용자가 전환되는 경우가 주로 사용하는 기능이 무엇이냐에 따라 2가지 케이스로 나뉩니다. 첫 번째로는 타 음원 플랫폼 서비스처럼 유료 스트리밍 서비스 구독 시 정기 결제를 통한 재구매를 하는 경우가 있고, 두 번째로는 오디오 오픈 플랫폼 활용 시 오디오 콘텐츠를 제공 또는 소비하는 경우가 있습니다.
즉, 플로에서는 음원 스트리밍 서비스 첫 결제 시 100원 혜택이라는 이벤트를 제공하여 플랫폼으로 신규 고객을 유입하고, 해당 고객을 장기 이용 고객으로 전환하기 위해 '사용자 취향'을 기반으로 음원차트, 플레이리스트를 제공하고, 일반 고객 누구나 능동적으로 오디오 콘텐츠를 만들어내고 제공할 수 있도록 오디오 크리에이터 관련 서비스를 제공하는 것입니다.
위를 바탕으로 플로를 살펴보며 제가 분석한 전환 프로세스는 아래와 같습니다.
- FLO 스트리밍 첫 달 100원 혜택을 통한 플랫폼 유입
- 하단 내비게이션 메뉴 탭 확인
- 홈
→ 사용자 취향 기반 최신앨범, 오늘 발매 음악, 여러 테마 리스트 등 - 둘러보기
→ 플로 차트, 해외 차트, V컬러링 차트, 음악 장르 및 테마 메뉴, 오디오 컨텐츠 메뉴, 영상 (뮤직비디오), 크리에이터 테마리스트 (콘텐츠 크리에이터들이 제공하는 플레이리스트) 등 - 오디오
→ 실시간 추천 에피소드, 음악 추천 프로그램, 지금 오디오 TOP20, 테마별 오디오 콘텐츠 리스트, 카테고리별 프로그램, 밀리의 서재 (오디오북), 인플루언서의 오디오, 새로 나온 콘텐츠, 최하단 인디케이터 (플로 크리에이터 스튜디오, 플로 크리에이터 스쿨) 등
- 홈
- 전환 케이스
- 스트리밍 유료 구독의 경우
- SKT 통신사 고객에 한해 6개월 간 스트리밍 구독 서비스를 30%할인 제공
- 위의 혜택과 플레이리스트의 Lock-in 작용으로 인해 재구매 고객으로 전환 가능
- 오디오 컨텐츠 플랫폼 청취자의 경우
- 오디오 탭을 통해 다양한 오디오 컨텐츠 청취 가능 → 실시간 추천 에피소드, 음악 추천 프로그램, 밀리의 서재 (오디오북) 등
- 청취 기록을 기반으로 사용자 취향에 맞춰 다양한 콘텐츠 제공
- 사용자가 직접 오디오 콘텐츠를 제공하는 크리에이터가 되고자 하는 경우
- [플로 크리에이터 스튜디오]를 통해 오디오 크리에이터로 데뷔
- 플로 크리에이터 스튜디오
→ 오디오 제작에 필요한 모든 것을 한 곳에서 할 수 있도록 하는 크리에이터 전용 스튜디오
- 플로 크리에이터 스튜디오
- 오디오 콘텐츠를 제공함으로써 청취자를 늘리고, FLO에 그치지 않고 팬 플랫폼, 메타버스 등을 통해 다양한 사람들과의 소통 유도
- FLO에서 제공하는 프로모션 혜택과 재생당 정산률 시스템을 통해 자신이 만든 오디오 콘텐츠로 수익 창출
- 정산 금액 : 건 당 50원, 변경/종료 공지 시까지
- 메인 노출 및 마케팅 지원 : 오디오 제작 시 FLO에서 메인 노출과 마케팅을 지원함으로써 더 많은 청취자 유입
- 콘텐츠 관리 기능 : 신규 프로그램 등록시 FLO에서 바로 오디오 확인 가능
- 정산 기능 : 스트리밍 기반으로 책정된 수익을 확인하고 정산받기 가능
- 대시보드 기능 : 청취자들이 어떤 콘텐츠에 열광하는 지 데이터를 통해 확인
- 크리에이터가 되고자 하지만 필요한 지식이나 경험이 없는 경우
- [플로 크리에이터 스쿨] 서비스를 통해 오디오 콘텐츠 제작에 대한 기초 교육부터 업계 전문가의 인사이트를 얻는 심화 교육 수강 가능
→ 크리에이터 기초반, 심화반 강의들을 수강하고, 추가적인 오디오 제작 팁 등을 얻을 수 있음
- [플로 크리에이터 스쿨] 서비스를 통해 오디오 콘텐츠 제작에 대한 기초 교육부터 업계 전문가의 인사이트를 얻는 심화 교육 수강 가능
- [플로 크리에이터 스튜디오]를 통해 오디오 크리에이터로 데뷔
- 스트리밍 유료 구독의 경우
💡 FLO의 AARRR과 주요 확인 지표
플로에서 주요로 확인해야 하는 지표는 재구매율, 구독률, 체류 시간, 청취 시간 등으로 볼 수 있습니다. 스트리밍 서비스 구독의 경우 자동 결제가 되면서 장기간 이어질 경우 정기 구독으로 간주하기 때문에 재구매율과 구독률을 확인해야 할 것이라 생각했습니다. 또한 플로의 오디오 콘텐츠 서비스를 사용할 때 언제, 어느 시간대에 많은 트래픽이 일어나는지 알아내기 위해 체류 시간 및 청취 시간을 확인해야 할 것이라고 보여집니다.
다음은 위의 프로세스 분석을 바탕으로 정리한 AARRR 입니다.
- Acquistion (유입)
- T world 어플을 통한 방문
- 직접 방문
- Activation (활동)
- 자신의 취향 설정을 기반으로 하는 음원 플레이리스트 감상
- 첫 결제 시 100원 혜택 → 유료 (스트리밍) 구독
- 오디오 콘텐츠 청취
- 자신의 취향 설정을 기반으로 하는 음원 플레이리스트 감상
- Retention (유지)
- 구독률, 재구매율 : 89.7%, 평균 구매 횟수 : 1.1회 (2023년 3월 기준)
- 스트리밍 서비스 : T멤버십 고객은 첫 결제 이후 6개월 간 30% 할인
- 체류 시간
- 오디오 청취 또는 오디오 콘텐츠 제공에 따른 플랫폼 사용 시간
- 크리에이터 플레이리스트 서비스를 통한 청취 시간
- 구독률, 재구매율 : 89.7%, 평균 구매 횟수 : 1.1회 (2023년 3월 기준)
- Refferal (추천)
- 음악 감상 총량과 다양성 지표
- [오디오 콘텐츠] 크리에이터와 이용자 간의 소셜 기능
- ‘내가 만든 플레이리스트’를 공개하면 좋아요∙공유∙청취자 수 등을 합산해 플로 안에서 ‘영향력’ 향상
- 궁극적으로 크리에이터들에게 플로에서 자기 콘텐츠를 통한 인지도 향상과 수익 창출 경험 제공
- [오디오 콘텐츠] 크리에이터와 이용자 간의 소셜 기능
- 음악 감상 총량과 다양성 지표
- Revenue (매출)
- 스트리밍 정기 구독 서비스
- 오디오 콘텐츠의 경우 스트리밍 기반으로 책정하여 수익 정산
- 크리에이터의 경우 건당 50원으로 책정하여 정산받음
📌 다른 프로덕트의 A/B 테스트 사례
테스트 계획을 수립하기 전, 제가 진행하고자 하는 패스오더의 A/B 테스트의 목표와 비슷하다고 보여진 A/B 테스트 사례들을 찾아보고 정리해보았습니다.
💡 '강남언니'의 '앱에 대한 정보 제공'을 위한 디자인 개선
강남언니 해외사업 프로덕트 디자이너 Ally님의 A/B 테스트 진행 및 결과 분석 사례를 가져왔습니다.
처음 강남언니에서는 일본 유저들은 액션을 취하려면 정보가 필요하고, 기존의 회원가입/로그인 화면(Control)에서 주는 정보의 양이 너무 적기 때문에 유저가 다운로드 한 앱이 무슨 앱인지 파악하기 어려워 전환이 되지 않을 것이라는 가설을 설정하여 일본 유저들에게 회원가입 단계에서 앱에 대한 정보를 제공해 전환율을 높이도록 하자는 결론을 도출했습니다.
그래서 여러 방안으로 개선안을 수립해 디자인 개선을 진행했고, 실험을 진행했으나 결과는 처참했습니다. 처음 실험은 통제 변수가 너무 많았으며, 애초에 해당 테스트의 가설은 '일본 유저들은 액션을 취하려면 정보가 필요하다.' 와 '버튼이 많아서 로그인 전환이 힘들었을 것이다.' 로 2개였기 때문입니다. 또한 성과를 빠르게 측정하기 위하여 2-3개의 시안을 테스트하자는 방향성이 결정되면서 적은 모수에 너무 많은 시안을 테스트했던 것이 또다른 원인이었습니다.
그래서 강남언니 측에서는 유저의 정보가 성형관련 어플에서 드러날 수도있을 것이라는 우려에 거부감을 느꼈다는 유저인터뷰를 통해 '유저는 소셜로그인 버튼이 부담스러웠을 수 있다.'는 새로운 가설을 세워 2차 실험을 진행합니다.
제한 변수를 하단의 버튼 갯수, 위치, 문구로 두고, 'SNS에 공유되지 않으니 안심하세요.' 문구를 추가해주어 한 번더 안심하고 전환될 수 있도록 마이크로카피를 추가했습니다. 그리고 기간을 3주로 두고 실험의 갯수를 줄여 유의미한 결과를 얻을 수 있도록 했습니다. 그 결과 두 번째 그룹이 병원을 보는 수는 기존 그룹보다 3.58% 높게 나왔습니다.
그렇게 여러 테스트를 통해 유저의 가입 퍼널을 개선한 결과 강남언니 측은 회원가입 전환률이 전년 대비 20% 상승하게 되는 결과를 얻습니다.
해당 사례를 통해서 A/B 테스트를 설계할 때는 문제 상황을 정확하게 파악한 뒤 한 가지의 가설로 통일하는 것이 중요하다는 점을 알 수 있었습니다.
📌 패스오더 MVP의 A/B 테스트 계획 세우기
제가 지난 과제들을 통해 선정했던 MVP 중 하나를 골라 A/B 테스트 계획을 세우게 되었는데요. 제가 선정한 패스오더의 MVP에 대해서는 지난 2주차 과제물을 참고하시는 것을 권장드립니다.
[코드스테이츠 PMB 18기] W2. 고객의 눈으로 바라본 패스오더의 솔루션과 나의 개선안
안녕하세요, 꾸우._. 입니다. 이번주에는 '패스오더' 에 대해 고객의 관점에서 느꼈을 문제 상황에 대해 분석하고, 개선안을 정립하여 MVP에 맞춰 정리해보겠습니다. 설명에 앞서 추후 과제 진행
jkkou.tistory.com
A/B 테스트를 위한 UI 개선 화면을 보여드리면서 정리해보겠습니다.
패스오더는 현재 '사용자 위치'를 기반으로 하여 개인 브랜드 및 중소규모 프랜차이즈 카페 매장에서 스마트 오더를 통해 손쉽게 음료를 주문하도록 하는 O2O 서비스입니다. 해당 서비스를 사용하면서 느꼈던 것은 재주문 기능을 사용하고자 할 때, [주문내역] 탭을 가서 주문을 하는 프로세스였는데 실제로 재주문을 위해 [주문내역] 탭을 잘 방문하지 않는다는 것이었습니다.
그래서 자주 먹는 메뉴 리스트를 메인화면에 추가하여 B안을 만들어 A/B 테스트를 시행하고, 그에 따른 측정 지표 확인 후 결과를 분석하는 게 좋겠다는 생각이 들었습니다.
다음은 패스오더의 메인화면 개선에 대한 A/B 테스트 계획입니다.
💡 A/B 테스트 구성 요소
- 가설
"자주 먹는 메뉴 리스트를 추가하면 고객들은 자신이 선호하거나 자주 찾는 메뉴를 한 눈에 파악할 수 있을 것이고, 그 결과 재결제율이 증가할 것이다." - 목표 : 자주 먹는 메뉴 기능 추가에 따른 사용자 재결제율 20% 상승
- 기간 : 2주간
- 대상 : 최근 1-2개월 내 패스오더를 통해 음료를 주문한 횟수가 20회 이상인 고객 중 일주일 평균 주문횟수가 주3회 이상인 고객
- 측정 지표
- 재방문율
- 자주 먹는 메뉴 리스트 CTA
- 주문 시작률
- 주문 이탈률
- 구매 전환률
- 기존 주문 메뉴 재결제율
- 테스트 형식
- A 그룹에는 기존 화면을, B 그룹에는 자주 먹는 메뉴 리스트가 추가된 메인 화면 UI 제공
- 2주간 사용자의 반응을 데이터로 확보 후 측정 지표 변화 확인
- P-value 계산 → 이 때, 주문 이탈률과 구매 전환률 필요
- 결과 분석 및 테스트의 성공/실패 여부 판단
📌 정리
이번주에는 퍼널 분석과 AARRR, A/B 테스트까지 알아보고, 프로덕트를 선정해 분석하고 테스트를 계획해봤는데요. 테스트 계획을 작성하면서 느낀 것은 단순히 좋은 아이디어라고 생각했던 것들이 실제 고객 반응에서도 제 예상과는 달리 나타날 수 있다는 점이었습니다. 그래서 신규 고객 유입을 위함이나 기존 고객 유지를 위함 등 방향성을 정확하게 설정하여 테스트를 계획할 수 있어야 한다는 것을 알게 되는 시간이었습니다.
현재 A/B 테스트 계획을 세우면서 실제로 제가 개선하고자 하는 화면 구성에 대해 설문조사를 진행 중인데, 해당 부분에 대해서도 필요한 경우 설문조사 결과를 공유해봐도 좋겠다는 생각이 들었습니다.
적극적인 피드백은 언제나 환영입니다:)
