월간 회고록: 1-2월
온라인 통제 실험으로 요약되는 지난 2달
일
실험 플랫폼 설계 소회
지난해 연말 사내에서 실험 플랫폼 개발 작업이 본격적으로 착수되었고, 1월부터 본격적인 논의가 시작되었다. 지난 한해 동안 우리 팀에서 서비스하고 있는 개인화 랭킹 시스템에 관한 온라인 통제 실험을 꾸준히 수행해오며, 유의미한 성과 개선을 보인 것에 대한 큰 결실이었다. 실험 플랫폼 설계에 관한 PRD1 작성이 시작되며 1월, 2월을 굉장히 바쁘게 보냈다. 신뢰할 수 있는2 온라인 통제 실험을 수행할 수 있도록, 그리고 올바른 실험 문화가 형성될 수 있도록 실험 플랫폼을 설계하는 것이 굉장히 중요했기 때문이다.
3월초에 PRD 작성을 끝내고, 이를 바탕으로 몇 달간의 긴 개발의 길로 들어서야 하기에 지난 두 달은 신뢰성(Trustworthiness) 관점에서 조금이라도 더 완벽한 실험 플랫폼을 설계하기 위해 스스로 쫓기는 마음이 생기기도 했다. 해외 테크 기업의 수많은 논문 및 아티클과 여러 해외 실험 플랫폼들의 Docs를 연구하고 종합하여 의견을 전달드렸는데, 대학원생때만큼 논문과 아티클을 들여다본 지난 두달이었던 것 같다.
실험 플랫폼 설계에 직접 참여해보니 느끼는게 참 많았다. 생각보다 내가 놓치고 있었던 부분도 많다는 것을 느꼈고, 우리 회사의 인프라, 문화 등을 고려해봤을때 현 시점에서는 어느정도까지 이런저런 기능들을 구현하면 될지와 같은 현실적 고민도 하게되었다. 또한, 신뢰할 수 있는 온라인 통제 실험을 수행하기 위해서는 “이런 기능도 필요합니다.” 라는 것을 타 팀에서 납득할 수 있게 어떻게 쉽게 전달할 수 있을까를 고민하는 과정에서 정말 많은 공부가 됐다. 힘든 두달이었지만 참 뜻깊은 경험이라고 생각한다. 추후에 설계 단계에 참여하며 실험의 신뢰성 관점에서 고민했던 부분들을 글로 풀어보도록 하겠다.😁
<온라인 통제 실험 기초 및 분석 가이드> 2시간 연강 후기
지난 수요일에 사내에서 매달 마지막 날 진행하는 테크캠퍼스에서 <신뢰할 수 있는 온라인 통제 실험의 기초 및 분석 가이드>를 주제로 2시간 짜리 강의를 진행했다. 강의를 1시간씩 나누어 진행해본 경험은 몇 번 있지만 2시간 연강은 처음이었는데, 강의가 끝나고 학부생, 대학원생 시절 하루에 수 시간씩 강의를 해주시던 교수님들이 참 존경스럽게 느껴졌다.😇
강의 목적은 “언젠가 실험 오너가 되어 실험 분석을 수행할 수도 있는 여러분을 위한 온라인 통제 실험 가이드” 였다. 사실 강의 목적에서는 드러나지 않는 내가 생각하는 본 강의의 진짜 의미는, 실험 오너가 실험 플랫폼에서 제공하는 각 단계의 요구사항에 맞춰 실험을 생성하고 분석하는 과정에 있어서 “아니 실험 하나 하는데 이런 부분까지 신경써야해?” 하는 생각이 들지 않도록 만드는 것이었다.
이 부분에 대한 이해를 구하기 위해서는 “신뢰할 수 있는 온라인 통제 실험”을 위해 최소 사양(?)으로 필요로 되는 통계 분석을 소개하고, 이러한 통계 분석들이 실험에 사용되는 모티베이션과 그들이 갖는 의미에 대해서 알기 쉽게 설명해 줄 필요가 있다고 생각했다. 물론, 이 부분에 관한 설명 이전에는 온라인 통제 실험의 등장 배경에 대해서도 이야기해 줄 필요도 있었다. 통계적 백그라운드가 전무한 상대라는 것을 가정한채로 이러한 부분들을 알아듣기 쉽게 설명하고자 했기에 강의 자료 준비에 정말 많은 힘을 기울였다.
발표 전 주의 평일에 목차를 정리하고 주말부터 틈틈히 준비를 했는데, 강의 2시간 전이 되어서야 114 페이지에 달하는 강의 슬라이드 준비를 끝낼 수 있었다.🫠 그렇게 연습 한 번 없이 강의를 하게 됐는데, 강의 준비를 처음해보는게 아니라 그런지 다행히 주어진 2시간 내에 하고 싶은 말을 다 전달하고 Q&A까지 다 완료할 수 있었다.😀 대학원생 시절 교수님께서 한 슬라이드 당 1분을 넘기지 말라는 말씀을 했던 기억이 나는데, 114 페이지.. 딱 114분 정도가 걸린 것 같다. 나머지 6분은 Q&A! 습관과 짬밥이라는게 참 신기하다!
사실, 강의 자료를 준비할 때에 많은 고통을 겪으며 작년 12월 즈음 선호님께 강의 제안을 받고, 재밌겠다~ 하는 생각으로 주저없이 오케이를 했던 내가 잠깐 원망스러울때도 있었다.😂 하지만, 늘 그렇듯 힘든 준비를 끝내고 강의를 마치고 나니 정말 뿌듯한 마음이 들었다. 자료를 준비하며 나 또한 정말 많은 공부가 되었고, 결국 이러한 강의 끝에 가장 많이 배운건 또 내 자신이었다. 강의 내용을 여기서 다 공개할 순 없지만, 요즘IT 나 제 개인 블로그를 통해서 하나씩 풀어보도록 하겠다.
우선 강의 목차와 맺음말정도만 공유드리고 글을 마친다. 통계학과 온라인 통제 실험에 어느정도 이해가 있는 분들이라면 강의 목차만 쭉 보셔도 제가 무슨 말을 하고 싶었는지 감이 충분히 오실거다.😊
[온라인 통제 실험 (a.k.a A/B Tests) 소개]
- 온라인 통제 실험이란?
- 온라인 통제 실험의 등장 배경
[A/B 실험 분석의 Lifecycle]
- Pre-Experiment stage
- During-Experiment stage
- Post-Experiment stage
[A/B 실험 분석에서 알아두어야할 것들]
I. 가설 설정 및 성공 지표 설정
II. 지표 이야기
- 비즈니스 지표와 실험 지표
- 실험 지표로 사용자 단위 지표를 권장하는 이유
- 실험 지표를 누적 지표로 집계하는 이유
- 실험 분석에서 Daily 지표의 역할
- 마이크로소프트가 제안한 핵심 지표 Set
III. 실험에서 통계 분석이 꼭 필요한 이유
IV. 검정력과 검정력 분석
V. 2 표본 t 검정
VI. Pre-experiment bias 교정
- Pre-experiment bias란?
- 2가지 극복 방법 (Seedfinder, CUPED)
[통계 엔진, 실험 분석 대시보드 Tukey 소개]
[꼭 공유하고 싶은 실험으로부터의 레슨런]
[맺음말]
- 신뢰할 수 있는 온라인 통제 실험을 설계하고 분석하는 일은 어렵다.
- 실험 결과의 정확한 측정을 위해서는 정교한 통계 분석이 뒤따라야 한다.
- 실험의 목적은 배움(Learn)이지, 확인(Confirm)이 아니다.
- 실험을 반복하며 프로덕을 개선해나가는 과정은 고객이 원하는 것을 찾아주는/찾아나가는 과정이다.
타팀과의 커뮤니케이션
타 팀과의 커뮤니케이션은 팀 내 커뮤니케이션보다 더욱 간결하게 할 줄 알아야 한다.
의도적으로 2가지를 생각하자.
개념 자체를 상대방 백그라운드에 따라 알기 쉽게 단순화해서 설명할 것
각 미팅의 아젠다를 고려하여 전달 내용 간소화할 것
- 다음 시점에 설명해도 되는 내용이라면 과감히 생략
위 2가지를 바탕으로 가장 중요한 것은 “상대방이 듣고싶은 것을 이야기하는 것”이다. 본인이 지향하고자 하는 사내 문화가 있다고 할 때, 이러한 문화를 확산시키기 위해서는 결국 커뮤니케이션이 가장 중요하다.
개인
<온라인 통제실험 연구자로 거듭나기> 프로젝트
링크드인에서 공지한 대로 가짜연구소 8기 아카데미 빌더로 <온라인 통제실험 연구자로 거듭나기> 프로젝트를 이끌게 되었다. 사내에서 온라인 통제 실험 스터디를 리드하고 있으나, 이렇게 공식적인(?) 외부 스터디를 이끌게 된 것은 처음이다. 빌더 신청을 드리고 난후, 크래프톤의 신진수 님께서 인과추론 팀에서 함께하면 어떻겠냐는 제안을 주셔서 흔쾌히 수락했다.😀
꽤 오랫동안 가짜연구소에서 자리를 지켜온 팀이기도 하고, 처음으로 진행해보는 공식 외부 스터디인만큼 진수님으로부터 도움을 받을 수 있는 부분이 많을 것이라 생각이 된다. 그리고, 무엇보다 온라인 통제 실험은 RCT의 한 종류로서 인과추론 피라미드에서 단일 분석 기준 맨 위쪽3에 위치한 연구 디자인이기도 해서.. 인과추론 팀에서 본 연구 프로젝트를 진행하는 것이 전혀 어색하지 않았다.
인과추론 팀 블로그에서 본 프로젝트를 기획한 이유와 더불어 1년전으로 거슬러올라가 어떤 계기로 신뢰할 수 있는 온라인 통제 실험 연구에 이렇게 관심이 깊어지게 되었지에 대해서 썰(?)을 풀어보려고 한다. 글을 배포하게 되면 링크드인으로 별도 공지를 드리겠다.😀
요즘IT에서 써내려갈 글
지난 1월 초중순 즈음 요즘IT 작가 신청을 했고, 그 결과 요즘IT에서 글을 기고할 수 있게되었다. 요즘 IT는 IT 업계의 현업에 있는 사람들이 그들의 경험, 지식, 인사이트 등을 나누는 콘텐츠 플랫폼이다. 나는 여기서도 마찬가지로 “온라인 통제 실험”에 대해 주로 이야기할 예정이다. 앞서 말했듯 가짜연구소에서도 해당 주제로 연구 프로젝트를 진행하게 되었는데, 요즘IT에는 온라인 통제 실험과 관련한 주제를 최대한 쉽게 풀어써보려고 한다.
A/B Test는 온라인 비즈니스를 하는 기업에게 매우 중요한 방법론이다. 온라인 비즈니스를 하는 기업에게만 주어질 수 있는 특권으로 볼 수도 있다. 그러나, 신뢰할 수 있는 온라인 통제 실험을 수행해내는 것은 생각보다 굉장히 어렵다. 실험 Lifecycle을 놓고봤을때 전 과정에서 신경을 써야할 부분은 굉장히 많다.
여전히 해외 IT 업계에 비하면 “신뢰할 수 있는 온라인 통제 실험”에 관한 논의4는 부족하다고 생각한다. 요즘IT, 가짜연구소, 링크드인을 통해 “온라인 통제 실험”에 관해 꾸준히 이런저런 이야기를 하다보면, 온라인 서비스를 운영하는 우리나라 IT 업계에서도 온라인 통제 실험에 관한 여러가지 건설적인 논의가 오가는 날이 오지 않을까 생각한다.
Footnotes
Reuse
Citation
@online{bang2024,
author = {Bang, Taemo},
title = {월간 회고록: 1-2월},
date = {2024-03-04},
url = {https://taemobang.com/posts/2024-03-04-monthly-memory-202401-02/},
langid = {kr}
}