공부/데이터 분석 (2) 썸네일형 리스트형 A/B 테스트 과정 및 기타 용어 1. 예제 설정어떤 기능의 효과를 확인할 것인지어떤 지표로 비교할 것인지2. 통계적 유의성 확립통계적 검정력실험에서 효과를 찾아낼 수 있는 능력을 뜻함일반적으로 통계적 검정력이 80~90% 가지도록 설정표본 크기, 효과 크기, 유의 수준 등에 의해 영향을 받음 표본 크기가 클수록 통계적 검정력은 큼 (대상자가 많을수록)효과 크기가 클수록 통계적 검정력은 큼 (두 집단의 차이가 클수록)유의 수준이 클수록 통계적 검정력은 큼 (기준이 엄격하지 않을수록)통계적 유의도실험에서 찾은 결과가 우연이 아닌 실제 의미 있음을 뜻함일반적으로 유의 수준은 5%로 설정하기 때문에 p-value가 0.05보다 작은 경우 의미 있다고 봄 유의 수준귀무 가설이 참인데도 불구하고 기각할 수 있는 정도귀무가설 = 검증하고자 하는 효.. 리텐션이란? 코호트 / DAY+N / bracket / unbounded 리텐션 차이점 리텐션 유지율이라고도 불리며, 사용자가 서비스를 계속해서 이용하는 정도 코호트 리텐션 사용자를 가입 시기로 그룹화한 후 각각의 그룹들이 시간이 경과됨에 따라 서비스에 유지된 비율 가입자 -> 사용자/가입자 -> 사용자 중 사용자/가입자 -> 사용자 중 사용자 중 사용자/가입자 ... 로 계산됨 따라서 리텐션은 시간이 경과됨에 따라 점차 감소하는 형태를 보임 코호트 리텐션 예시 (D) 1월 1일 가입자 100명 -> 1월 2일까지 사용자 80명(80%) -> 1월 3일까지 사용자 50명(50%) (W) 1월 1일~7일 가입자 100명 -> 1월 8일~14일까지 사용자 80명(80%) -> 1월 15일~21일까지 사용자 50명(50%) DAY+N 리텐션 특정일에 가입한 사용자 중 딱 N일 째 되는 날에 서비.. 이전 1 다음
