알라딘MGG와이드바


Zynga 는 어떻게 새로운 게임을 기획하는가? Ghetto Test 와 A/B Test (A/B Testing) 개발 이야기

2010 년 GDC 는 Zynga 가 주인공이었습니다.
2011 년은 약간 소셜게임이 풀이 죽은 느낌이었습니다만, 그래도 Zynga 는 여전히 잘 나가고 있지요.
Zynga 에서 새로운 게임을 개발하려고 할 때는, 아직 구현하지도 않은 게임 아이디어를 마치 만들고 있는 것처럼 링크를 만들어 놓고 얼마나 많은 사람들이 들어오는지 봐서, 그 사람들의 나이, 특징에 맞춰서 게임을 만든다는 얘기가 있어서 헉.. 했었는데 관련 링크를 찾아서 올립니다.
MMORPG 같은 전통 게임 개발에서는 개발 기간이 2-7년 이상 걸리기 때문에 바로 적용하기는 어렵겠지만 삽질하지 않고 제대로 시장에 맞는 게임을 만들고 싶다면 항상 테스트를 염두에 둬야 할 거 같습니다.

아래 내용은 Zynga 의 CEO 인 Mark Pincus 가 Stanford University's Entrepreneurship Corner 에서 강연한 내용입니다.
전체 내용은 볼 수 없지만 필요한 내용은 비디오로 볼 수 있네요.
여기 블로그(How Zynga Uses Ghetto Testing and Minimum Viable Products) 에 잘 정리가 되어 있어서 간단하게 가져와 봅니다.

------------------------------------------------
Mark Pincus on Ghetto Testing and Minimum Viable Products
Zynga 에서는 "게토 테스팅(ghetto testing)" 이라는 걸 합니다. 예를 들어 기획자가 굉장한 아이디어라면서 '병원 경영 시뮬레이션 게임' 아이디어를 가져왔다고 해 봅시다. 그러면 우리는 게토 테스팅을 합니다. 
...
그럼 저는 마케팅 담당자나 제품 관리자에게 항상 이렇게 얘기합니다. "이 아이디어를 5 단어로 설명해 주세요. 6개월 후에 게임이 완성되고, 원하는 게 전부 구현되었다고 할 때 이 게임을 뭐라고 마케팅 할 건지, 그 문구를 만들어서 보내주세요."
그럼 이런 문구를 5 분 정도 올려놓습니다. "혹시 나만의 병원을 경영하고 싶다는 생각 해 본 적 없나요?" (중략)
이렇게 5분 정도 링크를 걸어놓고, 들어오는 사람에게는 설문과 함께 게임이 나오면 연락해 주겠다고 합니다. 정말 게토스럽게 테스트하고 싶다면 링크를 타고 들어왔을 때 '404 not found' 를 보여주면 되겠죠. 좋은 생각은 아니지만요.
이런 식으로 얼마나 많은 사람들이 좋아할지 미리 반응을 떠 봅니다.
(5분이면 짧지만 Zynga 게임의 플레이 시간이 한 달에 5억 시간이 넘기 때문에 꽤 많은 피드백을 받을 거라고 함)
...
1주일안에 만들 수 있는 기능을 추가합니다. 이걸 게토 빌드라고 하면 이것을 AB 테스트하고 flow 테스트합니다. 그러니까 우리 유저의 1% 나 10% 에게 새로운 기능을 보여주는 거죠. 우리에게는 테스팅 플랫폼이 갖춰진 데이타 웨어하우스가 있어서 어떤 게임이든지간에 언제든지 수백개의 테스트를 진행할 수 있습니다.
...
측정값이 충분히 쌓이고 나면, 그 때부터 제대로 기능을 구현하고 버전 2.0 을 만듭니다.
...
예전 회사에서는 3개월동안 만든 후에 잘 되기를 기도하는 것 외에 다른 방도가 없었습니다. 그러니 바로 테스트를 하세요. 꼭 큰 회사가 아니어도 할 수 있습니다. Google AdWords, Facebook Self Service ads (혹은 Amazon Mechanical Turk) 를 이용하면 하루 $50 정도로 원하는 것을 대부분 알 수 있습니다.
------------------------------------------------

참고로 A/B Test 라는 것도 나오는데,
같은 제품에 추가(또는 테스트)하고 싶은 기능만 다르게 만들어서 배포한 뒤 클릭률이나 사용성이 얼마나 좋아지는지를 검사하는 테스트 기법입니다. Bucket Testing 이라고도 하는군요. 자세한 내용은 여기를 참고하세요.

PS : "이 아이디어를 5 단어로 설명해 주세요" 는 NDC 2010  에서 이상균님이 "기획서는 한 줄", 한 줄로 줄여보면 알 수 있다 라고 한 말이 연상되기도 하네요.
PS : 잘 못 번역한 부분 있으면 언제든지 지적 부탁드립니다.



핑백

덧글

  • 저지먼트 2011/04/16 20:06 # 답글

    잘 읽고 갑니다~ 좋은 글 항상 잘 보고 있습니다 ~ㅁ~
  • 박PD 2011/04/16 20:14 #

    댓글 감사합니다.
  • 정숙조신 2011/04/17 03:42 # 답글

    징가 왈 공지링크 색깔은 핑크가 진리.....
  • 박PD 2011/04/17 11:26 #

    정말 징가에서 그런 얘기를 한 건가요? 궁금...
  • 정숙조신 2011/04/17 14:07 #

    언젠가 발표에서 A/B 테스트의 예로, 게임 위에 뜨는 공지링크 글씨를 색을 바꿔가면서 테스트해본 적이 있대요. 핑크색이 클릭률 1위였다고...

    http://www.industrygamers.com/news/facebooks-not-always-going-to-be-the-answer-says-zynga/

    이거 말고 새 아이템 색깔 정할 때도 미리 메트릭 분석을 한 다음에 내놓는대서 뜨어 했습니다. 핑크 아이템에 (일반 아이템과 비교해) 프리미엄을 얼마를 붙이고 렙제 같은 선결조건을 얼마나 붙여야 제일 잘 나갈까 식으로... 이러니 제가 징가의 더러운 노예가.... 핥핥
  • 박PD 2011/04/17 22:21 #

    그 놈들도 정말 보통 아니네요. 핑크가 1위였다는 건 여자 사용자가 많다는 걸 의미하는 걸까요?
    링크 고맙습니다.
  • 정숙조신 2011/04/18 22:57 #

    여자가 많다고 해도 보통 55:45 수준인 걸로 알고 있거든요(게임마다 좀 다르지만). '밝아서 읽기는 힘든데 튀는색이라 눈에 거슬리니까 일단 클릭하고 뭔지나 좀 보자'인 걸까요? ^^;;;
  • 이몽 2011/05/05 13:08 # 삭제 답글

    그런데 이거 컴에서 지울라면 어떻게 핮죠?? 완전 바이러스 수준이네 지울 수가 없네..
  • 박PD 2011/05/07 22:54 #

    뭔가 다른 글에 대한 댓글을 다신 듯?
  • 이군 2011/07/19 02:04 # 삭제 답글

    항상 좋은 정보 잘 읽고 갑니다.~~~ 항상 수고 많으세염~~
    근데 요즘 모임 계속 하세염?
  • 박PD 2011/07/21 18:33 #

    토요일 오전 스터디 모임 계속 하고 있습니다. 다음 술자리 생기면 오세요~
  • laneway 2011/07/27 23:23 # 삭제 답글

    나이 50 되서 게임 디자인에 뛰어들었는데 이제 3개월 ... 너무 재밋습니다. 많은 도움이 되는군요. 힛. -~~~ 나이는 별문제가 아닌데. 흐ㅡㅡ
  • 박PD 2011/07/28 23:30 #

    기대됩니다 :)
  • Vestige 2012/06/14 14:37 # 삭제 답글

    게임기획자로써 좋은글 보고갑니다.

    책도 조만간 구입예정입니다. +_+ 앞으로도 좋은글 부탁드립니다.
  • 박PD 2012/06/14 15:42 #

    네, 책 보시고 서평도 부탁드립니다. 감사합니다.
댓글 입력 영역


Yes24위대한게임의탄생3

위대한 게임의 탄생 3
예스24 | 애드온2