Lock n’ LoL (2016): 앱을 배포해 연구한다는 것

Lock n’ LoL은 함께 있는 사람들이 스마트폰 사용을 제한하도록 만든 앱이다. 2015년에 25일 동안 실제로 배포한 연구로, 당시 뉴스에도 소개되었고 이듬해 CHI 2016에서 발표되었다.^{¹Ko, M., Choi, S., Yatani, K., & Lee, U. (2016). Lock n’ LoL: Group-based Limiting Assistance App to Mitigate Smartphone Distractions in Group Activities. Proceedings of CHI 2016. doi:10.1145/2858036.2858568} 내가 애플리케이션을 배포하고 운영하는 입장에 있다는 점도 이 연구를 뜯어보는 관점에 영향을 주었다. 앱의 기능과 사용 결과를 보면서도 사람들을 어떻게 모았고, 무엇이 계속 쓰게 했는지에 눈이 갔다. 아무리 취지가 좋아도 일단 써보는 사람이 있어야 무엇이 달라지는지 확인할 수 있으니까. 그래서 관찰된 사용과 그 사용을 만들어낸 참여 조건을 함께 놓고 읽게 된다.

Lock n’ LoL에서는 사용자가 방을 만들거나 기존 방에 들어가 함께 스마트폰 사용을 제한한다. 같은 방에 있는 사람들은 누가 제한 중이고 누가 잠시 스마트폰을 쓰고 있는지 볼 수 있다. 혼자 참는 데서 그치지 않고, 함께 활동하는 사람들이 서로의 상태를 확인하게 하는 것이다. 그렇다고 모든 사용을 막지는 않는다. 매시간 누적 5분 동안은 임시로 사용할 수 있고, 이를 넘기려면 동료에게 허락을 요청한다. 공부 중에도 급한 연락에 답하거나 무언가 찾아볼 일은 있다는 점을 고려한 설계다.

실제로 976명이 등록했고, 873명이 한 번 이상 사용 제한을 시도했다. 누적 제한 시간은 10,365시간이었다. 함께 쓸 사람이 필요한 앱으로 이만큼의 사용을 모았다는 점은 눈에 들어온다. 그런데 이 숫자를 앱이 필요했다는 증거나 효과의 크기로 읽으려면, 사람들이 어떤 상황에서 왜 사용했는지도 같이 봐야 할 것 같다.

어떤 조건에서 사용했을까

우선 캠페인이 진행된 곳은 KAIST 캠퍼스였다. 논문은 중간고사 이후부터 학기 말까지 배포했다고 설명한다. 학기 말로 향하는 때였다는 점을 함께 읽을 필요가 있다.

사용 기록도 이 맥락과 연결된다. 제한 모드를 시작하며 고른 활동 가운데 공부가 80.27%를 차지했다. 참여자의 80.27%라는 뜻은 아니고, 활동을 선택한 기록 중 공부의 비율이다. 참여자의 다수는 학부생과 대학원생이었고, 인근 대학이나 중등학교의 참여도 있었다. 모두가 KAIST 학생이었던 것은 아니지만, 대학을 중심으로 모인 사람들이 주로 공부할 때 사용한 앱이었다는 점은 분명하다.

그렇다면 그 시기에 스마트폰 사용을 줄이려던 이유도 궁금해진다. 기말고사를 준비하며 공부에 집중해야 할 필요가 커졌다면, 앱을 선택하고 오래 사용하는 데 그 동기가 함께 작용했을 수 있다. 원래부터 스마트폰 사용을 줄이고 싶었던 사람에게 때마침 필요한 도구였을 수도 있다. 이런 가능성을 생각하면 앱의 기능과 학기 중의 필요를 떼어놓고 결과를 읽기가 어렵다. 논문은 그 동기가 배포 기간에 어떻게 달라졌는지까지 측정해 보여주지는 않는다.

여기에 보상도 있었다. 누적 90분 동안 스마트폰 사용을 제한한 선착순 300명에게 약 5달러의 상품권을 주고, 같은 기준을 달성한 사람에게는 디지털카메라나 블루투스 스피커 등의 경품 추첨 기회를 제공했다. 초기 사용자를 모으는 데 도움이 되었을 것 같다. 그런데 연구에서 살펴본 것도 사람들이 얼마나 오래, 얼마나 자주 사용을 제한했는지였다. 보상을 받기 위해 해야 하는 행동과 연구자가 관심을 둔 행동이 겹친다. 앱이 필요해서 쓴 것인지, 보상 기준을 채우려고 쓴 것인지, 아니면 둘 다였는지를 함께 봐야 할 이유가 여기에 있다.

사용 뒤의 평가를 보면 자기보고 방해 점수는 3.30에서 2.36으로 낮아졌다. 실제로 도움을 받았다는 응답도 있다. 다만 앱을 쓰지 않은 비교집단이나 보상 조건을 달리한 집단은 없었다. 공부에 집중하려는 필요, 캠페인의 보상, 앱의 기능이 함께 있는 상황에서 나타난 변화인 셈이다. 보상을 계기로 시작했더라도 앱에서 도움을 얻었을 수 있으니, 사용을 전부 경품 때문이라고 설명할 수도 없다. 내가 궁금한 것은 그 가운데 어디까지를 앱 자체의 효과로 해석할 수 있느냐이다.

함께 쓸 사람을 어떻게 모을까

모집 방법에서는 snowball sampling이라는 표현도 눈에 들어왔다. 논문에서 이 방법을 명시한 것은 2014년 11월의 첫 번째 파일럿이다. 한 대학에서 학부생 7명을 모집한 뒤 친구들과 일주일 동안 앱을 사용하도록 했고, 그 결과 7개 그룹에 총 20명이 참여했다. 연구진은 이들의 경험을 듣고 초기 앱을 고쳤다. 이후 두 번째 파일럿을 거쳐 2015년의 본 배포를 진행했는데, 본 배포는 캠퍼스 캠페인과 공개 앱 배포로 사용자를 모았다. 여기의 976명까지 모두 눈덩이 표집으로 모집했다고 읽을 수는 없다.

사실 친구들과 함께 사용할 앱을 고치는 단계라면 이런 모집 방식은 꽤 자연스럽다. 이미 관계가 있는 사람들이 써봐야 드러나는 불편도 있을 테니까. 다만 친구 관계를 따라 사람이 늘어나면 비슷한 생활환경이나 성향을 가진 사람들이 모일 가능성도 있다. 그 관계망 바깥에 있는 사람의 경험은 들어오기 어렵다.^{²Statistics Canada. Non-probability sampling.} 친구끼리 사용하며 나온 반응이 직장 동료나 위계가 강한 집단에서도 같을 것이라고 기대하기는 어렵고, 앱을 고칠 때 참고한 의견에도 그런 배경이 남을 수 있다.

이때 누구의 경험이 담겼고 그 결과를 어디까지 넓혀 말할 수 있는지와, 관찰한 변화가 무엇 때문에 생겼는지는 나누어 생각해야 한다. 친구를 통해 모집했다는 사실만으로 효과를 교란한 요인이 확인되는 것은 아니다. 예를 들어 앱을 많이 쓰는 사람과 적게 쓰는 사람의 평가를 비교한다면, 원래 사용을 줄이려는 동기가 강한 사람이 앱도 더 쓰고 변화도 더 크게 보고했을 가능성을 살펴야 한다. 함께 쓰는 사람과의 친밀함이 사용과 평가 양쪽에 영향을 주었을 수도 있다. 이런 관계가 실제로 있었는지를 알아야 원인을 더 분명히 이야기할 수 있다.^{³MacKenzie, I. S. (2013). Human-Computer Interaction: An Empirical Research Perspective. Chapter 5, Experimental Design.}

파일럿과 본 배포를 구분한다고 해서 본 배포의 참여 조건에 대한 의문까지 사라지지는 않는다. 캠퍼스에서 광고를 보고 스스로 참여한 사람들에게 앱의 필요와 보상이 각각 얼마나 중요했을까. 연구에 협조하려는 마음도 있었을까. 논문만으로 이 동기들을 구분하기는 어렵다. 앞서 본 학기 시기까지 생각하면, 스마트폰 사용을 줄이려는 동기가 이미 높은 사람들이 모였거나 배포 중 그 동기가 달라졌을 가능성도 남는다. 이런 가능성이 결과를 얼마나 설명하는지는 아직 알 수 없다.

연구진도 사용 맥락을 전혀 다루지 않은 것은 아니다. 활동, 함께 쓰는 사람과의 관계, 시간, 장소 등이 일일 제한 시간과 빈도에 어떻게 관련되는지 회귀분석을 했다. 다만 어떤 상황에서 앱을 더 사용하는지 살펴본 것과, 앱을 사용한 뒤 방해 점수가 낮아진 이유를 분리해 확인한 것은 다른 문제다. 앱과 함께 제공된 보상이나 그 시기의 변화까지 나누어 볼 비교가 없으므로, 효과의 원인을 해석할 때는 여전히 이 조건들이 걸린다.

p < .000이라는 표기

통계 결과를 읽으면서는 p < .000이라는 표기도 눈에 걸렸다. 원문에서 네 차례 나오는데, 문자 그대로라면 확률인 p값이 0보다 작다는 뜻이 된다. APA 6판은 실제 p값이 .001보다 작을 때 p < .001로 보고하도록 안내한다.^{⁴APA, Publication Manual, 6판의 p값 보고 지침 JASP 공식 글 「Exact P-Values Upon Request: Breaking with an APA Guideline」} 나는 아주 작은 p값을 통해 결과의 유의성을 강조하려다 이런 표기를 사용한 것으로 추측한다.

표기를 바로잡고 통계적 유의성이 확인되더라도, 앞에서 얘기한 참여 조건의 문제는 남는다. p값이 작다는 이유로 앱과 함께 제공된 보상의 영향이 분리되지는 않기 때문이다. 그래서 이 논문을 읽을 때는 보고된 차이의 유의성과, 그 차이를 앱의 효과로 해석할 수 있는 근거를 함께 살펴야 한다고 생각한다.

후속 연구에서는 무엇을 더 살펴봤을까

이런 의문을 따라가다 보면 후속 연구도 함께 보게 된다. 2017년에 발표된 Let’s FOCUS는 Lock n’ LoL을 직접 인용하고, 그 설계를 교실 상황으로 이어갔다.^{⁵Kim, I., Jung, G., Jung, H., Ko, M., & Lee, U. (2017). Let’s FOCUS: Mitigating Mobile Phone Use in College Classrooms. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 1(3), Article 63. doi:10.1145/3130928} 특히 5분 동안 임시 사용을 허용하는 근거로 Lock n’ LoL을 들고, 자신들의 파일럿에서도 이 시간이 적절한지 확인했다고 설명한다. 기존 시도를 바탕으로 적용할 상황을 구체화한 것이다.

Lock n’ LoL이 가까이 있는 친구와 함께 제한하도록 알렸다면, Let’s FOCUS는 수업별 가상 공간을 만들고 교실 위치와 수업 시간에 맞춰 알림을 받을 수 있게 했다. 같은 수업에 참여하는 사람들이 사용할 공간과 시점을 연결한 셈이다. 함께 제한한다는 기본 생각을 유지하면서, 반복되는 수업 안에서 언제 앱을 켤지까지 설계한 부분이 눈에 들어온다.

관찰에서도 더 살펴본 부분이 있다. 2016년 9월 19일부터 10월 28일까지의 캠페인에서는 누적 20시간 제한에 상품권을 주는 등 보상을 제공했다. 이후에는 추가 보상을 제공하지 않은 채 가을학기 말까지 사용을 추적했고, 117명이 앱을 계속 사용하며 추가로 1,224시간의 제한 기록을 남겼다고 보고했다. 캠페인 중 얼마나 썼는지에서 멈추지 않고, 보상이 끝난 뒤에도 사용이 이어지는지를 실제 기록으로 살펴본 것이다.

앞에서 보상과 사용 동기를 구분하기 어렵다고 생각했던 만큼, 나에게는 이 관찰이 의미 있는 보완으로 보인다. 다만 보상이 있는 캠페인에서 시작된 사용을 뒤이어 관찰한 것이므로, 처음부터 보상이 없었어도 같은 참여가 이루어졌을지는 알 수 없다. 앱의 지원도 계속 제공되고 있었으니 앱 없이 자기조절하는 능력이 유지되었다는 뜻도 아니다. 보상 종료 뒤에도 앱을 쓰는 것과 앱의 도움 없이 행동을 조절하는 것은 여전히 다른 질문이다.

연구와 설계가 이어졌다는 사실 외에 운영에 관한 질문도 남는다. 이 기록만으로 Let’s FOCUS가 같은 앱의 업데이트였거나 기존 사용자가 옮겨갔다고 말할 수는 없다. Lock n’ LoL을 쓰던 사람들에게 개선과 지원이 어떻게 이어졌는지는 별도로 궁금하다. 그래도 여기서는 대안이 어렵다는 생각에만 머물 필요는 없을 것 같다. 초기에는 보상으로 참여를 모으더라도 그 이후를 더 관찰하고, 사용 맥락에 맞춰 설계를 바꾸는 후속 시도가 실제로 있었기 때문이다.

사람들이 계속 쓰는 앱을 만든다는 것

후속 연구의 관찰을 더 이어가거나, 다른 시기와 장소에서 더 다양한 사람을 모아 비교해보는 방향은 생각해볼 수 있다. 그런데 막상 내가 이 연구를 진행해야 한다고 생각하면, 그런 비교에 필요한 사용을 어떻게 확보할지가 여전히 어렵다. 이건 실제로 사람들이 사용해야 하는 앱이고, 연구를 위해서는 정해진 기간 안에 충분한 이용자를 모으고 사용 기록도 얻어야 한다. 함께 쓰는 앱이라면 한 명이 설치하는 것만으로도 충분하지 않다. 같이 쓸 사람까지 모여야 한다.

그런 조건에서 보상은 시도해보기 쉬운 방법이었을 것 같다. 앱을 한 번 써보게 하는 데 그치지 않고 연구자가 관찰할 만큼 사용하게 만드는 조건도 붙일 수 있다. 앞에서 문제 삼은 90분이라는 기준이 운영하는 입장에서는 이해되는 이유다. 그렇다고 효과를 해석할 때 보상의 영향을 무시할 수는 없지만, 보상을 없애자는 말만으로 필요한 사용을 어떻게 확보할지까지 해결되지는 않는다. 캠퍼스나 친구 관계를 벗어나 더 다양한 사람을 모으자는 제안 역시 그 사람들을 어디서 만나고 어떻게 함께 쓰게 할 것인지가 남는다.

나는 왜 대학원에 가려고 하지? | 맵시’s AI 잡지식 저장소:티스토리https://mapsycoy.tistory.com/36

이 지점에서 내가 예전 티스토리 블로그에 썼던 글 하나가 떠올랐다. 그 글에서는 기술적으로 비슷한 서비스라도 사용자가 다시 찾아오고 다른 사람에게 알리고 싶어지는 맥락에 따라 달라질 수 있다고 생각했고, 이어 듀오링고를 내가 지향하는 사례로 들었다. 소외된 가치를 다루면서도 사람들이 계속 쓰는 서비스를 만들 수 있다는 점에 관심이 갔다. 좋은 취지를 실제로 지속할 수 있게 만드는 설계와 운영의 문제이기도 했다.

듀오링고에 관해 그때 주목한 것도 보상과 경쟁을 이용한 게이미피케이션이었다. 그러니 내가 바라는 모습을 그저 ‘보상 없이 사용자가 남는 앱’이라고 표현하면 조금 맞지 않는다. Lock n’ LoL 캠페인의 상품권처럼 일정 사용량을 채우면 받는 연구 참여 보상과, 앱 안에서 성취와 경쟁을 경험하며 다시 사용하도록 만드는 보상은 구분해서 봐야 한다. 어떤 보상도 없어야 한다기보다는, 한 번 참여하게 하는 데서 더 나아가 지속적으로 쓸 이유를 제품 안에 어떻게 설계할 것인지가 내가 궁금한 부분이다.

그런데 이를 해내려면 처음 써보게 할 마케팅에 더해 앱을 정말 잘 설계하고, 사용 중 생기는 문제를 고치고, 업데이트하면서 이용자 규모도 키워가야 한다. 마케팅 비용만 들인다고 이어지는 과정은 아닐 것이다. 제품을 설계하고 운영하는 능력에 사업적인 안목까지 요구되는 일이라, 한정된 기간과 자원으로 연구를 진행하는 사람에게 이를 모두 기대하기는 어렵다. 듀오링고 같은 상용서비스로 성장해야 연구가 타당해지는 것도 아니다. 다만 캠페인의 참여 보상을 없애고도 충분한 사용을 확보하자는 말이 실제로는 이만큼 어려운 일을 요구할 수 있다는 생각이 든다.

그래서 이 논문에는 실제 배포를 통해 사용 경험과 설계의 문제를 드러낸 성과와, 관찰된 변화를 앱 자체의 효과로 어디까지 해석할 수 있는지에 대한 한계가 함께 있다고 생각한다. CHI에 발표되고 뉴스에도 소개된 연구라는 사실과, 그 안의 참여 조건을 더 따져보고 싶은 마음은 함께 남는다. Let’s FOCUS에서는 설계를 이어가고 보상 이후를 관찰하는 시도까지 확인할 수 있었다. 이런 보완을 보면서도 충분한 사용을 확보해야 하는 현실은 여전히 남는다는 생각이 든다. 연구진이 어떤 대안을 검토했고, 왜 이 모집 장소와 시기, 보상 조건을 선택했으며, 후속 연구에서는 무엇을 더 확인하려 했는지 듣고 싶다. 그 판단의 과정을 알 수 있다면 나 역시 앱의 운영과 연구를 함께 생각할 때 더 구체적인 선택을 해볼 수 있을 것 같다.

*썸네일: Lock n’ LoL 로고. KAIST PR 홍보 영상 캡처, NDTV.