빅데이터와 직관의 역할 – Tom Davenport

 In Cloud, IoT

많은 사람이 지난 몇 년간 분석과 데이터 주도형 조직에서 직관의 역할이 있는지 제게 물어 왔습니다. 항상 직관이 힘을 발휘할 분야가 여전히 충분히 많다고 답을 드렸죠. 예컨대 가설은 여러분이 세상에 대해 보유한 데이터가 무슨 의미인지 밝히는 직관입니다. 물론 분석의 다른 점은 직관에서 그치지 않고 가설을 시험해보고 직관이 옳은지 배우게 된다는 점입니다.

분석중심 기업에서 직관을 발견할 수 있는 분야는 분석 프로젝트를 수행할 사업영역을 선택할 때입니다. 분석이 가장 많이 필요한 분야를 결정하는 데 있어 집중적인 분석 조사를 수행하는 기업은 거의 없습니다. 대상 분야의 선택은 보통 임원들의 직감에 의존합니다. 예컨대 사업에 분석을 활용 중인 시저스엔터테인먼트(Caesars Entertainment)의 경우 초기의 초점은 고객 충성도 및 서비스 분석이었습니다. 게리 러브맨(Gary Loveman) 회장은 시저스(당시 해라스)의 전국 카지노 전반에 걸쳐 고객 충성도가 낮다는 사실을 알고 있었다고 지적합니다. 또한 하버드경영대학원 재학 시절 고객 서비스 개선이 재무 실적 개선에 기여한다는 이론인 “서비스 수익 체인”에 관한 연구도 했습니다. 여러 산업에서 적용, 시험한 이론이지만 게임 회사에 적용된 적은 없었습니다. 하지만 충성도와 서비스의 가치에 관한 러브맨의 직관만으로도 이들 분야에 대한 수년 간의 분석 프로젝트를 추진하기에 충분했습니다.

물론 가설과 마찬가지로 어느 분야에 분석을 적용할지에 관한 여러분의 직관이 실제로 타당한지 확인하는 일이 중요합니다. 러브맨은 시저스의 분석 프로젝트 각각에 대한 투자효과(ROI)를 밝히도록 주장합니다. 하지만 분석 전략의 초기 단계에서는 직관이 중요한 역할을 합니다. 간단히 말해 고도로 분석적인 회사에서는 직관의 역할이 더욱 제한적일 수 있지만 아예 사라지는 일은 거의 없습니다.

하지만 빅데이터는 어떤가요? 물론 분석에 쓸 대량의 데이터가 있다면 직관이 그다지 유용하지 않습니다. 빅데이터를 일찍 도입한 온라인 비즈니스 기업의 대표주자인 구글, 페이스북, 링크드인 등의 경우 사용자의 클릭스트림(clickstream) 데이터가 넘쳐나기 때문에 더 이상 직감은 필요 없습니다. 그렇죠?

실은 그렇지가 않다고 합니다. 신상품이나 서비스를 만들기 위한 주요 빅데이터 프로젝트는 종종 직관에 따르는 경우가 있습니다. 구글의 자동운전 차량의 경우 빅데이터 프로젝트라고 책임자들은 말합니다. 구글 펠로우 세바스티안 트룬(Sebastian Thrun) 스탠포드대학 교수가 이 프로젝트를 이끌고 있습니다. 트룬 교수는 필요한 모든 데이터와 지도, 인프라가 확보되기 한참 전부터 자동운전 차량이 가능하다는 직관이 있었습니다. 교통사고로 친구를 잃은 사건에 동기를 얻어 자신이 무슨 일을 하는 지조차 모르면서 스탠포드대학교에서 이 문제를 다룰 팀을 꾸렸다고 인터뷰에서 밝혔습니다.

링크드인(LinkedIn)의 가장 성공한 데이터 상품 중 하나인 PYMK (People You May Know) 기능의 경우 예전 급우나 직장 동료가 무슨 일을 하고 있는지에 관해 사람들이 관심을 가질 지 모른다는 직관을 토대로 조너선 골드먼(Jonathan Goldman; 현재는 Intuit에서 근무 중)이 개발했습니다. 골드먼은 인터뷰에서 “사람들이 인맥을 넓히는 일을 도울 아이디어를 이리저리 궁리하던 중”이었다고 밝혔습니다. 이리저리 궁리하는 과정이야말로 직관적인 과정이라 할 수 있죠.

PYMK가 개발된 지 몇 년 후에 링크드인의 최고 데이터 과학자에 오른 피트 스코모록(Pete Skomorock)은 데이터 상품을 성공적으로 개발하려면 창의성과 직관이 핵심이라고 믿습니다. 이번 주 인터뷰를 통해 스코모록은 아직은 아이디어가 성공할지 증거가 충분치 않은 상황에서 데이터 과학자들의 직관을 믿고 후원할 용기가 있는 기업들이 성공하는 데이터 상품을 개발하는 주인공이라고 전했습니다. 전통적인 분석과 마찬가지로 결국에는 창의성을 데이터와 분석으로 시험해야만 한다고 스코모록은 지적합니다. 하지만 실제로 아이디어가 성과를 낼 지는 몇 년이 지나서야 비로소 알게 될 수도 있다고 말합니다.

따라서 빅데이터건 전통적인 분석이건 간에 직관은 중요한 역할을 합니다. 직관과 데이터 위주의 분석을 적절히 조합하는 역량을 키우는 것이 이러한 움직임에서 성공하는 궁극적인 열쇠라고 할 수 있습니다. 직관만을 고수하거나 분석만을 최우선으로 하는 접근법으로는 약속의 땅에 닿을 수 없기 때문입니다.

원문 출처 – http://blogs.hbr.org/2013/12/big-data-and-the-role-of-intuition/

글쓴이: Tom Davenport

토마스 데이븐포트(Thomas H. Davenport) 교수는 MIT 디지털비즈니스센터 연구교수이자 뱁슨대학(Babson College) IT 경영학 교수로서, 국제분석연구소(International Institute for Analytics) 공동 창업자이며 Deloitte Analytics의 수석고문입니다. 베스트셀러 Competing on Analytics 저자이자 Keeping Up with the Quants를 공동 집필했습니다.

Recommended Posts

댓글 남기기

Start typing and press Enter to search