통계의 창 2023 겨울호

데이터 기반, 데이터 중심의 의사결정 방법을 글로 써 달라는 요청을 받자마자 필자는 ChatGPT에게 이렇게 물었다.

“데이터 기반, 데이터 중심의 의사결정 방법을 주제로 글을 쓰고 싶다. 참조할 사람 3명을 알려줘.” ChatGPT는 2021년 9월까지 인터넷에 올라온 수 많은 데이터를 학습했고, 제 질문에 다음과 같이 3명을 알려주었다.

에릭 콜슨(Eric Colson)
Stitch Fix의 Chief Algorithms Officer로서, 데이터 사이언스를 이용하여 개인화된 의류 선택 알고리즘의 성공적인 구현에 중추적인 역할을 했습니다. 앤드류 응(Andrew Ng)
스탠포드 대학교 교수이며 Coursera의 공동 창립자. 그는 머신러닝과 인공 지능 분야의 전문가로서, 데이터의 중요성과 의사결정에 있어서의 머신러닝의 역할에 대한 깊은 통찰력을 갖고 있습니다.
힐러리 메이슨(Hilary Mason)
Fast Forward Labs의 설립자이며, 데이터 사이언스와 기계 학습의 전문가입니다. 그녀는 실제 비즈니스 문제를 해결하는데 데이터를 어떻게 활용할 수 있는지에 대한 실용적인 관점을 제공합니다.

이들은 통계, 인공지능, 빅데이터, 데이터 기반 의사결정에서 가장 유명하고 혁신적인 성과를 낸 사람들이다. 이 중에서 첫 번째 인물인 에릭 콜슨은 Stitch Fix에서 추천 알고리즘을 개발했다. 그전에는 Netflix와 Yahoo에서 데이터 과학자로 일했다. 그가 2019년 하버드 비즈니스 리뷰에 쓴 글 “What AI-Driven Decision Making Looks Like”에는 데이터 주도 의사결정에 관한 구분과 통찰이 나온다. 그는 데이터 주도 의사결정을 4단계로 나눴다. 그의 구분과 통찰을 이해해 보자.

에릭 콜슨은 사람들이 지금까지 해왔고 지금도 가장 많이 하는 의사결정 방법은 개인의 판단이라고 한다. 감이나 경험, 연륜이나 노하우 같은 것이다.

감, 경험, 연륜, 노하우 같은 것이 확고한 상식처럼 된 경우가 속담이다. 지금은 남녀노소 구분 없이 속담을 사용한다. 하지만 과거에 속담은 아무나 쓸 수 있는 것이 아니었다. 아프리카의 요류바족은 속담의 인용이나 언급은 아주 많고 다양한 경험이 바탕이 되어야 한다고 믿는다. 나이 어린 사람이 연장자 앞에서 속담을 쓰면 연장자에게 사과해야 한다. 부족에서 가장 현명한 사람은 속담을 얼마나 많이 사용하느냐에 달렸다. 속담을 사회규범과 전통적인 믿음을 강화시키는 도구로 사용하는 것이다. 티브족의 연장자는 속담은 좌절을 맛본 사람에게 용기를 북돋아주는 수단으로 생각한다. 연장자들은 젊은 사람들에게 세상을 어떻게 살 것인지 속담으로 충고한다. 어떤 속담은 유용한 지식을 얻는 법을 알려주고, 불평등한 상황에 지혜롭게 대처하는 법을 알려준다.

속담은 권위의 상징이고 권력의 표현이다. 속담으로 의사결정을 하는 것은 조직의 위계를 강화한다. 조직에서 상사가 데이터보다는 속담과 같은 감, 경험, 연륜, 노하우로 결정하는 것은 어찌보면 당연한 전통처럼 보인다. 하지만 속담은 결국 고정관념이다. 동화, 설화, 신화, 전설 같은 이야기도 모두 고정관념이고 고정관념을 강화한다. 시대가 변하고 기술이 발전하고 사람이 달라지고 시장이 바뀌는데 고정관념은 그대로다. 고정관념으로 모든 것을 결정하려는 사람을 우리는 ‘꼰대’라고 부른다. 꼰대의 의사결정에 대한 반감, 또는 꼰대의 고정관념 회피의 방법으로 데이터 기반, 데이터 중심의 의사결정이 나왔다고 볼 수 있다.

컴퓨터(Machines)가 빅데이터를 분석해서 요약하고 사람은 요약 데이터를 가지고 여전히 감이나 경험으로 판단한다.

여기서 중요한 이슈 하나가 있다. 컴퓨터가 제시하는 요약된 데이터가 과연 정확한 것이냐 하는 문제다. 예를 들어 퀴즈를 하나 풀어보자. 지금은 많은 사람들이 배달 앱으로 음식을 주문해 먹는다. 불과 10년 전만 해도 우리는 다들 전화로 주문했다.

그때 2015년에 한 배달 앱 기업이 몇몇 치킨집의 POS 데이터를 모아 분석했다. POS는 Point Of Sales의 약자인데 쉽게 말해 카운터에 있는 계산대라고 보면 된다. 계산대를 터치하면 주문 정보가 입력되고 카드결제기와 연결되어서 결제도 가능하다. 이들 치킨집의 영업시간은 오전 11시부터 새벽 2시까지였다. 그러면 이들 치킨집의 POS 데이터를 분석했더니 우리나라 사람들은 하루 중 몇 시에 치킨을 가장 많이 주문해 먹었을까?

오후 6시? 오후 12시? 밤 9시? 월드컵 하는 시간? 아니다. 정답은 새벽 3시였다. 당시에 치킨집에는 주문 전화를 받는 전화기가 여러 대였다. 전화 한 대만 갖고 장사할 수 없었다. 고객이 전화를 했는데 매장에서 전화를 안 받으면 고객은 이내 다른 치킨집에 전화하기 때문에 같은 전화번호로 여러 전화기를 두고 주문을 받았다.

전화기는 주방 앞에 있어서 바로 주방에 주문 내용을 전달해야 했다. 그러니 카운터까지 가서 POS에 입력할 시간이 없었다. POS 입력 속도도 사람을 따라오지 못했다. 그래서 주방 앞 전화기 앞에 종이 공책을 갖다 놓고 주문 내역을 볼펜으로 적었다. 이제 영업이 2시에 끝나고 청소하고 사장이 카운터에 앉았다. 장부를 꺼내 POS에 입력하기 시작했다. 데이터는 현상, 즉 현재 상태의 기록이므로 입력하는 순간이 주문 시간이 되었다. 그래서 POS 데이터를 분석하면 새벽 3시에 다들 주문한 것으로 나온다.

컴퓨터가 아무리 좋은 모델을 사용한들, 입력된 데이터가 쓰레기면 나오는 결과도 결국 쓰레기다. Garbage in, Garbage Out이다. 실제로 몇몇 대기업이 현장에서 날고 기는 직원 수십 수백 명을 모아서 6개월간 빅데이터 분석과 파이썬 프로그래밍을 가르쳤다. 하지만 현장에 돌아간 사람들은 데이터로 의사결정할 수 없었다. 데이터가 없거나, 있어도 쓰레기거나, 고치려고 해도 못 고치는 경우가 너무 많았다. 데이터 품질이 담보되지 못한 상황이라면 컴퓨터에 빅데이터를 맡겨 의사결정하게 할 수 없다.

3. 인공지능을 통한 의사결정

사람의 개입 없이 컴퓨터가 데이터 수집부터 의사결정까지 한다. 자율주행차가 대표적인 예다. 흔히 자율주행차는 컴퓨터가 운전한다고 생각하는데 단계가 여러 가지 있다. 1단계는 자동 브레이크나 자동 속도 조절같은 운전 보조 기능이다. 2단계는 부분 자율 주행이어서 차선을 넘지 않거나 주차를 알아서 하는 경우다. 3단계는 조건부 자율주행이어서 자동차가 안전 기능을 직접 제어하고 탑승자의 제어가 필요하면 신호를 보낸다. 4단계는 고도 자율주행인데 비가 오나 눈이 오나 주변 환경에 관계없이 운전하고 운전자가 제어하는 것이 불필요하다. 5단계는 완전 자율주행이어서 운전자가 타지 않고도 움직이는 무인 주행차다.

문제는 자율주행이 비즈니스 의사결정이냐 하는 것이다. 운전을 하면서 언제 좌회전을 하고 언제 멈춰야 하는지 결정하는 것이 비즈니스 의사결정일까? 비즈니스에서 의사결정은 조직이나 기업의 목표와 전략을 달성하기 위해 선택해야 할 행동이나 경로를 결정하는 과정이다. 이 과정에는 권한과 책임이 따른다. 사람은 자기 권한과 책임 하에서 필요한 권한을 사용하고 필요한 책임을 진다. 이것이 자율주행차와 사람이 의사결정을 달리하는 이유다.

자율주행차는 무조건 자기를 방어하려 하겠지만 사람은 자기 팔이 잘려나가더라도 돌진하는 의사결정을 할 수 있다. 자율주행차는 최적의 타이밍을 계 산하지만 사람은 이때다 싶으면 덤벼든다. 이때 자율주행차는 데이터 기반으로 의사결정하고, 사람은 감으로 의사결정한다고 볼 수 없다. 사람은 사람 나름의 권한과 책임을 사용하는 과정이 있는 것이다. 즉, 컴퓨터가 의사결정의 모든 과정을 수행한다는 것은 결국 사람이 그렇게 하도록 허용한 것이고, 그 사람이 자신의 권한과 책임 하에서 의사결정한 결과인 것이다.

컴퓨터가 빅데이터를 분석하고 AI로 학습하고 테스트해서 가능한 안을 내놓고, 거기에 사람의 비디지털적인 감각을 더해서 판단한다. 컴퓨터가 빅데이터와 인공지능 기술을 활용해서 우리에게 Possible actions을 준다는 말은 곧 우리에게 ‘안(案)’을 낸다는 말과 같다. ‘안’은 문제를 해결하는 더 좋은 방법을 말한다. 보고(안), 기획(案)이 라고 쓰는 이유도, 상사의 문제를 푸는 더 좋은 방법을 글로 담았기 때문이다. 일반적으로 안은 상사와 고객에게 준다. 상사에게 주는 것이 기안이고, 고객에게 주는 것이 제안이다.

이때 상사에게 보고(안), 기획(안)을 주는 것이 이른 바 부서원의 역할이다. 부서원은 보고나 기획의 초안을 만들고 상사와 검토하면서 의사결정으로 나아간다. 이때 부서원은 시장 조사, 사례 조사, 문헌 연구, 실증 실험, 설문 조사 등 데이터를 기반으로 안을 만든다. 즉 데이터를 분석해서 안을 만든 것이다. 그 안을 두고 상사는 감, 경험, 연륜, 노하우로 판단한다. 비 데이터적인 분석 기법을 사용하는 것이다. 어쩌면 기술과 인문학의 교차로에서 비즈니스 의사 결정을 하는 것이 최적이지 않을까? 애플의 스티브 잡스가 했던 말을 떠올려 보자. “우리가 창의적인 제품을 만든 비결은 항상 기술과 인문학의 교차점에 있고자 했기 때문입니다.”

에릭 콜슨의 글이 알려주는 것은 바로 이것이다. 우리가 빅데이터 분석을 배우거나 인공지능을 연구하거나 컴퓨터 기술을 배우는 것이 핵심이 아니다. 데이터를 기반으로 데이터를 중심으로 의사결정하는 것이 핵심이 아니다. 그렇다고 사람이 감이나 경험, 연륜이나 노하우로 꼰대처럼 의사결정하는 것도 핵심이 아니다. 핵심은 조화에 있다. 둘을 합치는 것이다. 데이터로 안을 만들고 감으로 판단해서 비즈니스에 도움이 될 의사결정을 하는 것이다.

데이터 기반 의사결정이 기존의 사람의 의사결정과 대척점에 있는 것이 아니라는 말이다. 우리는 데이터와 감의 교차로에서 의사결정을 해야 한다는 말이다.

Apple's special event in March 2011

(출처:https://www.youtube.com/watch?v=KlI1MR-qNt8)