문제 해결을 위한 새로운 패러다임이 등장한다.오늘날 컴퓨터로 이메일을 보내고 카카오톡으로 친구들과 대화하고 심지어 금융거래와 같은 매우 중요한 일도 모바일로 할 수 있게 된 데는 바람처럼 살아온 실리콘밸리의 컴퓨터 과학자 ‘짐 그레이’에 힘입은 바가 크다. ‘짐 그레이’는 젊은 시절부터 IBM, 탠덤, DEC에서 근무하며 데이터베이스, 트랜잭션 이론을 확립하고 컴퓨터를 활용한 온라인 거래를 가능하게 하는 데 크게 기여했다. 오늘날 실리콘밸리로 상징되는 IT(Information Technology) 혁명의 주역 중 한 명이었다.
사람이 평생 한 번의 역사적 대변혁에 기여하기도 어려운 법이지만, ‘짐 그레이’는 정보화 시대의 이론적 토대를 제공한 영웅이었을 뿐만 아니라 빅데이터 혁명이라는 DT(Data Technology) 시대의 서막을 연 주역이기도 하다. 짐 그레이는 90년대 중반 IT 전문가로 현역에서 은퇴한 뒤 빌 게이츠의 제안을 받아들여 MS연구소에서 인류를 위한 새로운 과학 연구에 몰두했다. 그리고 세월이 흘러 21세기가 막 시작되었을 때 그 연구의 결과로 놀라운 비전을 제시했다. 그것은 바로 과학연구의 4차 패러다임에 관한 통찰이었다. 과학자도 아닌 IT 전문가 출신이었던 ‘짐 그레이’는 과학 연구 방법론에 새로운 패러다임이 다가오고 있음을 예견했고, 그것은 바로 빅데이터 분석을 통한 새로운 과학의 시대가 온다는 것이었다.
새로운 밀레니엄 시대가 막 시작될 당시 이른바 지금 빅데이터라 불리는 대용량 데이터가 존재했던 분야는 많지 않았다. 그 몇 안 되는 영역 중 하나가 천문학이었다. ‘짐 그레이’는 천문학 분야에서 기존 과학 이론으로 설명되지 않는 많은 천문현상이 있음을 지적했다. 그러면서 이를 분석하고 예측하기 위해서는 빅데이터 분석을 통한 방법이 가장 효율적인 해결책이라고 주장하며 이것이 미래의 새로운 과학 방법으로 자리매김할 것으로 예상했다.
‘짐 그레이’에 따르면 역사적으로 과학 연구의 첫 번째 패러다임은 르네상스가 시작된 갈릴레오와 티코 브라헤의 실증적 천문 데이터 수집 시기이며, 두 번째 패러다임은 케플러와 뉴턴의 이론 과학 시기이며, 세 번째는 현대 컴퓨터를 활용한 시뮬레이션 과학 연구 방법론 시기로 변화해왔다. 그런데 이러한 접근법으로 아직 설명과 예측을 할 수 없는 많은 천문현상이 존재하고 있으며, ‘짐그레이’는 이를 해결하기 위해 당시 천문학 분야에 쌓여 있던 대용량 데이터 활용 방법인 빅데이터 분석을 통한 과학연구 방법론을 주장했다. 즉 과학연구에서 네 번째 패러다임의 도래를 예측한 것이다. 아직 빅데이터라는 말이 존재하기 이전, 20년 전쯤의 일이었기 때문에 지금 돌이켜보면 얼마나 시대를 앞선 탁월한 통찰이었는지 알 수 있다.
과학 분야만이 아닐까.20여 년이 지난 지금은 천문학뿐 아니라 IoT 센서 발달, 모바일 기기 범용화, SNS 활성화, 클라우드 컴퓨팅 등장 등으로 지금은 거의 모든 영역에 빅데이터가 축적돼 있다. 그렇다면 과거 천문학에서 빅데이터의 존재가 새로운 과학 방법론이 이어졌듯이 이제는 모든 분야에서 빅데이터가 축적됨으로써 제조 현장, 유통, 기업, 도시, 국가 등 거의 모든 영역에서 문제 발견과 최적화, 그리고 의사결정에 이르기까지 새로운 빅데이터 접근이 필수적인 요소가 되는 것이다. 이 같은 현상에 대해 2016년 다보스포럼 클라우스 슈밥 의장은 4차 산업혁명으로 명명하며 인류에게 새로운 혁명적 시기가 도래했음을 선언한 바 있다.
의사결정을 최적화하는 빅데이터 활용 빅데이터 혁명 이전인 20세기를 관통해 데이터 분석을 다룬 주요 분야는 통계학이었다.100년 전 영국의 로널드 피셔에 의해 본격적으로 발전한 통계학은 전수 데이터 분석이 현실적으로 불가능하다는 가정 아래 출발한다. 그래서 모집단에서 표본을 추출하고 가장 합리적인 추정을 통해 문제를 발견하고 예측하는 일을 해왔다. 예를 들어 반도체 장비에서 발생하는 막대한 품질 관련 데이터를 모두 분석하지 못했기 때문에 샘플링을 통해 일부를 추출하고 통계적 추정을 통해 품질검사를 진행했다. 그러나 최근 빅데이터 시대를 가능케 한 기술인 GPU(Graphic Processing Unit)를 활용해 반도체 생산장비 자체에 부착된 컴퓨터로 전수 데이터 처리 즉 빅데이터 분석이 가능해지고 있다.
표본추출을 통한 방법은 불가피하게 각 단계별로 사람에 의한 추정과 판단이 존재할 수밖에 없지만 기계장비에서 발생하는 전체 데이터를 처리하는 빅데이터 분석은 사람에 의한 추정적 판단이 개입될 여지가 현저히 줄어들게 된다. 이러한 방식을 에지 컴퓨팅이라고 하는데 반도체 장비에 밀착된 컴퓨터로 전체 데이터 분석을 진행하고 그 결과를 클라우드에 통합해 언제 어디서나 그 결과를 공유할 수 있게 된다. 빅데이터를 활용하는 에지 컴퓨팅과 클라우드 컴퓨팅은 모든 조직에서 의사결정 프로세스의 최적화를 가능하게 하고 조직의 양태와 운영 원리에 혁명적 변화를 가져올 것이다.
빅데이터 시대의 핵심 역량 ‘데이터 리터러시’ 13세기 전 세계를 정복한 몽골 기병의 위대한 역량은 달리는 말 위에서 허리를 돌려 후방으로 화살을 날릴 수 있는 능력이었다고 한다. 오늘날은 스포츠에서의 기예로 의미 있는 역량이지만 당시에는 세계를 정복할 수 있었던 첨단 하이테크였다. 이처럼 시대에 따라 글로벌 경쟁력을 좌우하는 역량은 변화한다.가까운 예를 들면 말단 사원으로 입사해 기술명장 반열에 오른 대우중공업 김규환 명장의 이야기는 언제나 감동을 주는 이야기다. 말단 사원 시절 김규환 명장은 정밀기계의 품질 문제를 개선하기 위해 3년간 공장 바닥에 담요를 깔고 숙식했으며 10분에 한 번씩 온도와 금속 팽창과의 관계 데이터를 수집했다고 한다. 이러한 초인적 노력으로 수집한 데이터를 바탕으로 정밀기계 분야의 막대한 품질 향상을 가져왔다고 한다. 그런데 지금은 4차 산업혁명 시대, 빅데이터 혁명의 시대다. 반도체 제조라인 장비에서 발생하는 데이터는 1초에 1,000개가 넘는다. 아무리 숙련된 전문가라도 사람의 능력으로는 1초의 1,000개 남는 데이터를 식별해 기록할 수도 없고 판단할 수도 없다.
빅데이터 시대에는 초인적인 집념과 열정으로 데이터를 수집해온 전문가가 없어도 스마트한 IoT 센서가 너무 쉽게 데이터를 수집해준다. 그렇다, 지금 이 시대에 새롭게 필요한 역량은 데이터를 분석해 숨겨진 의미를 파악하고 목적에 맞게 활용할 수 있는 ‘데이터 리터러시’ 역량이다. 기업과 사회 전반에 넘쳐나는 빅데이터를 잘 활용하고 연결시켜 새로운 인사이트를 얻을 수 있는 ‘데이터 리터러시’가 개인과 기업 모두에게 필요한 시점이다. 13세기 몽골 기병의 활쏘기 능력이 세계 정복을 가능하게 한 첨단 하이테크였다면 4차 산업혁명 시대 글로벌 경쟁력을 갖기 위해 필요한 역량은 빅데이터 분석해 기업과 사회문제 해결에 자주 활용하는 ‘데이터 리터러시’다.
오픈소스 활용과 오픈 이노베이션, 최근 빅데이터 분석 도구로 가장 주목받는 소프트웨어는 단연 R과 파이썬이다. R과 파이썬은 모든 90년대 초에 만들어진 무료 소프트웨어로 불과 10년 전만 해도 엑셀이나 SPSS 같은 훌륭한 상용 소프트웨어를 보조하는 역할에 불과했지만 지금은 대기업과 공공기관에서도 앞다퉈 도입을 검토하고 있어 직원들의 빅데이터 교육에 활용하고 있다. R과 파이썬은 상용 소프트웨어와 달리 책임지고 개발하는 회사가 없고 개발자 커뮤니티를 중심으로 개발되는 이른바 오픈소스 소프트웨어다. 오늘 밤 인터넷 게시판에 필요한 기능을 요청하면 다음날 아프리카에 있는 한 개발자가 재능기부로 개발하고 내일 어떤 추가 요청을 하면 칠레에 있는 한 개발자가 올리는 방식으로 유지된다.
과거에는 가격이 저렴하다는 점이 강점이었지만 지금은 기능의 다양성과 효율성이 오히려 기존 상용툴을 능가하고 있어 빅데이터 시대의 필수적인 도구가 되고 있는 것이다. 놀랍게도 마이크로소프트, IBM 같은 거대 소프트웨어 회사를 제치고 이 같은 오픈소스 소프트웨어가 빅데이터, 인공지능 시대를 주도하고 있다는 것은 시사하는 바가 매우 크다.
무엇이든 연결된 초연결 시대에 나 혼자서는 경쟁력을 유지할 수 없고 외부 자원을 잘 끌어당겨 융합하는 오픈소스 생태계가 매우 중요해지고 있다. 특히 빅데이터 활용은 외부에 흩어진 데이터를 잘 정리해 분석했을 때 전문가도 몰랐던 새로운 통찰력을 얻을 수 있다. 빅데이터 시대에는 오픈소스 생태계를 잘 이해하고 활용하는 것이 곧 개인과 기업이 오픈 이노베이션을 하는 가장 좋은 방법이라고 할 수 있다.
오픈소스를 활용한 빅데이터 분석은 아이언맨 슈트를 입는 것과 같다.R과 파이썬은 필요한 기능이 패키지라는 단위로 인터넷 리퍼지트리에 저장되어 있어 필요할 때 언제든지 무료로 다운로드 받아 사용할 수 있도록 되어 있으며 심지어 수많은 공공데이터도 다양한 방법으로 쉽게 인출해 사용할 수 있다. 또한 각종 코딩 샘플도 인터넷에서 쉽게 공유되고 있기 때문에 Copy & Paste 방식으로 목적에 맞게 조립하여 사용할 수 있다. CPU나 Memory 같은 어려운 컴퓨터 지식이 없어도 내 업무에 대한 정확한 논리적 지식만 있으면 쉽게 데이터 분석과 코딩을 할 수 있기 때문에 이제는 전산요원이 아니더라도 누구나 R과 파이썬으로 자신의 데이터를 분석하고 디지털화할 수 있는 시대가 되고 있는 것이다. 자신의 자리에 앉아 전 세계인의 훌륭한 아이디어와 무한한 능력을 쉽게 빌릴 수 있다면 이는 토니 스타크가 아이언맨 슈트를 입고 능력을 극대화하는 것과 비슷하다. 흥분하지 않을 수 없다.
조직문화로서의 데이터 리터러시가 필요무한한 글로벌 경쟁의 시대가 펼쳐지고 있는 이러한 빅데이터 활용은 거의 모든 분야에서 개인과 기업에 새로운 의사결정 방식을 가져올 것이며 조직의 운영 원리도 변화할 것이다. 오픈소스를 활용하는 빅데이터로 무장한 개인과 기업은 몽골 기병처럼 글로벌 시장에서 경쟁력을 가질 수 있지만 그렇지 않은 개인과 기업은 이 새로운 시대에 뒤처질 수밖에 없다. 그럼 지금 당장 개인과 기업은 무엇을 해야 할까? 데이터 리터러시는 시스템의 도입만으로는 실현될 수 없으며 전체 구성원의 문화로 정착해야 한다. 따라서 개인과 조직의 데이터 리터러시 역량을 키우기 위한 다양한 교육이 필요하며, 이것이 조직문화로 정착하는 노력이 절대적으로 필요한 시점이다.
■ 성균관대학교 경영학과 겸임교수 권건우