preLoad Image preLoad Image
검색 바로가기
주메뉴 바로가기
주요 기사 바로가기
다른 기사, 광고영역 바로가기
중앙일보 사이트맵 바로가기

[문병로의 알고리즘 여행] 데이터의 질감을 느낄줄 알아야 한다

문병로 서울대학교 컴퓨터공학부 교수

문병로 서울대학교 컴퓨터공학부 교수

집에 누수가 생기면 대부분 전문가를 부른다. 그렇지만 전문가라 해도 “여기서 물이 새요”라는 현상만 듣고 단번에 문제를 해결하기는 힘들다. 전문가가 여기저기를 쑤셔보면서 비용은 올라간다. 전문가의 효율적 문제 해결을 위해 선행되어야 할 것은 ‘집주인의 관찰’이다. 우리가 일상에서 저지르는 이런 무심함이 첨단 기술을 구사하는 곳에서도 발생한다.
 
현대 건축의 모태가 된 독일의 바우하우스는 신입생들에게 우선 건축, 공예의 재료를 가지고 놀게 했다고 한다. 재료의 질감을 느끼는 것으로부터 훈련을 시작한 것이다. 아마존의 제프 베조스는 “우리는 모든 것을 고객으로부터 시작해서 위로 올라간다”고 했다. 최하단 데이터의 질감을 느끼는 것으로부터 비즈니스가 시작된다는 말이다.
 
빅데이터의 시대다. 데이터가 쏟아져 나온다. 과거에 존재하지 않았던 스타일의 데이터, 과거에 존재하지 않았던 분량의 데이터가 쏟아져 나온다. 이런 데이터들로 인해 새로운 난제가 많이 생긴다. 이런 문제들을 위한 다양한 첨단 기법들이 있고, 대학은 이런 기법들을 체계적으로 배우는 장소다. 흔히 빅데이터 프로젝트의 성패를 가르는 것이 첨단 기법의 적용 여부라고 생각하지만 반만 맞는 말이다. 많은 경우 그 이전에 이미 실패하고 시작한다. 이것은 데이터를 대하는 습관이나 호기심과 관계가 있다.
 
알고리즘 여행 3/13

알고리즘 여행 3/13

아주 똑똑한 학생이나 엔지니어도 자신이 만지는 데이터에 대해 놀라울 정도로 호기심을 보이지 않는 경우가 많다. 대부분 뭘 궁금해해야 하는지를 모른다. 데이터를 그냥 가로 세로 줄 맞춘 다음 블랙박스 모델에 집어넣으면 첨단 알고리즘이 알아서 해줄 것이라 기대한다. 당연히 실패한다. 그래서 필자는 프로젝트에서 데이터의 공간 변환, 공간 탐색 등의 전문적 단계에 진입하기 전에 학생들에게 데이터를 가지고 온갖 자질구레한 관찰을 해보도록 강제한다. 데이터의 질감을 느끼는 단계다. 이 과정에서 통찰과 관점이 생긴다. 이 단계를 충분히 거치지 않은 문제의 모델링은 문제를 쓸데없이 어렵게 만들거나 왜곡시킬 수도 있다.
 
논문을 쓰기 좋은 형태의 구조를 가진 공개 데이터들의 상당수가 데이터의 질감을 느끼는 습관을 기르는 데는 충분하지 않다. 정말 도전적인 데이터는 기업의 비즈니스로부터 나온다. 결과에 대한 압박도 확실하다. 정부의 지원을 받는 프로젝트는 성공률이 98%를 넘는다. 이 환상적인 수치는 평가 체계가 관대하기 때문이다. 평가의 결과가 담당 공무원의 업적 평가와 결부되기 때문에 구조적으로 그럴 수밖에 없다. 본질에 접근하지 못해도 성공으로 간주될 수 있다. 자칫 프로젝트에 대한 습관이 잘못 들 염려도 있다.
 
기업 프로젝트는 한 편의 보고서로는 충분하지 않다. 학생들이 제대로 된 문제 해결의 훈련을 하기 위해서는 기업 데이터를 많이 접하도록 해야 한다. 기업 데이터는 공개 벤치마크 데이터처럼 완벽하게 정돈되지 않은 경우가 많다. 대부분 안개처럼 뿌연 상태에서 시작한다. 데이터를 이리저리 만져보고 질감을 느끼기 시작하면서 문제의 구조가 보이고 모델링에 대한 단초가 잡힌다.
 
첨단 기법을 구사하는 것도 중요하지만 그 이전에 데이터를 대하는 습관 형성이 필요하다. 무얼 궁금해해야 하는지를 아는 것은 쉬워 보이지만 많은 엔지니어들에게 가장 결여된 것 중의 하나다. 데이터에 대한 제대로 된 관찰이 선행되지 않으면 불필요한 곳에 첨단 기법을 써서 오히려 품질을 떨어뜨리기도 한다. 어느 정도의 기술까지만 적용해야 할지 아는 것도 실력이고 축적이 필요한 능력이다.
 
문병로 서울대 컴퓨터공학부 교수
AD
온라인 구독신청 지면 구독신청

중앙일보 핫 클릭

PHOTO & VIDEO

shpping&life

뉴스레터 보기

김민석의 Mr. 밀리터리 군사안보연구소

군사안보연구소는 중앙일보의 군사안보분야 전문 연구기관입니다.
군사안보연구소는 2016년 10월 1일 중앙일보 홈페이지 조인스(https://news.joins.com)에 문을 연 ‘김민석의 Mr. 밀리터리’(https://news.joins.com/mm)를 운영하며 디지털 환경에 특화된 군사ㆍ안보ㆍ무기에 관한 콘텐트를 만들고 있습니다.

연구소 사람들
김민석 소장 : kimseok@joongang.co.kr (02-751-5511)
국방연구원 전력발전연구부ㆍ군비통제센터를 거쳐 1994년 중앙일보에 입사한 국내 첫 군사전문기자다. 국방부를 출입한 뒤 최장수 국방부 대변인(2010~2016년)으로 활동했다. 현재는 군사안보전문기자 겸 논설위원으로 한반도 군사와 안보문제를 깊게 파헤치는 글을 쓰고 있다.

박용한 연구위원 : park.yonghan@joongang.co.kr (02-751-5516)
‘북한의 급변사태와 안정화 전략’을 주제로 북한학 박사를 받았다. 국방연구원 안보전략연구센터ㆍ군사기획연구센터와 고려대학교 아세아문제연구소 북한연구센터에서 군사ㆍ안보ㆍ북한을 연구했다. 2016년부터는 중앙일보에서 군사ㆍ안보 분야 취재를 한다.