데이터 과학자는 어떤 직업이며 어떻게 될 수 있나

점차 사물인터넷이라든가 정보가 기하급수적으로 증가하면서 사업에서도 매우 중요하게 된 직업이 있습니다.

최근 몇년 내에 데이터 사이언스라는 분야가 생겨났습니다. 비즈니스에서 가장 수요가 많은 직종의 하나가 되었습니다.

그런데 데이터 과학자는 실제로 무슨 일을 하는지 잘 알려져 있지 않습니다. 어떤 직업인지 모르는 거죠. 그리고 어떻게 하면 될 수 있는지도요.

1. 어떤 직업인가?

페이스북이나 구글의 핵심은 사용자가 많다는 것입니다. 이들이 실행하고 찾아다니는 개인정보가 중요한 자원이 되는겁니다. 따라서 이에 대한 체계적인 분석을 하고 있습니다. 그런데 요새는 소규모 스타트업 기업에서도 이러한 데이터 분석을 필요로 하고 있습니다.

그러나 얻은 정보는 매우 이해하기 힘듭니다. 불완전하고 정리되어 있지 않습니다. 분류도 엉터리이고 잘못된 부분도 있습니다. 그렇기에 제대로된 지식을 찾아낼 필요가 있습니다.

데이터 과학자는 통계학, 컴퓨터 과학, 데이터 분석으로 엄청나게 많은 정보를 구조화하고 정리합니다. 기업이 활용할 수 있도록 인간이 이해하기 쉬운 해석을 이끌어냅니다.

이러한 발견에는 직감이나 영감이 필요합니다. 로봇만으로 잘 처리할 수 없습니다. 그렇기에 회사에서는 전문적인 인력이 필요하게 됩니다. 또한 앞에서도 언급했듯이 단순한 숫자의 나열이 아니라 다른 사람들이 이해하기 쉽게 표현해야 합니다. 그런 일은 사람이 할 수 있죠. 즉 대량의 데이터를 분석하여 실행 가능한 사업 전략으로 변환하는 일입니다.

2. 필요한 기술은 무엇인가?

워낙 급격히 변화하고 발전하는 분야이기에 명확하게 정의하기 힘든 부분이 많습니다. 그래서인지 데이터 과학자에게 필요한 기술은 매우 다양합니다. 통계학, 데이터 분석, 수학 등에 대해 알고 있어야 합니다.

그리고 데이터 저장, 통계학, 기계학습 등에 사용되는 언어를 프로그래밍을 해본 경험이 있습니다. 특히 Python, R, Hadoop, SQL 등이 중요합니다. 처음에는 특히 인기 있는 Python이 좋습니다. MATLAB, SAS, Minitab 등의 다른 분석 프로그램을 알고 있다면 도움이 됩니다.

인공지능에 의한 학습인 기계학습도 알아야 하고요. 통계학, 데이터 분석에 관해 잘 모르는 사람들에게 설명하는 능력도 중요합니다. 혼자 일하는 것이 아니라 커뮤니케이션 할 수 있어야 합니다. 무언가 발견해도 타부서 사람에게 설명하지 못하면 소용이 없습니다. 소통하고 대화하는 능력은 오늘날 모든 엔지니어에게 필요한 사회적 기술이기도 합니다.

3. 필요한 기술을 배우려면 어떻게?

앱 개발부터 통계 처리까지 여러 다양한 분야의 도구를 사용할 수 있어야 합니다. 그래서 어떤 기술을 어떻게 배워야 한다는 분명한 답은 없습니다. 다만 많은 데이터 과학자는 정보와 통계 처리에서 부터 경력을 시작하는 경우가 많습니다. 그리고 일하면서 점차 다른 필요한 스킬을 익혀 가게 됩니다.

수집한 데이터를 취급하기 쉬운 형태로 변환하고, 조리 있게 설명할 수 있도록 해석한 후에, 그러한 이야기를 남에게 전달하는 일입니다.

어찌보면 너무 광범위하게 보이기도 하지만 점차 데이터 사이언스에 대한 훈련을 받기 쉬워지고 있습니다. 영어로는 온라인 강의도 많습니다. 영어로는 학위가 아닌 온라인 강의도 많습니다. 당연히 학위 과정을 통해 배울 수도 있습니다.

MIT OpenCourseware와 Carnegie Mellon OpenLearning에서 필요한 과정을 찾을 수 있습니다. 그리고 참조할만한 사이트는 다음과 같습니다.

1. 빅데이터

Big Data Fundamentals

2. 프로그래밍

Python

Data Mining with R

Data Analysis with R

Computing for Data Analysis

Hadoop Fundamentals I

3. 통계학과 데이터 분석

Data Analysis

Introduction to Applied Statistics

Machine Learning

Probability and Statistical Reasoning

학위과정은 별도로 찾아보시면 될 듯 합니다.