[빅데이터, AI/머신러닝]직업(포지션) 분류 및 설명

세상에는 많은 직업이 존재한다. 그중에서도 IT 관련 직업도 굉장히 다양합니다.

이번 포스팅에서는 빅데이터, AI/머신러닝 분야의 직업에 대해 알아보려 합니다. 

 

1. 비즈니스 분석가(Business Analyst)

요약 : 이미 정제되어 있는 데이터에서 인사이트를 발굴하고 의사결정을 할 수 있는 결과물을 만듭니다.

분야의 전문성이 높은 직군이며, 프로그래밍보다는 엑셀과 같은 툴을 주로 사용하며, 부서도 IT쪽이 아니라 전략이나 사업 관련된 부서에서 주로 근무를 합니다. 그래서 매출과 직결되는 의사결정에 많이 관여하게 됩니다.

 

2. 데이터 엔지니어(Data Engineer or Data System Developer)

요약 : 데이터를 수집하고 관리하며 유지하는 업무를 수행

(데이터 분석 : X , 비즈니스적 인사이트 도출 : X)

역할 : 

- 데이터 플로우 설계

- 데이터 파이프라인 구축

- 데이터 전처리 및 수집(ETL - Extract : 추출 , Transform : 변환, Load : 적재)

- 데이터 수집/전처리 프로세스 유지보수

 

3. 데이터 분석가(Data Analyst)

요약 : 통계 기법을 활용하여 비즈니스에 어떻게 도움이 될 수 있을지를 분석하고 통찰력을 제공

비즈니스의 문제해결에 집중하는 유형이며, 대량의 데이터를 다루거나 수학적 알고리즘과 예측 모델을 만드는 능력을 기대하지 않습니다.

- 사용자의 요구사항을 분석하여, 논리 모델을 구성한다.

- 물리 모델을 사용해 데이터베이스에 반영하는 단계별 데이터 모델링을 지원한다.

- 업무별 데이터 모델링 템플릿을 작성한다. 향상된 SQL 튜닝, 인덱스 설계 및 각종 옵션 등을 선택한다.

- 각종 데이터베이스 관련 교육을 실시한다.

- 데이터 전환계획서를 작성한다.

- 데이터 전환 샘플 프로그램 작성 및 개선 방안을 강구한다.

- 각종 데이터베이스 모델링 방법론을 정리한다.

- 새로운 데이터베이스 모델링 기법을 숙지한다.

- 시각화를 수행한다.

데이터 분석가는 실제로 일어난 사실이나 경험 등을 분석하여 비즈니스에 필요한 결과를 도출하고, 의사결정자에게 효과적으로 결과를 전달하기 위해 시각화하는 역할을 하기 때문에 시각화 능력, 스토리텔링 능력 등 뛰어난 의사소통 능력이 요구됩니다.

 

4. 데이터 과학자(Data Scientist) = 데이터 엔지니어 + 데이터 분석가

데이터, AI/ML 분야의 풀스택 개발자라고 봐야 할듯합니다.

데이터 과학자는 빅데이터 분석을 통한 통계분석 수준을 넘어서 인공지능(AI), 기계학습(ML) 등의 상위 기술을 활용하여 보다 정확하고 아직 일어나지 않았지만, 앞으로 발생 가능한 상황을 예측하는 역할을 합니다. 이러한 예측을 위해서는 고객들을 연구,분석하는데 많은 시간을 쏟아야 하고, 심도있는 결과를 도출하기 위해 시시각각 변화하는 문화,트렌드 등에 대한 연구를 끊임없이하여 기업과 데이터의 상관관계를 찾는데 지속적으로 노력해야합니다.

 

번외 이야기로 각 전공자가 데이터 사이언티스트가 되려면 다음과 같은 어려움이 있을 것이다.

* 통계학자가 머신러닝을 배울 경우

- IT 지식 및 개발을 배우기 어려움

- 빅데이터를 다루는 능력의 어려움

- 오픈소스 통계언어 R을 선호

* 개발자가 통계와 머신러닝을 배우는 경우

- 수학, 통계 지식을 익히기 어려움

- 비즈니스적인 마인드 부족

- Python + Tensorflow 등을 선호

* 비전공자일 경우

- 배울게 너무 많음

- 그냥 어려움

 

5. AI/머신러닝 엔지니어(AI/ML Engineer)

최근 Deep Learning과 같은 기술이 각광 받으면서 AI 분야 포지션이 많이 생겨나고 있습니다. 본래 이쪽 분야는 수학이나 컴퓨터공학을 깊이 연구하신 분들이 많이 계신 분야입니다. 최근에는 다양한 플랫폼이 많아지면서 활용하는 범위에서 진입장벽이 많이 낮아졌습니다. 그래서 데이터 사이언스 직군에서도 AI/ML 관련 기술의 경험을 중요하게 생각하고 있습니다. 아직은 정체가 너무 모호한 점이 많습니다.

 

빅데이터, AI/ML 분야에서 더 파악되는 포지션이 있으면 추가할 예정입니다.