빅데이터 관련 직업 분류

 

[출처] https://miro.medium.com/v2/resize:fit:720/format:webp/1*sGlxcIB1KAPjSSoCEheXng.png

 

2013년부터 인기가 폭발적으로 치솟은 데이터 사이언스 분야는 점차 발전하며 구체적인 역할과 직업으로 세분화되고 있다. 하지만 그 과정에서 직업마다 일관성 없는 역할이 주어졌고, 어쩔 수 없는 혼란을 가져왔다. 예를 들어, 다양한 직업이 똑같은 역할을 수행하는 경우도 있고, 한 직업이 다양한 역할을 수행하는 경우도 있다:

---

1. 데이터 사이언티스트

• 필요 역량
  데이터 분석에 대한 기본 통계학과 수학적 지식
  머신러닝과 딥러닝 모델 개별 경험
  데이터 시각화 및 인사이트 발굴 능력
  
  
• 추천 기술
  SQL, 파이썬, R, 머신러닝 알고리즘
  
  
• 업무상세
  데이터 사이언티스트는 다양한 데이터를 수집, 전처리, 시각화하고 이를 통해 비즈니스에 가치를 창출하는 역할을 수행합니다. 다시 말해, 이들은 비즈니스에서 표면적으로 드러나지 않는 문제를 발견하고, 해당 문제를 데이터 기반으로 분석하고 검증하여 해결함으로써 새로운 가치를 발견합니다.
  
  데이터 사이언티스트는 데이터 분석과 모델링을 위한 통계학 개념과 기법에 대한 이해가 필요합니다. 그리고 빅데이터를 다루기 위해 파이썬, R 등 프로그래밍 언어 기술이 요구됩니다. 또한 데이터 예측, 분류, 군집화 등을 위한 머신러닝과 딥러닝 알고리즘에 대한 이해와 활용 능력도 필요합니다.

---

2. 데이터 엔지니어

• 필요 역량
  대용량 데이터 처리에 대한 이해
  클라우드 플랫폼에 대한 이해와 경험
  데이터 베이스 관리 경험
  
  
• 추천 기술
  SQL, Hadoop, Spark, AWS/GCP/Azure
  
  
• 업무 상세
  데이터 엔지니어는 대량의 데이터를 수집, 저장, 처리하기 위한 인프라와 시스템을 설계하고 구축합니다. 즉, 이들은 데이터를 원하는 형식으로 만들기까지 길을 만드는 사람이라고 할 수 있습니다. 이때 말하는 ‘길’이란 '데이터 파이프라인'을 의미합니다. 이러한 길을 설계하고, 구성, 유지, 보수하는 일이 바로 데이터 엔지니어의 역할입니다.
  
  데이터 엔지니어는 빅데이터 처리를 위한 Hadoop, Spark 등의 기술과 프레임워크에 대한 이해와 경험이 필요합니다. 빅데이터 처리를 위해 AWS, Google Cloud, Azure 등의 클라우드 플랫폼에 대한 이해도 필요합니다. 또한, 데이터베이스의 설계와 관리, 데이터 파이프라인 개발에 대한 경험이 요구됩니다.

---

3. 데이터 분석가

• 필요 역량
  데이터 분석에 필요한 기본 통계학 지식
  데이터 시각화 작성 능력
  데이터 마이닝에 대한 경험
  
  
• 추천 기술
  SQL, 파이썬, 데이터 시각화 도구
  
  
• 업무 상세
  데이터 분석가는 비즈니스 문제를 해결하기 위해 주어진 데이터를 분석하여 인사이트를 도출하고, 비즈니스 의사결정에 도움을 주는 역할을 합니다. 예를 들어, 쇼핑몰 매출이 감소한다면 데이터 분석가는 주어진 매출 데이터를 분석하여 문제의 원인과 해결책을 찾습니다. 이러한 과정에서 이들은 상품 판매 추이, 카테고리별 판매량, 고객 세그먼트 등의 데이터를 분석해서 문제와 원인을 파악하고 해결책을 제시하는 것입니다.
  
  데이터 분석가는 데이터를 잘 이해하고, 시각적으로 잘 표현하는 것이 중요합니다. 이에 따라 통계학, 데이터 시각화에 대한 지식이 요구됩니다. 또한 데이터에서 유의미한 패턴과 정보를 추출하기 위해 데이터 마이닝 관련 기술을 사용할 수 있어야 합니다. 추가로 분석 대상의 도메인 이해와 전문 지식을 보유하면 더욱 좋습니다.

---

4. MLOps

•  필요 역량
  머신러닝 모델 개발 경험
  클라우딩 플래폼에 대한 이해 및 경험
  데이터 엔지니어링, 데이터 사이언티스트 간 협업 능력
  
  
• 추천 기술
  머신러닝, 소프트웨어 엔지니어링, 클라우드 플랫폼
  
  
• 업무 상세
  MLOps 전문가는 머신러닝 모델의 생애 주기를 전반으로 관리합니다. 최근에는 머신러닝 모델의 개발부터 운영 및 관리하는 프로세스를 지원하면서, 데이터 엔지니어와 사이언티스트의 중간 역할을 합니다.
  
  MLOps 전문가는 이러한 모델을 개발하는 동안 소프트웨어 엔지니어링 지식을 활용해 모델의 안정성을 최적화해야 합니다. 클라우드 기술을 활용해 모델을 배포하고 관리할 수 있어야 하며, DevOps 지식을 보유하여 모델의 배포, 데스트, 모니터링 등 원활하게 수행할 수 있어야 합니다.

---

 

[참고사이트-1] https://learningspoons.com/website/blog/detail/bigdata-job-4/

[참고사이트-2] https://medium.com/code-states/%EB%A8%B8%EC%8B%A0-%EB%9F%AC%EB%8B%9D-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4-vs-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%82%AC%EC%9D%B4%EC%96%B8%ED%8B%B0%EC%8A%A4%ED%8A%B8-7cff2ae6f253

 

끝~