클래스: 데이터 엔지니어링의 기초
무료이용으로 수강해 보세요.
업계 전문가가 강의하는 클래스 25,300개를 수강하세요.
데이터 엔지니어 vs 데이터 사이언티스트
조직을 확장하려고 할 때 알고리즘을 구축하는 사람은 데이터를 정리하거나 도구를 구축해야 하는 사람이 아닙니다. 데이터 엔지니어의 책임이 데이터 과학자의 책임과 어떻게 다른지 이해해 봅시다. 일반적으로 데이터 엔지니어의 업무는 확장 가능한 데이터 아키텍처 개발, 데이터 획득 간소화, 여러 소스에서 데이터를 함께 가져오는 프로세스 설정, 손상된 데이터를 정리하여 데이터 품질 보호로 구성됩니다. 일반적으로 그들은 클라우드 기술에 대해서도 깊이 이해하고 있으며 AWS, Azure 또는 Google Cloud 플랫폼과 같은 클라우드 서비스 공급자 사용 경험이 있습니다. 반면 데이터 과학자는 데이터 패턴 마이닝, 인사이트 도출, 대규모 데이터 집합에 통계 모델 적용, 또는 기계 학습을 사용하여 예측 모델을 구축하는 데 대부분의 시간을 보냅니다. 필수 비즈니스 프로세스를 모니터링하는 도구를 개발하거나 통계적 이상값을 제거하여 데이터를 정리합니다. 데이터 과학자는 일반적으로 비즈니스에 대해 깊이 이해하고 있으며 발견한 것을 통해 의사 결정에 영향을 미칩니다. 데이터 정리와 조작 측면에서 일부 겹치는 부분이 있지만 이러한 역할은 서로 바꿀 수 없습니다. 데이터 엔지니어는 데이터 과학자의 결과물을 정리되고 서식 지정되었으며 집계된 데이터를 제공하여 효율적인 방식으로 보완합니다. 그런 다음 데이터 과학자는 데이터에 내재된 패턴을 이해하고 의사 결정에 더욱 도움이 되도록 데이터를 더 분석하고 통계 모델을 개발합니다. 따라서 데이터 엔지니어가 개발 부문을 처리한다고 말할 수 있습니다. 반면 데이터 과학자는 실험과 분석을 통해 비즈니스 결정을 내리는 데 도움을 줍니다.
연습 파일로 실제로 따라해 보세요.
강사가 이용하는 파일을 다운로드하세요. 클래스를 보면서 직접 따라할 수 있습니다.