| 팀 소개
저희 Data Engineering 파트는 Kafka/Debezium CDC 기반 수집·적재 파이프라인과 Databricks Delta Lake 레이크하우스를 운영하며, 그 위에서 전사가 신뢰하고 즉시 활용할 수 있는 분석 데이터 기반을 만들어 갑니다.
현재는 구축된 수집·적재 기반 위에서 데이터의 신뢰성과 활용성을 끌어올리는 단계로, Silver·Gold 마트의 모델링 표준화, Databricks Asset Bundle 기반 변환·CI/CD 체계, 데이터 품질 상시 모니터링을 진행하고 있습니다.
나아가 파이프라인 운영과 데이터 품질 검증을 자동화하는 Agent를 직접 개발해 플랫폼의 안정성과 운영 효율을 높이고 있으며, 마트화된 데이터를 Databricks 외부·Agent에서 가볍게 접근할 수 있는 DW 환경(예: ClickHouse, StarRocks)을 구축해 전사 AX(AI Transformation)를 위한 데이터 활용 기반을 마련하고 있습니다.
우리는 데이터의 수집부터 모델링, 품질, 서빙, 그리고 이를 떠받치는 플랫폼·도구까지 데이터 엔지니어링의 전 영역을 직접 설계하고 운영합니다.
| 주요 업무
"미리디에서 이런 일들을 함께 하고 싶어요"
- 데이터 수집 파이프라인
- 실시간(Kafka/Debezium) 및 배치(Airflow) 기반 데이터 파이프라인을 구축하여 사내 여러 서비스의 데이터를 안정적으로 수집하고 중앙화하여 모든 데이터 기반의 분석과 의사결정의 출발점을 책임집니다.
- 데이터 레이크하우스 설계·운영
- Databricks Delta Lake 위에 Bronze/Silver/Gold 구조를 설계하고, 사내 팀들이 믿고 쓸 수 있는 데이터 모델을 만듭니다.
- Kubernetes 기반 데이터 플랫폼 운영
- EKS 기반으로 Airflow 배치 워크로드 및 다양한 사내 데이터 활용 오픈소스 솔루션을 구축 운영합니다.
- 데이터 품질 체계
- 정합성·freshness·schema drift를 지표화하고 모니터링해, 데이터를 쓰는 사람이 품질을 의심하지 않아도 되는 환경을 만듭니다.
- 데이터 거버넌스
- Unity Catalog 기반 접근 제어와 PII 마스킹, 메타데이터·lineage 관리를 직접 설계·운영하며, 안전하고 추적 가능한 상태를 유지합니다.
- Agent 기반 셀프서비스 데이터 환경
- 사내 여러 팀이 데이터를 쉽게 활용할 수 있도록 데이터 제공·셀프서비스 환경을 개발하고, 파이프라인 운영·품질 검증을 자동화하는 Agent 등 내부 도구·플랫폼을 직접 개발합니다.
- 전사 AX 데이터 지원
- AI Agent의 데이터 활용을 지원하는 DW 환경을 구축하고 전사 AX를 위한 데이터 활용을 지원합니다.
| 자격요건
"이런 분이라면 목표 달성에 확신을 얻을 것 같아요"
- 데이터 엔지니어링 또는 관련 분야에서 3년 이상의 유관 경력 혹은 이에 준하는 역량을 갖추신 분
- Python, SQL로 데이터를 능숙하게 처리하고, 운영 가능한 수준의 코드를 작성하실 수 있으신 분
- Spark 등 분산 처리 프레임워크와 DBMS·데이터 스토리지에 대한 이해가 있으신 분
- AWS 클라우드 환경에서 데이터 인프라를 구축·운영해본 경험이 있으신 분
- Kubernetes 기반 데이터 파이프라인 구축 및 운영 경험이 있으신 분
- 데이터 웨어하우스/레이크하우스 모델링(스키마 설계, 차원/팩트, 적재 전략 등)에 대한 이해가 있으신 분
- AI 도구를 적극 활용하여, 에이전트를 활용한 데이터플랫폼 운영·자동화 및 업무 생산성을 높인 경험이 있으신 분
| 우대 사항
"이런 분이라면 장기적으로 서로에게 더 긍정적일 것 같아요!"
- 원활한 커뮤니케이션을 바탕으로 팀과 함께 적극적으로 소통하며 어려운 문제들을 함께 풀어가시는 분
- Databricks · Delta Lake 및 Open Table Format 환경에서 데이터 레이크하우스를 설계·운영해 본 경험
- 데이터 거버넌스(접근 제어, PII 처리, 메타데이터·lineage)를 깊이 고민하고 운영해 본 경험
- DW/OLAP 엔진(ClickHouse, StarRocks 등) 또는 분석 서빙 레이어 구축하거나 운영해 본 경험
- 다양한 요구사항에 맞게 데이터를 제공하기 위한 데이터 제공 플랫폼과 서비스를 구현해본 백엔드 개발 경험
- 새로운 기술 스택에 대해 빠르게 학습하고, 문제에 맞는 방법을 찾아 적용하시는 분
| 기타 사항
- [서류 전형] - [기술 스크리닝] - [1차 인터뷰] - [2차 인터뷰] - [처우 협의] - [입사] 의 프로세스로 진행됩니다.
- 기술 스크리닝 : 실무 인터뷰 전, 컴퓨터 공학 기초 지식을 확인합니다. (온라인, 30분 내외)
- 2차 인터뷰의 경우, 직무/직급에 따라 생략될 수 있습니다.
- 서류는 원활한 검토를 위해 PDF 형식으로 제출 부탁 드립니다.
- 직급에 따라 인터뷰 후 레퍼런스 체크 전형이 추가될 수 있습니다.
- 입사 후 3개월의 수습 기간 및 수습 평가가 진행됩니다. (급여 100%)
- 서류 전형 결과 안내까지는 최대 2주, 인터뷰 결과 안내까지는 최대 3주가 소요됩니다.
- 여러 포지션에 동시에 지원해주시는 것은 가능하지만 동일한 포지션의 경우 최종 결과 안내를 받은 시점으로부터 6개월 후에 재지원이 가능합니다.
