About the Team & Mission
LLM Engineer (LLM Evaluation)는 대규모 언어 모델(LLM)의 성능을 신뢰성 있게 평가하고, 평가 결과를 기반으로 모델 품질을 지속적으로 개선할 수 있는 평가 체계와 플랫폼을 구축합니다.
빠르게 변화하는 LLM 환경 속에서 benchmark dataset, evaluation protocol, automation pipeline을 설계하여 모델의 품질과 안정성을 지속적으로 향상시키고, 실서비스 수준의 검증 체계를 운영하는 데 기여합니다.
또한 Kubernetes 기반 환경에서 Argo Workflows 및 MLflow를 활용하여 모델 평가–실험 관리–배포 검증까지 이어지는 end-to-end evaluation workflow를 구축하고, 반복 가능하고 재현성 있는 평가 환경을 고도화합니다.
Responsibilities
-
LLM Evaluation & Benchmark 설계
-
LLM 성능 평가를 위한 벤치마크 데이터셋 구축 및 평가 지표(Human/LLM-based) 설계
-
공정한 모델 비교를 위한 평가 프로토콜 수립 및 재현성(Reproducibility) 확보
-
Evaluation Automation 및 Workflow 연동
-
Argo Workflows, MLflow 기반의 평가 자동화 환경 구축 및 ML 파이프라인 통합
-
모델 배포 시 성능 저하(Regression) 자동 감지 및 알림 체계 설계
-
Model Quality Validation 및 운영 고도화
-
반복 가능한 평가 워크플로우를 통한 대규모 모델 품질 및 안정성 검증
-
평가 결과를 바탕으로 한 지속적인 모델 품질 개선 프로세스 운영
Qualifications
-
LLM 학습 또는 평가 관련 분야 3년 이상 경력
-
Deep Learning 또는 NLP 관련 연구 및 개발 경험
-
LLM evaluation framework 사용 경험 (lm-eval, HELM, OpenAI Evals 등)
-
Python 기반 서비스 개발 경험 (async/비동기 처리 포함)
-
실험 관리 및 reproducibility에 대한 이해
-
모델 평가 및 validation workflow 설계 경험
-
동료와의 원활한 협업 능력
Preferred Qualifications
-
Kubernetes 및 컨테이너 기반 환경 개발 경험
-
대규모 데이터 처리 또는 pipeline 설계 경험
-
GPU 기반 분산 inference 또는 대규모 모델 평가 경험
-
Datadog, Prometheus 등을 활용한 모니터링 구축 경험
-
MLflow, Argo Workflows 기반 ML workflow 운영 경험
-
GPU 클러스터 기반 evaluation pipeline 설계 및 운영 경험
-
LLM 품질 평가 자동화 및 운영 경험
Interview Process
-
서류 전형
-
코딩·과제 테스트
-
1차 면접 (화상, 1시간 내외)
-
2차 면접 (대면 혹은 화상, 3시간 내외)
-
처우 협의·입사
Additional Information
-
전형 절차는 일정 및 진행 상황에 따라 일부 변경될 수 있으며, 각 전형 결과는 등록하신 이메일로 개별 안내드립니다.
-
지원서 제출 시 주민등록번호, 가족관계, 혼인 여부, 연봉, 사진, 신체조건, 출신 지역 등 채용절차법상 요구 금지된 정보는 제외 부탁드립니다.
-
지원서 접수 중 오류가 발생하거나 기타 문의 사항이 있을 경우, recruit@42dot.ai로 문의해 주시기 바랍니다.
-
국가보훈대상자 및 취업보호 대상자는 관계법령에 따라 우대합니다.
-
장애인 고용 촉진 및 직업재활법에 따라 장애인 등록증 소지자를 우대합니다.
-
42dot은 의뢰하지 않은 서치펌의 이력서를 받지 않으며, 요청하지 않은 이력서에 대해 수수료를 지불하지 않습니다.
-
지원서 내용 중 허위 사실이 발견될 경우, 입사가 취소될 수 있습니다.
-
인터뷰 프로세스 종료 후 지원자의 동의하에 평판조회가 진행될 수 있습니다.
-
3개월의 수습기간이 적용될 수 있습니다.
