영입 소개
AI플랫폼팀은 카카오의 모든 AI 서비스가 안정적으로 동작하도록 기반을 설계하고 운영하는 팀으로, Kakao AI Platform(이하 KAP)을 만들어 수천 장 규모의 GPU 클러스터 위에서 추론 서비스의 효율적이고 안정적인 서빙을 책임지고 있습니다.
MLOps/LLMOps의 역할을 담당하며 전통적인 ML 워크로드부터 오픈소스 LLM, kanana 모델까지 카카오 내 AI 서비스들의 배포와 운영을 효율화하는 것을 핵심 미션으로 삼고 있습니다.
참고)
🔗 IF KAKAO 2024: Kakao AI Platform 소개 (link)
🔗 IF KAKAO 2025: GenAI를 위한 Gateway (link)
업무내용
- LLM 추론 엔진 기반의 AI 서빙 플랫폼 설계 및 최적화
- vLLM, SGLang, TensorRT-LLM 등 오픈소스 추론 엔진의 도입, 적용 및 운영
- LLM 추론 성능 향상을 위한 캐시, 배칭, 양자화, 커널 최적화 등 주요 기법 적용
- 분산 추론 전략 설계 및 구현 (Tensor / Pipeline / Expert / Sequence Parallelism, MoE 라우팅)
- 추론 워크로드의 latency, throughput, TTFT, TPOT 등 성능 지표 측정 및 개선
- Kubernetes 기반 LLM 서빙 인프라 구축, 운영 및 자동화
- 라우팅·오토스케일링·로드밸런싱·요청 스케줄링 등 서빙 시스템 기능 개발
- 코드 리뷰, 테스팅, 지속적인 통합(CI) 및 지속적인 배포(CD)를 통해 높은 품질의 서비스 제공
지원자격 및 우대사항
- Python 또는 Go을 활용한 시스템/백엔드/ML 시스템 개발 경력이 5년 이상인 분
- Transformer 아키텍처 및 LLM 동작 원리(어텐션, KV cache, 디코딩 전략 등)에 대한 깊은 이해가 있는 분
- vLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상을 실제 프로덕션 또는 대규모 실험 환경에서 운영해 본 경험이 있는 분
- GPU 환경에서의 성능 프로파일링 및 최적화 경험이 있는 분 (Nsight, NCU, PyTorch Profiler 등)
- K8s에 대한 이해도가 높은 분
- 클라우드 환경에서의 CI/CD 경험이 있는 분
- 새로운 환경에 도전하는 오픈 마인드를 가진 분
◆ 우대사항
- vLLM, SGLang, TensorRT-LLM, Hugging Face Transformers, PyTorch 등 LLM/ML 오픈소스 프로젝트에 의미 있는 컨트리뷰션 경험이 있는 분 (PR 머지, RFC 작성, 메인테이너 활동, 이슈 트리아지 등)
- CUDA / Triton 커널을 직접 작성하거나 튜닝해 본 경험이 있는 분
- LLM 추론 가속 기법(Speculative Decoding, Mixture-of-Experts, FlashAttention, PagedAttention, RadixAttention 등)을 실무에 적용해 본 경험이 있는 분
- 모델 양자화 / 압축 (AWQ, GPTQ, FP8, INT4, SmoothQuant, Pruning, Distillation 등) 실무 경험이 있는 분
- 대규모 분산 추론(Tensor / Pipeline / Expert Parallelism, Disaggregated Prefill-Decode 등)을 설계·운영해 본 경험이 있는 분
- NVIDIA Triton Inference Server, KServe, Ray Serve, vLLM Production Stack, LLM-D 등 서빙 플랫폼 구축 경험이 있는 분
- 대규모 GPU 클러스터(수십~수백 GPU 이상) 환경에서의 추론 워크로드 운영 경험이 있는 분
- 고성능 네트워킹(RDMA, RoCE, InfiniBand, NCCL 튜닝) 또는 네트워크 트러블 슈팅 경험이 있는 분
- ML 또는 AI 동작에 대한 이해도가 높은 분
- 다양한 프로그래밍 언어 사용에 대한 거부감이 없는 분 (Python / C++ / CUDA / Go / Rust 등)
- LLM 추론 성능 관련 논문을 읽고 구현/재현해 본 경험이 있는 분
영입 프로세스
서류전형 > 코딩테스트 > 사전인터뷰 > 1차 인터뷰 > 2차 인터뷰 > 처우 협의 > 최종 합격 및 입사
※ 영입 진행 상황에 따라 전형이 추가/변경될 수 있습니다
크루의 한마디
- 빠르게 변화하는 AI 시장에 발맞추어 최신 기술을 실험하고 새로운 문제를 정의할 수 있는 환경을 갖고 있어, 카카오의 규모로 최첨단 AI 기술을 먼저 검증하고 플랫폼에 내재화하는 차별화된 경험을 할 수 있습니다.
- 특히 모델 서빙 성능 최적화, GPU 자원 활용, 대규모 추론 워크로드와 같은 인프라 문제는 기존 웹 서비스와는 근본적으로 다른 설계와 접근이 필요하며, 이는 엔지니어로서 전문적이고 도전적인 영역입니다. 고가의 GPU 자원을 직접 다루며 최신 AI/ML 기술을 자연스럽게 체득할 수 있는 기회도 열려 있습니다.
- AI플랫폼팀은 단일 서비스 개발 보다, 다양한 팀이 함께 활용할 수 있는 공통 플랫폼을 만드는 데 더 큰 가치를 두고 함께 성장하고 있습니다.
근무제도
• 완전선택근무제
해당 포지션은 월 총 근무시간 범위 내에서 크루 스스로 하루의 업무 시작 및 종료 시간을 설정하여 자율적으로 몰입하여 근무할 수 있는 <완전선택근무제>를 적용받습니다.
• 월 1일 리커버리데이
매월 마지막 주 금요일은 크루의 휴식과 충전을 위한 <리커버리데이>로 운영됩니다.
• 주 1일 원격근무
업무와 협업의 효율성을 우선으로 하여, 리커버리데이가 없는 주에는 <주 1일 원격근무>가 가능합니다.
