Software Engineer - LLM Inference Optimization / 大規模言語モデル 推論基盤エンジニア

Job Description

Preferred Networks (PFN) では、大規模言語モデル (LLM) を中心としたマルチモーダルな基盤モデルの開発を進めています。基盤モデル開発に加え、エンタメ、科学計算、ロボットといった自社事業領域を強化する形での導入を目指した応用開発や、多様な産業への応用研究も行っています。

推論最適化チームのミッションは、自社開発のLLMを実運用に求められる品質・速度・コストで提供し、PFNのプロダクトやソリューション事業の拡大を技術の出口から支援することです。代表的な業務内容の例は以下の通りです。

• LLMモデルの推論性能向上: 量子化・推論エンジンの改善・パフォーマンスチューニングなどを通じて、モデルの出力品質を担保しながら、ターゲット環境におけるスループットの向上やレイテンシ/メモリ使用量の削減を行う。
• LLM推論エンジンの開発: SaaS環境やオンプレミス環境でのサービングに必要となる推論エンジンと、その周辺機能の開発およびインテグレーションを行う。
• LLMのカスタマイズ・デプロイの支援: 案件ごとのニーズに応じてLLMモデルのカスタマイズを行うためのワークフローや、デプロイのパイプラインを整備する。
• OSSコミュニティ活動: vLLMをはじめとするLLM推論エンジンのエコシステムで、新機能の実装・バグフィックスのアップストリーム対応を行う。また、必要に応じて、関連イベントへの登壇（例: [vLLM meetup Tokyo](https://ossbyredhat.connpass.com/event/357695/)）や情報発信を行う。

入社後に実際に担当いただく業務内容は、専門・ご経験を考慮のうえ決定します。

Preferred Networks (PFN) is developing multimodal foundation models centered around Large Language Models (LLMs) and is expanding its research into applied development and industrial application research to strengthen its business domains in entertainment, scientific computing, robotics, and others.

The mission of the Inference Optimization Team is to deliver our in-house LLM technology at the level of quality, speed, and cost required for production environments, thereby supporting the expansion of PFN's product and solution business from the technical implementation perspective. Key responsibilities include:

• Improving Performance of LLM Inference: Increasing throughput and reducing latency/memory usage in target environments while ensuring the model output quality, through techniques such as quantization, inference engine optimization, and performance tuning.
• Developing LLM Inference Engines: Create and integrate the necessary inference engines and supporting functions required for serving LLMs in SaaS environments and on-premise deployments.
• Supporting LLM Customization and Deployment: Establish workflows and deployment pipelines to enable customized LLM models according to each project's specific requirements.
• Contributing to OSS Communities: Participate in the development of the LLM inference engine ecosystem, particularly for vLLM, by implementing new features and upstream bug fixes. Additionally, when needed, present at relevant events (e.g., [vLLM meetup Tokyo](https://ossbyredhat.connpass.com/event/357695/)) and disseminate information.

The specific responsibilities you will actually handle after joining will be determined based on your expertise and experience.

Qualifications

• コンピュータサイエンスまたは関連する技術分野における学位、または関連分野における実務経験

• LLM推論に関連する最先端の技術動向を主体的にキャッチアップし、専門性を深められること

• Pythonを使ったソフトウェア開発経験

• LLMの学習・推論に関する基本的な知識

• チーム内外のメンバーと協働しながら課題解決ができること

• 英語のドキュメントが抵抗なく読めること

• A degree in computer science or a related technical field, or relevant work experience in the relevant field

• The ability to proactively stay updated on cutting-edge technologies related to LLM reasoning and deepen your expertise

• Software development experience with Python

• Basic knowledge of LLM training and inference

• The ability to collaborate with team members both within and outside the organization to solve problems

• The ability to understand documentation in English

Preferred Qualifications

• CUDAアプリケーションの性能改善やデバッグの経験

• LLM推論エンジンのコア技術（演算のスケジュール制御やKV cacheの管理機構など）の開発経験

• LLM推論のパフォーマンス最適化の経験

• C++, Rustでのソフトウェア開発経験

• データサイエンス関連のOSSへのコントリビューション経験

• GPUクラスタ（k8s等）の利用経験

• MLの学習・評価を行うワークフローフレームワーク（Argo, MLFlow等）の利用経験

• ビジネスレベルの英語・日本語コミュニケーション能力

• Experience improving performance and debugging CUDA applications

• Development experience in core LLM inference engine technologies (e.g., scheduling control and KV cache management mechanisms)

• Experience optimizing LLM inference performance

• Software development experience in C++ and/or Rust

• Experience contributing to open-source data science projects

• Experience using GPU clusters (such as k8s)

• Experience with workflow frameworks for ML training and evaluation (such as Argo and MLFlow)

• Business-level English and Japanese communication skills

Salary

経験、業績、能力、貢献に応じて、当社規定により優遇
Experience, performance, skills, contribution are taken into consideration.

Location

東京都千代田区大手町１−６−１ 大手町ビル / Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004