Software Engineer - VLM /大規模言語モデル VLMエンジニア

Job Description

Preferred Networks（PFN）では、大規模言語モデル（LLM）の技術を中核としたマルチモーダル基盤モデルの開発を進めています。基盤モデルの研究開発に加え、エンタメ、科学計算、ロボットといった自社事業領域の強化につながる応用開発や、多様な産業への展開を見据えた応用研究にも取り組んでいます。

VLMチームは、PLaMo-VLの開発・提供を通じて、VLM領域からPFNの事業成長を牽引することをミッションとしています。PFNの自社LLMをマルチモーダル基盤モデルへ拡張する中核として、PLaMo-VLの研究開発からプロダクト化までを推進します。画像・動画・テキスト等を統合的に理解・生成できるVLMを、実運用可能な品質・コストで提供し、PFNの事業（プロダクト、ソリューション、API/プラットフォーム）拡大に貢献します。

本ポジション（大規模言語モデル／VLMエンジニア）は、自社開発の大規模言語モデル「PLaMo」をベースモデルとして、視覚情報と言語情報を統合的に処理するVLMの開発・運用に取り組みます。産業領域での実用的なフィジカルAIに求められる高度な画像理解タスクへの対応を目指し、モデル設計・学習・評価から推論最適化、実運用に向けた品質向上までを推進します。

業務例

• VLMのモデル設計、学習、評価
• 基盤モデルの性能をさらに向上させるような手法の研究開発
• 社内外からの様々な用途・要望に対応できるような、高品質かつスケールするデータ生成手法の研究開発
• 実運用に向けた品質向上（失敗ケース分析など）

※実際の業務は上記に限定されるものではありません。入社後にご担当いただく業務内容は、専門的知識・ご経験等を踏まえて決定します。

様々な産業で広く使われるVLMの開発に携わりたい方、熱意のある方のご応募をお待ちしています。

Preferred Networks (PFN) is developing multimodal foundation models centered on large language models (LLMs) technology. In addition to core research and development on foundation models, we work on applied development aimed at strengthening our business domains—such as entertainment, scientific computing, and robotics—as well as applied research to expand these technologies across a wide range of industries.

The mission of the VLM team is to “drive PFN’s business growth in the VLM domain through the development and delivery of PLaMo-VL.” As the core team responsible for extending PFN’s in-house LLM into a multimodal foundation model, the VLM team accelerates the R&D and productization of PLaMo-VL. We deliver vision-language models that can jointly understand and generate images, video, and text at production-ready levels in terms of quality and cost, contributing to the expansion of PFN’s businesses (products, solutions, and API/platform offerings).

As a VLM Engineer, you will develop and operate vision-language models built on PFN’s in-house LLM, “PLaMo,” to jointly process visual and linguistic information. With the goal of supporting advanced vision tasks required for practical physical AI in industrial settings, you will work across the full development lifecycle—from model design, training, and evaluation to inference optimization and quality improvements for real-world deployment.

Your responsibilities may include:

• Model design, training, and evaluation for VLMs
• Research and development to further improve model performance
• Creation of high-quality, scalable data generation methods for diverse internal and external use cases and requirements
• Quality improvements for real-world deployment (failure analysis)

Note: Actual responsibilities are not limited to the items above. Your specific scope will be determined based on your expertise and experience.

We welcome applications from candidates that are eager to help build vision-language models that will be widely adopted across industries.

Qualifications

※本ポジションは即戦力採用を前提としており、VLMの研究開発を自走して推進できる方を想定しています。

• コンピュータサイエンスの知識や関心
• 最先端の技術動向を継続的にキャッチアップし、関連するCS/ML領域における専門性を主体的に深められること
• 以下のいずれかを満たすこと
• LLM（Transformer系モデル）に関する実務的な知識・経験、および、コンピュータービジョンに関する研究または実務経験（設計・実装・学習・評価の一連のプロセスを含む）
• 事前学習、ファインチューニング、評価に関する理解・実装経験
• VLM（Vision-Language / マルチモーダルモデル）の研究開発経験
• 視覚情報と言語情報を統合するモデルのアーキテクチャ設計・実装経験
• 実データ/合成データを用いた学習・評価までを完遂した経験
• 代表的なVLM手法・マルチモーダル学習の基本概念に関する理解
• Pythonによるソフトウェア開発経験（ML開発を含む）
• 再現性・保守性を意識した実装（例：実験管理、コード品質、テスト/デバッグ）
• 計算資源（GPU/メモリ/計算量）と実効性能を意識した実装・改善ができること
• 数学・統計の基礎知識（例：線形代数、確率統計、最適化）
• チームでの課題解決経験
• 複数メンバーと協働し、技術的論点の整理・合意形成・遂行ができること
• 業務上必要最低限の英語コミュニケーション能力
• チーム内の打ち合わせ・日常的なコミュニケーションは英語で行います。翻訳ツールの利用は可能ですが、英語でのコミュニケーションに前向きに取り組めることを必須とします。

*This position is intended for immediate-impact hires. We are looking for candidates who can independently drive VLM research and development.

• Strong computer science fundamentals and curiosity
• You keep up with state-of-the-art techniques and proactively deepen expertise across relevant CS/ML areas
• Either of the following:
• Practical knowledge and experience with LLMs (Transformer-based models), and research or industry experience in computer vision, covering all parts of the workflow (design, implementation, training, and evaluation)
• Understanding and implementation experience in pre-training, fine-tuning, and evaluation
• Hands-on R&D experience with VLMs (Vision-Language / multimodal models)
• Experience designing and implementing architectures that integrate vision and language modalities
• Experience completing training and evaluation using real-world and/or synthetic data
• Solid understanding of representative VLM approaches and core multimodal learning concepts
• Software development experience in Python (including ML development)
• Ability to build reproducible and maintainable systems (e.g., experiment tracking, code quality best practices, testing/debugging)
• Ability to optimize implementations with awareness of compute resources (GPU/memory/compute) and real-world performance
• Fundamental knowledge of mathematics and statistics (e.g., linear algebra, probability/statistics, optimization)
• Team-based problem-solving experience
• Ability to collaborate effectively, structure technical discussions, align stakeholders, and execute to deliver outcomes
• Minimum English communication skills for work
• Team meetings and day-to-day communication are conducted in English. Translation tools may be used, but a willingness to communicate in English is required.

Preferred Qualifications

• 大規模学習・分散学習の経験

• 分散学習フレームワーク（例：FSDP、DeepSpeed等）を用いた開発・運用経験

• Kubernetes（k8s）を用いて、データ生成〜学習〜評価までのパイプライン構築・改善経験

• AWS 等クラウド環境での大規模学習基盤の構築・運用経験（例：EC2/EKS、S3、IAM、CloudWatch 等）

• データセット/ベンチマークの設計・構築経験

• 要件定義、品質管理、アノテーション設計、評価設計（指標・プロトコル）の経験

• 既存のVLMアーキテクチャに対して、新規の改良手法を設計した経験

• VLMに関する研究成果を、実際の事業・プロダクトへの適用（実装・展開）につなげた経験

• 機械学習/深層学習OSSへのコントリビューション経験

• 研究実績

• 論文、特許、対外発表など、研究成果として説明可能な実績

• コンテスト等での実績（Kaggle、プログラミング/ゲームAIコンテスト等）

• 開発プロジェクトにおけるリーダーシップ経験（目安：3名以上のチームをリードし成果創出）

• 日本語でのコミュニケーション能力

• チーム内の打ち合わせ・日常的なコミュニケーションは英語で行いますが、社内ドキュメントや一部の情報は日本語で提供されています。そのため、日本語を理解できる方、または日本語の学習に前向きに取り組める方を歓迎します。

• ロボティクス領域の知識・開発経験（加点要素）

• Physical AIの開発に向け、ロボットシステムや関連技術への理解・開発経験

• 強化学習の知識・開発経験（加点要素）

• Experience with large-scale and distributed training

• Development and operations experience using distributed training frameworks (e.g., FSDP, DeepSpeed)

• Experience building and improving pipelines spanning data generation → training → evaluation using k8s

• Experience building and operating large-scale training infrastructure in cloud environments such as AWS (e.g., EC2/EKS, S3, IAM, CloudWatch)

• Experience designing and building datasets/benchmarks

• Experience with requirements definition, quality control, annotation design, and evaluation design (metrics/protocols)

• Experience designing novel improvements for existing VLM architectures.

• Experience converting VLM-based research results into actual business applications.

• Contributions to open-source software in machine learning / deep learning ecosystems

• Strong research track record

• Publications, patents, or external presentations demonstrating research outcomes

• Proven performance in competitive settings (e.g., Kaggle, programming competitions, game AI competitions)

• Leadership experience in development projects

• Track record of leading a team (typically 3+ members) to deliver results

• Japanese communication skills

• While team meetings and day-to-day communication are conducted primarily in English, some internal documentation and information are available only in Japanese. Therefore, candidates who can understand Japanese, or who are willing to proactively learn Japanese, are welcome.

• Robotics knowledge and development experience (nice-to-have / bonus)

• Understanding of, and hands-on development experience with, robotic systems and related technologies in support of Physical AI development.

• RL knowledge and development experience (nice-to-have / bonus)

Salary

経験、業績、能力、貢献に応じて、当社規定により優遇
Experience, performance, skills, contribution are taken into consideration.

Location

東京都千代田区大手町１−６−１ 大手町ビル / Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004