Software Engineer - LLM Post-training / 大規模言語モデル 事後学習エンジニア

Job Description

Preferred Networksでは大規模言語モデル(LLM)を中心としたマルチモーダルな基盤モデルの開発を進めています。LLM・生成AIの基盤モデル開発に加え、エンタメ、科学計算、ロボットといった自社事業領域を強化する形での導入を目指した応用開発や、多様な産業への応用研究も行っています。

アラインメントチームのミッションは「基盤モデルが好ましい出力を生成するようにすること (Make foundation models generate preferred outputs)」です。具体的には有用性・正確性・安全性といった観点から、人間にとって好ましい出力を生成するように学習させていくことが必要になります。
大量の計算資源を必要とするLLMの事前学習ですが、事前学習のみではその真価を発揮させることはできません。人間が実務で使用する際にはアラインメントを施すことで飛躍的に価値のある生成を行うモデルを作り出すことができます。

大規模言語モデル - アラインメント(指示学習)エンジニアは、事前学習されたモデルに事後学習を行い実用化に必要なモデルを作り上げるための研究開発に取り組みます。また、最近では高品質な生成データを学習させることで小規模なモデルでも高い性能を出すような取り組みが盛んになっており、効率的なデータ生成方法の研究開発にも注力をしています。

業務例

• 基盤モデルの性能をさらに向上させるような事後学習(指示学習, 強化学習)手法の研究開発
• 社内外からの様々な用途・要望に対応できるような、高品質かつスケールするデータ生成手法の研究開発
• 事後学習により、基盤モデルの機能を追加するような手法の開発(コンテキスト拡張・語彙拡張など)
• LLMを利用したプロダクト開発での連携や、各ドメインに特化したLLM開発プロジェクトへの連携など

実際の業務はこれに限定されるものではありません。入社後に実際にご担当いただく業務内容は、専門的知識・経験を考慮のうえ決定します。

様々な産業で広く使われる大規模言語モデルの開発に携わりたい方、熱意のある方のご応募をお待ちしています。

Preferred Networks is developing multimodal foundation models centered around Large Language Models (LLMs) and is expanding its research into applied development and industrial application research to strengthen its business domains in entertainment, scientific computing, robotics, and others.

The Alignment Team's mission is “to make foundation models generate human-preferred outputs" by training them to produce outputs that are useful, accurate, and safe for humans. Pre-training of LLMs requires a large amount of computing resources, but it is not sufficient to fully realize their potential. By applying post-training techniques, we can create models that generate highly valuable outputs when used in practical applications.

As a Large Language Model Alignment Engineer, you will engage in research and development to build models that are ready for practical use through post-training. You will also focus on research into efficient data generation methods, as there is growing interest in using high-quality generated data to achieve high performance even with smaller models.

Your responsibilities may include:

• Research and development of post-training methods (instruction tuning, reinforcement learning) to further improve the performance of foundation models
• Research and development of high-quality and scalable data generation methods to support a wide range of applications and requirements
• Development of methods to extend the functionality of foundation models through post-training, such as context expansion and vocabulary expansion
• Collaboration with product development teams that use LLMs and with projects developing LLMs specialized for specific domains

This job description is not exhaustive, and the actual duties assigned to you may vary depending on your expertise and experience.

We look forward to receiving applications from those who are passionate about developing large language models that will be widely used across various industries.

Qualifications

• コンピュータサイエンスの知識や関心

• コンピューターサイエンスのすべての分野への精通を目指し、常に最先端の技術を追いかけ続けていること

• 特に、機械学習または自然言語処理に関する研究または実務の経験および実績

• Pythonを使ったソフトウェア開発経験

• コンピューターアーキテクチャーを理解し、ソフトウェアの実効効率や、計算量を意識したプログラムの作成が出来ること

• 数学、自然科学（物理、化学など）に関する、大学卒業程度の知識（もしくは学習により習得可能なこと）

• チームでの課題解決の経験

• Knowledge and interest in Computer Science

• Aim to be familiar with all areas of computer science and continually pursue the latest technology

• Especially, research or practical experience and achievements in machine learning or natural language processing

• Experience in software development using Python

• Understand computer architecture and be able to create programs considering the actual efficiency of software and computational complexity

• Knowledge equivalent to that of a university graduate in mathematics and natural sciences (such as physics and chemistry), or the ability to acquire this knowledge through learning

• Experience in solving problems as a team

Other Qualification

その他の条件 / Other conditions

• 業務内容の一部として、特定の国籍の方が従事できないプロジェクトを含む場合があること

• Some aspects of the work may involve projects that certain nationalities are prohibited from participating in.

Preferred Qualifications

• LLMの学習経験

• 分散学習フレームワーク(FSDPやDeepSpeedなど)を使った開発経験

• データ生成、学習、評価までのパイプラインの構築経験

• データセットやベンチマークなどの作成経験

• 機械学習OSSへのコントリビューション経験

• プログラミング競技コンテスト、ゲームAIコンテスト、データ分析コンテスト（Kaggleなど）などの実績・経験

• 研究に対する優れた実績

• 開発プロジェクトにおける3名以上のチームのリーダーシップ経験

• Experience in training Large Language Models

• Development experience using distributed learning frameworks (such as FSDP or DeepSpeed)

• Experience in building pipelines for data generation, training, and evaluation

• Experience in creating datasets and benchmarks

• Experience contributing to machine learning OSS

• Achievements and experience in programming contests, game AI contests, and data analysis contests (such as Kaggle)

• Outstanding achievements in research

• Leadership experience in development projects with teams of three or more members

Salary

経験、業績、能力、貢献に応じて、当社規定により優遇
Experience, performance, skills, contribution are taken into consideration.

Location

東京都千代田区大手町１−６−１ 大手町ビル / Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004