Software Engineer - LLM Pre-Training / 大規模言語モデル 事前学習エンジニア

Job Description

Preferred Networksでは大規模言語モデル(LLM)を中心としたマルチモーダルな基盤モデルの開発を進めています。LLM・生成AIの基盤モデル開発に加え、エンタメ、科学計算、ロボットといった自社事業領域を強化する形での導入を目指した応用開発や、多様な産業への応用研究も行っています。

事前学習チームの役割は、LLMの大規模な事前学習を行い、高性能な事前学習モデルを構築することです。事後学習を終えた後のモデルが実用的で価値の高いものとなるようにLLMに知識や能力を学習させる必要があります。
強化学習などの手法の発展により、LLMは事後学習によって様々な能力を発揮させることができるようになっている一方で、事前学習で全く学習できていない能力を事後学習で発揮させることは難しいという報告もあります。事後学習で高い性能を発揮させるためには、事前学習での取り組みも重要です。

大規模言語モデル - 事前学習エンジニアは、高性能なLLMの事前学習のために必要な研究開発に取り組みます。事前学習モデルの最終的な性能を決めることになるデータセット・モデルアーキテクチャ・学習手法の研究開発以外にも、大規模・長期間の学習を効率よく安定して実行し続けるための取り組みなども行っています。

業務例

• 事前学習において、大量の計算資源を効率良く用いるための最適化やソフトウェアの研究開発
• 長期間の学習を安定して動作させるための研究開発や運用
• 事前学習モデルの性能を正しく計測するための研究開発
• 事前学習モデルの性能を向上させるためのデータセットに関する研究開発
• 事前学習モデルの性能を向上させるための学習手法 (DNNアーキテクチャやoptimizerなど)の研究開発

実際の業務はこれに限定されるものではありません。入社後に実際にご担当いただく業務内容は、専門的知識・経験を考慮のうえ決定します。

事前学習LLMの開発に携わりたい方、熱意のある方のご応募をお待ちしています。

Preferred Networks is developing multimodal foundation models centered around Large Language Models (LLMs) and is expanding its research into applied development and industrial application research to strengthen its business domains in entertainment, scientific computing, robotics, and others.

The pre-training team’s role is to conduct large-scale pre-training of LLMs and develop high-performance pre-trained LLMs. The goal is to equip the LLM with the necessary knowledge and capabilities to ensure that models after post-training are practical and valuable.
While advancements in techniques like reinforcement learning have enabled LLMs to demonstrate various capabilities through post-training, some reports suggest that achieving capabilities that were not learned during pre-training through post-training alone can be challenging. To achieve strong performance in post-training, pre-training efforts are equally crucial.

As a LLM Pre-training Engineer, you will engage in research and development required for high-performance LLM pre-training. In addition to developing datasets, model architectures, and training methodologies that ultimately determine the final performance of pre-trained models, you may also work on optimizing and ensuring efficient, stable execution of large-scale, long-term training.

Your responsibilities may include:

• Research and development to improve efficient utilization of massive computational resources during pre-training
• Research and development for stable execution of long-term training
• Research and development for accurate performance measurement of pre-trained models
• Research and development of datasets to improve the performance of pre-trained models
• Research and development of training methodologies (including DNN architectures and optimizers) to enhance pre-trained model performance

This job description is not exhaustive, and the actual duties assigned to you may vary depending on your expertise and experience.

We look forward to receiving applications from those who are passionate about contributing to the development of pre-trained LLMs.

Qualifications

• コンピュータサイエンスの知識や関心

• コンピューターサイエンスのすべての分野への精通を目指し、常に最先端の技術を追いかけ続けていること

• 特に、機械学習または自然言語処理に関する研究または実務の経験および実績

• Pythonを使ったソフトウェア開発経験

• コンピューターアーキテクチャーを理解し、ソフトウェアの実効効率や、計算量を意識したプログラムの作成が出来ること

• 数学、自然科学（物理、化学など）に関する、大学卒業程度の知識（もしくは学習により習得可能なこと）

• チームでの課題解決の経験

• Knowledge and interest in Computer Science

• Aim to be familiar with all areas of computer science and continually pursue the latest technology

• Especially, research or practical experience and achievements in machine learning or natural language processing

• Experience in software development using Python

• Understand computer architecture and be able to create programs considering the actual efficiency of software and computational complexity

• Knowledge equivalent to that of a university graduate in mathematics and natural sciences (such as physics and chemistry), or the ability to acquire this knowledge through learning

• Experience in solving problems as a team

Preferred Qualifications

• データセットやベンチマークなどの作成経験

• DNNの分散学習を行った経験

• 大規模なGPUクラスタを利用した際のトラブルシューティングなどの経験

• 速度性能ボトルネックの改善経験

• 大規模なデータ前処理の経験

• 機械学習OSSへのコントリビューション経験

• プログラミング競技コンテスト、ゲームAIコンテスト、データ分析コンテスト（Kaggleなど）などの実績・経験

• 研究に対する優れた実績

• 開発プロジェクトにおける3名以上のチームのリーダーシップ経験

• Experience in creating datasets and benchmarks

• Experience with distributed DNN training

• Problem-solving experience when working with large-scale GPU clusters

• Experience in addressing performance bottlenecks

• Experience in preprocessing large-scale data

• Experience contributing to machine learning OSS

• Achievements and experience in programming contests, game AI contests, and data analysis contests (such as Kaggle)

• Outstanding achievements in research

• Leadership experience in development projects with teams of three or more members

Salary

経験、業績、能力、貢献に応じて、当社規定により優遇
Experience, performance, skills, contribution are taken into consideration.

Location

東京都千代田区大手町１−６−１ 大手町ビル / Otemachi Bldg., 1-6-1 Otemachi, Chiyoda-ku, Tokyo, Japan 100-0004