ABEMAの番組制作現場にて、実際の映像・音声データを用いた機械学習モデルの検証やPoCを担当します。大学・大学院で統計学や機械学習などを専攻しているか、同等の知識を独学で習得していることが必須です。Pythonを用いた実装経験が求められ、論文やライブラリを調査して自ら手を動かす姿勢が重要です。映像や番組制作の裏側に強い関心を持つ方を歓迎します。
「ABEMA」は、"新しい未来のテレビ"として展開する動画配信事業です。オリジナルのドラマや恋愛リアリティーショー、ニュース、アニメ、スポーツなど多彩なジャンルの番組を、24時間365日配信しています。
私たちのAI Productチームは、撮影・編集といった制作の現場から映像が視聴者に届くまでの業務のAIによる効率化に加え、AIだからこそ生み出せる新しい価値づくりにも取り組むチームです。現場と直接対話しながら「本質的な課題」を見つけ、つくったものが実際に使われるところまでを自分たちで担っています。若手にも裁量を任せるサイバーエージェントの文化のもと、「何をつくるか」から自分たちで決めて動けるチームです。
皆さんが「ABEMA」で普段目にしているコンテンツは、配信用の完成版映像です。しかしその裏側では、複数のカメラで撮影された映像や、出演者ごとのマイクで収録された音声など、完成版をはるかに超える量の映像・音声データが日々生まれています。
コンテンツ制作や宣伝の現場では、この膨大な映像の中から「目的のシーンを探し出す」場面が日常的に発生します。ところが、映像は文書のように一覧したり、キーワードで引いたりすることができません。どこに何が映っていて、誰が何を話しているのか。現在はスタッフが時間をかけて映像を確認しながら探しており、ここに多くの時間が費やされています。
私たちはこの課題に対して、映像・音声・文字起こしテキストといったマルチモーダルな情報を活用した「シーン検索」の仕組みづくりを進めています。人物・発話内容・場面の状況といった切り口で映像を検索できるようになれば、コンテンツ制作に関わるさまざまな業務のあり方が大きく変わります。さらにその先には、数値では捉えにくい人間関係や感情の機微、場の空気といった「言葉にしにくいもの」をどう捉えるか、という解のない問いも待っています。
これらは、コンピュータービジョン・音声処理・自然言語処理・マルチモーダルAIといった技術がまさに活きる領域です。「番組づくりの裏側」を機械学習で変えていく挑戦、一緒にやってみませんか？
機械学習/AIの手法検証（PoC）から、制作現場へのフィードバック・提案までの流れを経験できるポジションです。ABEMAの機械学習エンジニアとして、実際の番組の映像・音声データを用いた検証に取り組みます。
以下は担当いただく業務の一例です。ご本人の興味・スキルや検証の進み具合に応じて、取り組むテーマは相談しながら決めていきます。
▼ 担当いただく業務例
映像・音声・文字起こしテキストといったマルチモーダルな情報を組み合わせ、膨大な映像の中から目的のシーンを検索・検出する手法を検証します。「誰が、どこで、何をしているシーンか」から、数値では捉えにくい感情や場の空気といった、言葉にしにくい情報まで捉えられないか。既存の動画理解モデルや基盤モデルの活用も含め、アプローチの設計から一緒に考えていきます。
※検証の状況により、業務内容は変わる可能性があります。
普段見ている番組の「裏側」を覗きながら手を動かせるのは、このポジションならではです。研究用に整備されたデータセットにはない、現場ならではの手強さと面白さがあります。
大学・大学院で、以下いずれかの分野を専攻 or それに準ずる知識を独学で習得している方
└ 統計学 / 機械学習 / 情報工学 / 数理・情報系分野 etc.
Python を使ったデータ分析・機械学習の実装経験
└ 例：NumPy / pandas / scikit-learn / PyTorch / Jupyter などを使った分析・実装 ・映像・音声、エンタメコンテンツ、番組制作の裏側のいずれかに強い関心がある方 ・課題にあった論文やライブラリを調査し、手を動かして試せること
※いずれかの知識・経験
とにかく映像や番組が好きで、「これ、どうやって作ってるんだろう？」がつい気になってしまう
「目的のシーンをどう見つけ出すか」のような正解のない問いを、あれこれ試しながら楽しめる
きれいに整備されたデータセットより、現場から生まれた生のデータの手強さにワクワクする
作ったものが現場で実際に使われる瞬間に、いちばんのやりがいを感じる
参考リンク
ABEMA のコンテンツ制作を最適化！生成 AI x クラウド映像編集システム ABEMA × AWSが共創する、事業利益を最大化するAIプロダクト開発の現在地 ABEMA NEWSにおける PoCをAIプロダクト化する ビジネスリードエンジニアリング
