ゲーム開発やメタバースを見据えた、AI×3Dモーションデータの自動生成への挑戦。バンダイナムコ研究所と共同研究

メタバースやxR技術など三次元モーションを使用する研究開発を手がける株式会社バンダイナムコ研究所。日々、「革新的なエンターテインメント」を追い求めるなかで、ACESと共同研究を進めているのが「AIを活用したキャラクターモーションの生成」です。

共同研究による技術開発に至った背景や目指す未来像について、株式会社バンダイナムコ研究所の髙橋誠史氏と、株式会社ACES取締役の與島仙太郎が振り返りました。

株式会社バンダイナムコ研究所 技術開発本部 先端技術部 マネージャー

髙橋 誠史様

2009年、北陸先端科学技術大学院大学博士後期課程単位取得退学後、株式会社バンダイナムコゲームス入社。株式会社バンダイナムコスタジオより分社化した株式会社バンダイナムコ研究所所属。バンダイナムコ研究所では、グラフィックス、AIといった先端技術研究を行う先端技術部のマネージャーを務める。R&Dチームのマネジメントやバンダイナムコ研究所のR&Dプロジェクトのディレクションや「ミライ小町」プロジェクトの3Dデータなどのテクニカルディレクションを担当。本プロジェクトでは、研究開発のプロデューサーとしてゲームの開発会社にあるモーションデータを研究対象としたAIプロジェクトを推進中。

株式会社ACES 取締役/COO

與島 仙太郎

2019年東京大学工学系研究科システム創成学専攻修了。集団や組織を科学することに興味を持ち、学部では感情解析を用いたSNS分析、大学院ではチームの協調行動に関する研究に従事。在学中からプログラミング教育ベンチャーでのメンターを務めるほか、生物情報スタートアップに立ち上げ初期から参画し、特許技術の企画開発や自社サービスの開発を担当。2017年、大学院在学中にACESを共同創業。Project Managerとして、複数の共同研究を運用、統括しつつ事業開発にも取り組む。

人力のみによるモーション開発は、いずれ限界を迎える

髙橋　今回の我々の課題としては、機械学習や深層学習の生成系AIを用いて、コンテンツ制作の現場に活用する方法を模索していました。そこで、AI研究開発の底上げと、エンターテインメント業界のイノベーションによる発展を目指す一貫として、3Dモーションのデータセット制作に乗り出しました。

ゲームや映像に登場するCGキャラクターは、事前にアクターの方々に演技していただき、それをモーションキャプチャ技術でデータ化したり、専門のクリエイターが手作業で制作したりするのが現状です。しかし、今後はメタバース空間をはじめ、コンテンツの規模が拡大することが予想されます。個性的なキャラクターや多彩なモーションを用意していくためには、従来の制作工程ではいずれ限界を迎えてしまうでしょう。

一方で、AIを用いたモーション研究開発は、性別や動作、演技といった様々なパターンのモーションの「データセット」が必要ですが、それだけの数を用意することは難しく、世界的に見ても研究開発が進んではいません。その現状を少しでも変えていくために、ACESさんと協力して進めていったのが今回のプロジェクトですね。

與島　特にモーションを撮る部分は準備も実作業も負荷が大きく、バリエーションをたくさん用意しようと考えると、時間も費用も途方もなくかかってしまいます。「ゲーム内でキャラクターが踊るシーン」があったときに、動き方が一定で同じになるのは、その差異を生むだけのモーション撮影はコストが見合わないからだと理解しています。

髙橋　そうですね。「48人のアイドルが同時に歌って踊る」というシーンをCGコンテンツで再現しようとすると、個性を表すために48人分のモーションを用意するというのも、コストをかければ可能ですが実際には難しい。今回のAI活用は「人から仕事を奪う狙い」ではもちろんなく、人力では諦めていた領域に対して取り組める、という意義が大きいです。

與島　動きに差異をつくり、バラエティーを富ませる部分が、AIによる生成技術で担えるのではないかと考えました。「歩く」という動作だけでも、男性的、女性的、ミュージカル風といったように、集めるデータに対して生成できる項目が増えれば、それだけ価値が高まっていくという期待が持てました。

きちんと現場で使えるAI技術の開発

髙橋　2020年秋からACESさんにも加わっていただき本格的にモーションのスタイル変換に注力し、2021年の4月までは準備期間としてサーベイなどの要件定義に取り組みました。2021年の6月に初めてモーション変換用の独自モーションの収録を行ったのですが、ここで収録したデータはAIが学習するには不十分な量で、成果があまり芳しくありませんでした。そこで2021年の下半期で追加のデータを収集し、アルゴリズムの改善に加えてデータの質の向上にも取り組んでいっているところです。

與島　データの収集やアルゴリズムの研究開発としては、世の中的に研究開発が大きく進んでいるわけではない領域ですから、その領域の最先端にいくまでは順調に進んでいるとは感じています。

髙橋　もともと参考にしていた論文や学術研究だけでは、現場で実装するための研究開発には不十分であることがわかっていました。例えば、モーションを作るときの、身体の骨組み（ボーン）の構成が異なっていたり、現場使用に耐えうるより自然なモーションのデータセットになっていないなどの課題が明らかになりました。これらの背景から、モーションのデータセット収集から、AI の研究開発まで全てを手掛けていること自体が重要であり、我々がこのプロジェクトを推進する理由であり、技術優位性につながると考えました。

與島　おっしゃるとおりです。最終的にはクリエイティブの現場で使うことが前提ですから、その目的に到達するために必要なレベルを、研究領域よりも活発に話をさせていただけたと感じます。細かな部分を改善し、データをためて、きちんと現場で使えるものにしていく部分では、バンダイナムコ研究所のみなさんにも労力をかけてもらい、ACESとしても馬力を発揮して共創できていったのだと思います。

髙橋　どのようなデータを集めるかについて動き方の詳細を定義し、それに則したモーションを撮影し、取り組めば実際の出力が変わることは実証できました。今後はデータの質をよりよい状態に改善していく段階。学術論文における論文が通る新規性と、プロダクションとしてのクオリティが担保されていくフェーズへ変わってきた、というところですね。

「動作版のボイスチェンジャー」も将来的には可能に

髙橋　基本的にバンダイナムコ研究所のR&Dの方針としては「自社でデータ生成できるもの」をテーマにしています。アルゴリズムを研究する機関は様々あるのですけれども、最終的にデータ勝負となった場合に、自分たちでデータを作れなければ優位性になりません。その中でもモーションは、チャレンジングかつ自社優位性が出るところだという認識です。

テキストや音声はAIのタスクとしては難しいものではなく、バンダイナムコ研究所としてもテキストは漫画やアニメの原作セリフを活用したり、音声合成に取り組んでいたりはしていますが、それらより難易度が一層高いのがモーションや3Dデータ。ここを研究できれば、他がついてこられなくなる領域だろうと踏んでいました。

與島　プロジェクトとしてご一緒する中で、まずは「データセットのとり方」から検証し、どうすればAIがより学習できるデータを集められるのか、という知見を学ぶ発展途上の段階を経てきました。データのよりよい集め方を定義し、アルゴリズムをいかに変えるべきかを定めて適用することですることで実際のプロダクトに落とし込めていける兆しが見えてきました。ここから1年ほどの範囲でプロダクトにも使える状態を達成し、汎用の基盤にまで持っていければと考えています。

髙橋　やはりゲームは開発サイクルが長いですから、まずはバーチャルキャラクター使った配信システムやダンス系のコンテンツに活用していくのが、現場での採用としては実現がスピーディだろうと踏んでいます。我々の研究所は基礎技術や技術獲得する役割が多く、バンダイナムコ研究所としては「ミライ小町」というキャラクターIPがありますので、まずはそこから実験を始めていくつもりです。さらにアニメやゲーム領域も問わず、パートナーを探して、より広めていきたいです。

将来的にはリアルタイムでのモーションキャプチャーも適用可能だと考えています。たとえば、男性アクターから動きをキャプチャーし、それをAIで変換しつつ、女性キャラクターの動きとして再現するといった形です。コンピューティングパワーの課題などはありますが、実現できる手法ではあります。いわゆる「動作版のボイスチェンジャー」といったことが、この技術の延長線では可能になってくるでしょう。

本記事の続きはこちら

https://acesinc.co.jp/projects/bandainamco_2

ACESが考える最先端AIを用いたIPビジネスの可能性についてご興味を持っていただいた方に向けて、ご紹介資料をご案内しております。ぜひご参照ください。

https://acesinc.co.jp/downloads/document-1609