バッチ処理とリアルタイム処理の組み合わせについて

Combination of batch processing and real-time processing

（株式会社ポリゴン・ピクチュアズ / スタジオフォンズ）

(Polygon Pictures Inc. / Studio Phones)

今後の会合の状況を見つつ加筆修正を含めブラッシュアップを進めていく予定です。

■概要

■Overview

映像制作では様々な形態のバッチ処理を従来から多用し、現在に至りますが、個々の計算を小さくし高頻度なバッチ処理を行うことから、定時的な自動化としてのバッチ処理、計算クラスタに大量のジョブを並列分散し行うバッチ処理など、多様化はしつつも基本バッチ処理としての展開が多かったのではないかとモデレータ達は考えています。しかし一方で、近年ではリアルタイム処理をそこに組み合わせ始めた段階に入りつつあり、それにともないレンダラーなども内部アーキテクチュアの一新を図ったり、リアルタイム処理が必要な箇所とバッチ処理で扱える処理を切り分けつつも連携を常に維持出来るようにしたりと、最近の各ソフトウェアのアーキテクチュアも映像制作パイプラインを支えるインフラ面でのアーキテクチュアも、複雑化の一途を辿っているのではないかとも思える状況に入って来たのではないかと思います。
今回は会合中、「映像制作でのプリプロ工程とゲームエンジンの関わり」を深く模索すべく様々なディスカッションが行われると思いますが、その準備を兼ねて、少し映像制作面でのバッチ処理とリアルタイム処理の組み合わせを行うにあたって考えられる範囲で難しいと思われる範囲を、下記に簡単にモデレータの方で指し示して行きたいと思います。
この課題は日進月歩かつ未踏感の強い領域である課題であるために、かなり会合でのディスカッションのたたき台程度の完成度しかないことを念頭に、会合までに軽くお読み頂けたらと思います。

under construction...

■各プロセッサごとの計算とその連携

■Calculation and cooperation of each processor

最近はCPUでの計算結果に近い結果をGPUでも出せる範囲で内部的に切り替えていく計算アーキテクチュアの模索と実践も激しくなって来ていますが、CPU、GPUだけでなくFPGAなども入って来る上、CPUのラインナップの多様化とそこで生じた多様性を考えていくと、単なる計算結果のマッチングを進める以上の課題が自然と課題に上がって来るかと思われます。
つまり、扱う計算に対して一定の計算資源のマネジメントを行うことであり、そのためには処理として流す内容の細やかな計算種ごとの分類をアルゴリズムとしてどう構成していくかといった課題でもあり、ワークフローの設計と同時に、スタジオで用いれる計算資源への分配問題、スケジューリング問題などを、同時に扱っていく必要が生じている時代に入って来たことと言い直せるかと思われます。
その上で、バッチ処理に向く計算とリアルタイムに向く計算の連携性を維持したままの共存を考えることになり、アーティストの各チームや個別のワークフローに対してうまくそれらを振り分けていく必要性も出て来るであろうと見込みんでいます。

under construction...

■ストレージ性能と計算の種別への対応

■Response to storage performance and calculation type

VFXは一般にアセットが巨大になりやすい領域と言えるかと思います。それらの一時的データはストレージ内に一度書き込まれ最終レンダリング時まで保管されていくことが多いことと思いますが、計算クラスタへそのジョブを分散させて扱う場合、ストレージからの読み書きなどに対応しきれるか、そういった事柄を今まで考えて計算資源のマネジメントを行って来たスタジオも多いかと思われます。
しかし一方、その一時的なストレージ上のデータを用いてリアルタイムレンダリングしアニメーターがそこを見つつキャラクターをアニメートしていく、その際、衝突判定なども荒くともリアルタイムに行いつつ大まかなアニメーションのあたりをつけて行く、など、近年求められるストレージへの要求などは、以前と桁違いに難度の高いものとなって来ていると思われます。
映像制作パイプラインのデザインとそれを支えるインフラ設計を行う際、その個々の作業に適したマシン構成を把握し、潤滑に作業を進められる環境を考えていく必要性があり、近年の映像制作パイプラインのデザインの難しさがここに存在するのではないかとモデレータ達は考えています。

参考に下記もお読み頂ければと思います。

映像制作パイプラインと計算資源
https://a-film-production-technique-seminar.com/fppat/materials/ppi_phones_compute_resource/index.html

under construction...

■会合へ向けて

■Towards to seminar

映像制作パイプラインを支えるインフラがサーバーサイドでの開発への移行を激しくしていくなか、リアルタイム処理をサーバーサイドで扱う、その結果を適切に各スタッフの端末に送る、など、多くの課題が浮上して来ます。そのリアルタイム処理の結果は最終レンダリングの結果から自然と遠くなる傾向が強く、リアルタイム処理の必要なプロセスを適切に把握し映像制作パイプラインのデザインを進めていくことの難度がそこにあるかと思われます。
一方、ゲーム分野の方々の多くは、ゲームエンジンなどを通しては長年のユーザー向けリリースを通して、安定したリアルタイム性ある可動性を担保した製品設計と開発を行って来ていると考えられ、映像制作パイプラインへ安定したリアルタイム処理を持ち込んでいく際には、ある種の指標がそこにあると思われます。
今回の会合では、その双方の領域の知見の違いをお互いにディスカッションしていくことによって、お互いの分野への知見の乗り入れを行いたいと思っています。

「映像制作関連サーバから見たリアルタイム処理の課題」は下記にまとめています。合わせてお読み頂けたらと思います。
https://a-film-production-technique-seminar.com/crafts/materials/ppi_phones_realtime_film_production_servers/index.html

under construction...