映像制作パイプラインとゲームエンジン

Game engine considered from each process of film production

（株式会社ポリゴン・ピクチュアズ / スタジオフォンズ）

(Polygon Pictures Inc. / Studio Phones)

今後の会合の状況を見つつ加筆修正を含めブラッシュアップを進めていく予定です。

■概要

■Overview

昨今、映像制作においてゲームエンジンを利用し画像を生成するケースも増えております。映像制作でのリアルタイム処理の必要性から、部分的にゲームエンジンを取り入れたり、ゲームエンジン内で用いられているようなアルゴリズムを扱うことも増えてきていることと思います。また、最近ではゲームエンジンの多くがUSD (Univesal Scene Description)への対応を終えて来つつあり、映像制作のパラダイムとゲーム開発のパダライムの親和性は、以前に比べて格段に向上して来ていると考えられます。
しかしながら、当然ゲーム用途に設計されたゲームエンジンは、映像制作パイプラインに組み入れようとしても、効果が出づらい側面は拭えず、どちらかと言うと内部で用いられている処理を中心に関心が持たれて組み入れられていく傾向にあります。

一方、クラウドゲーミングなどを中心に、まだ大きく市場が育っていないものの急速に育つ可能性のある領域も活発化しており、そこに向けての試行錯誤と呼べる幾つかのゲーム会社の研究開発結果は、映像制作パイプライン的にも親和性の高い、様々なアイデアが見受けられます。

モデレーター達は、映像とゲームの双方のパイプラインやそれを支えるインフラがより共通の枠組みを持つ度合いを増やすと見込んでおり、そのような展開になった場合は、今以上に、映像制作とゲーム開発のアルゴリズムやテクニックは融合しつつ差別化を進め、激しく進むのではないか、そのように考えております。
会合では、モデレーターを中心に、現在の映像制作におけるゲームエンジンの魅力についてお話しつつ、会合参加者とざっくばらんにディスカッションを進めたいと思います。

・USD (Univesal Scene Description)
https://graphics.pixar.com/usd/docs/index.html

under construction...

■ゲームエンジンの利用

■Use of game engine

多くの映像制作スタジオでは、まず内製化されたゲームエンジンを保有しているということはないかと思われます。映像制作だけでなくゲーム開発も行うスタジオであれば内製のゲームエンジンを保持している事もあるかと思いますが、多くの場合UnrealEngineなど他社開発のゲームエンジンの利用ということになると思います。
ゲームエンジンの機能は、当然ながら映像制作目的では開発されていないことが圧倒的大半と考えられ、そのため映像制作での利用では、リアルタイム処理を活用したプリプロ段階での各種仮組みなどの用い方が圧倒的に多いのではないかと思われます。逆に言えば、ゲームエンジン内部で用いられている各種アルゴリズムに着目することで、映像制作用にそれらのリアルタイム処理のアルゴリズムを映像制作に合った形で取り入れていくことでしか映像制作パイプラインの一部として考えて行くことが難しいため、現在では限られた状況でゲームエンジンを利用していく形態になっているのではないかと思われます。

手描きアニメを活かすセルルックパイプラインの可能性と課題とは
　■リアルタイム技術とセルルック表現の親和性の向上について（ユースケース面）
https://a-film-production-technique-seminar.com/fppat/materials/ppi_phones_possibility_celook_pipeline_challenges/index.html

under construction...

■リアルタイム処理

■Realtime processing

ゲームエンジンを多少ながらも扱っていくなかで、リアルタイム処理のメリットに着目し、徐々にそのアルゴリズムを映像制作に取り入れていくことは多いと思われます。特にゲーム方面で用いられている各種シミュレーションなどの機能は、映像制作でもかなり用いられてこの数年経過して来ていると思われますし、CPU主体の計算で培われて来たパラダイムのうち、GPUに置き換え可能な処理を切り替え可能な形態で組み入れていくなど、リアルタイム処理の有効活用の方が盛んではないかと思われます。
シリーズ物の作品制作の際には、GPUレンダリングも多用されていく傾向は日常化して来ておりますし、FPGAも含めて、用途によってプロセッサーを使い分けていく傾向はかなり高まっていくのではないかとモデレーター達は考えております。

映像制作関連サーバーから見たリアルタイム処理の課題
https://a-film-production-technique-seminar.com/crafts/materials/ppi_phones_realtime_film_production_servers/index.html

映像制作のストレージから見たレプリケーションとリアルタイム処理
https://a-film-production-technique-seminar.com/crafts/materials/ppi_phones_replication_realtime_process_storage/index.html

under construction...

■計算資源として見た場合

■Viewpoint as a computational resource

一般に映像制作の上でゲームエンジンを扱おうとした場合、VRAMの大きさがネックになるという指摘は過去会合での参加者からも出ておりました。ムーアの法則の曲がり角として語られることの多いヘテロジニアスコンピューティングへの対応というフレーズは、世間でもよく聞こえる言い回しかと思いますが、CPU / GPU / FPGAなどのそれぞれのプロセッサーの向き不向きを理解して、制作上のワークフローを考えていくことが重要になるとモデレーター達は考えております。

映像制作インフラから見た最近のプロセッサ事情
https://a-film-production-technique-seminar.com/crafts/materials/ppi_phones_recent_processor_situation/index.html

映像制作分野から見たFPGAに対する関心
https://a-film-production-technique-seminar.com/crafts/materials/ppi_phones_fpga_film_production/index.html

under construction...

■まとめ（映像制作の各工程から見たリアルタイム処理）

■Summary (Realtime processing viewed from each step of film production)

モデリング、リギング、アニメーションなど、様々な工程でリアルタイム処理へのニーズは高まって来ていると思われます。その多くは、プレビュー目的での高速なレンダリングであったり、軽快なシミュレーションで演出可能なシミュレーションを用いてモデリングやレイアウトなどのエフェクト的な機能を達成して行ったり、ルックデベロップメントやライティング時においての瞬時にアセットの状態を掴む意味での各種計算（プレビュー含む）であったり、コンポジティングやデノイズを高速に処理する目的であったりと、徐々にリアルタイム処理の導入を増やすようにして変化が進んで来ているように思われます。
ゲームエンジンのアーキテクチャも日進月歩で進んでいることから、今後の変化次第では、もっと直接的なゲームエンジン利用も視野に入るかもしれませんが、今回の会合では、ゲームエンジンから学ぶリアルタイム処理に焦点を当て、リアルタイム処理とバッチ処理の効果的な活用や発展に関してディスカッションして行きたいと、モデレーター達は考えております。

バッチ処理とリアルタイム処理の組み合わせについて
https://a-film-production-technique-seminar.com/crafts/materials/ppi_phones_batch_and_realtime_process/index.html

under construction...