映像制作のストレージから見たレプリケーションとリアルタイム処理

Replication and real-time processing for storage of film production

（株式会社ポリゴン・ピクチュアズ / スタジオフォンズ）

(Polygon Pictures Inc. / Studio Phones)

今後の会合の状況を見つつ加筆修正を含めブラッシュアップを進めていく予定です。

■概要

■Overview

映像制作で扱うアセットの平均データサイズは、近年肥大化の一途を辿っていると言われています。通常、映像制作で扱う作業中のデータは、ストレージごとにそれぞれの冗長化に関する技術により支えられており、映像制作パイプラインのデザインに伴うインフラ設計の段階で、各スタジオの個性に合わせた形で適したストレージを選択する、冗長化設定を行うなどの設定を進めて行きます。
しかし一方で、海外大型案件に代表される大規模制作に関わるストレージの場合は、遠隔地からのデータI/Oに応えられる何らかの仕組みを持ち、拠点ごとにストレージを構成し同期を行ったり、最初から分散書き込みに対応した仕組み作りを考えたりと、その工夫はスタジオごとに変わって来ていると思われます。多くの場合、扱うアセットの平均データサイズが大きくなるほどこれらの対応は難しくなり、レプリケーションに関する様々な工夫をスタジオごとで今後も課題視していく傾向に繋がっていると言えます。
そこに加えて、遠隔地でアセットを共有することの難度も上がっていく一方、それらのアセットはスタッフの同時アクセスの状況したでの様々なリアルタイム処理に応えられるシステム設計を近年求められていくように思われます。今回、「映像制作パイプラインとアーティストのテクニック 8」では、映像制作におけるゲームエンジンの役割に関してディスカッションを進めていくことになっていますが、「映像制作のストレージから見たレプリケーションとリアルタイム処理」の課題はこの同期やレプリケーション、リアルタイム処理という相入れにくい課題に関するトレードオフのポイントを見定めることを要求すると言えます。
そこでこの資料では、会合中のディスカッションのために、今現在モデレータ達が注目する周辺技術を簡単に紹介し、会合時のディスカッションに役立てたいと記載します。モデレータのスキルや経験の不足している領域ゆえ、完成度も低く簡単な紹介しか出来ないかたちで申し訳ありませんが、どうかご容赦頂けましたら幸いです。

under construction...

■データの規模やレプリケーション

■Data size and replication

通常、映像制作系のストレージでも、2018年現在の段階でペタバイト級のデータを扱うめずらしい分野ということで、他業界の方には驚かれてしまうこともしばしばです。Dropbox社のMagic Pocketのように世界ではエクサバイト級のデータを扱う様々な技術が展開されていますが、その基幹ネットワークを含め、我々国内の映像系スタジオではまさに想像がまだ出来ない規模での技術や工夫が展開されています。これらいわゆるクラウド系サービスなどで扱うデータの多くは、比較的粒度の低いデータの集まりとして扱えることが多く、アセットの平均データサイズが大きくなりがちなVFX領域でのデータに対してや、モノリシックに幾つものアセットの組み合わせで肥大化していく一方のレンダリング段階の各種データなど、若干ですが、他分野でのデータの取り扱いと違いが出てしまっているようです。
それはレンダリングなどで扱うバッチ処理での段階でも同様で、非常に細か書く大量の計算を計算クラスターに投げる点でも特殊なフィールドと言われることもありますが、レプリケーションなどを考えていく際にも、これらの事情を考慮した上で自社事情に合う設計を必要として来ます。

・Dropbox, Magic Pocket
https://blogs.dropbox.com/tech/2016/05/inside-the-magic-pocket/

under construction...

■同期に伴う待機時間とリアルタイム処理

■Synchronization wait time and real-time processing

同時に多人数で制作していく、世界各地の拠点でデータを共有／同期して制作していく、そのデータをリアルタイムに処理を行い事前確認しバッチ処理に移行していく、そういったユースケースは映像制作の各段階で様々なかたちで生じて来ます。
しかし一方、同期/共有はどうしても遠隔地間になるほど待機時間が発生し、出来るジョブから順に回すなどの工夫が出来ることもあるバッチ処理に比べ、リアルタイム処理する全てのアセットの同期/共有の待機を待ってしか処理に入れないなどの課題がそこにあります。前回までの会合中、あるスタジオはその課題をなんとかするために、アセットそのものを軽量化し、計算時に計算クラスタ内でプロシージャルにアセットを生成するパラダイムを採用することによりその待機ロスを軽減する工夫を紹介されていました。
そういった処理が出来る制作パダライムはこの課題が小さく無視出来るものになるとはいえ、多くのスタジオ、特にキャッシュを多用するコンポジット工程に力を入れているスタジオ、流体などのキャッシュを大規模に一度ストレージに抱えないと作業出来ないパダライムのスタジオなどは、拠点となるスタジオ内でさえそのデータの通信やI/Oにかなりのケアをしなければいけないのが通例です。
その上で、アーティストの待機時間を減らし、円滑に各工程間の成果をアッセンブルしリアルタイム処理に回すなど、各社、今後もインフラ性能とワークフローに関しては多くの課題を残したままと言えるのではないか、そのようにモデレータ達は現在考えています。 会合中にディスカッションしたい話題として、スタジオごとの工夫であったり、そもそもこういう制約の生じるリアルタイムに処理すべきワークフローをどのように扱っているのか、今後の課題とは？、などなど、各スタジオでのリアルタイム処理とレプリケーション関連の問題意識に関して、参加者同士でじっくり話したいと思います。

under construction...