セルルックCGと背景美術
Cel-look CG and matte painting
（株式会社ポリゴン・ピクチュアズ / スタジオフォンズ）
(Polygon Pictures Inc. / Studio Phones)
今後の会合の状況を見つつ加筆修正を含めブラッシュアップを進めていく予定です。
■概要
■Overview
メディアの多様化により、セルルックCGを用いる対象は、長編映画、TVシリーズ、CMから、ゲーム、VTuber、インタラクティブメディアでの各種展開など、複雑化を続けている段階と考えられます。リアルタイム処理を要求するセルルックCGから、一定時間の作業を経て作成されるレンダリングが前提でのセルルックCGまで、対象となるメディア次第で要求事項も大きく異なり、それにともない背景美術の役割も2D、3D、またはその組み合わせなど、多様化の一途を続けていると思われます。この資料では、今回の会合の参加者向けに、モデレーター達の目線で会合中に議論したい課題を中心にこれらに関して、簡単なものではありますが説明を行いたいと思います。会合でのディスカッションのたたき台程度にお読みいただけたらと思います。
セルルックCGパイプラインの課題に関してましては、本サイトの関連資料内にある、下記リンク先などをご覧下さい。
セルルックCGパイプラインとその課題
https://a-film-production-technique-seminar.com/fppat/materials/ppi_phones_cel_look_pipeline_issue/index.html
under construction...
■ペイント技術の進展
■Advances in painting technology
3Dペインティングソフトウェアの進展で、流体シミュレーションなどをブラシに適用するなど近年のドローイング系技術は進展していける兆しを迎えつつあります。それらはまだまだ背景美術などに取り入れられていく前段階と思われますが、こういったテクニックの多くは商用ソフトウェアとして開発されるよりは、内製ツールとして開発されていく傾向も強まる可能性もあり、現在の状況を把握するには多少難しい領域かと思れます。
今回モデレーター達の講演内では、その導入となるようなサンプル実装を紹介して行う予定ではありますが、実際のところセルルックCG系のドローイングテクニックをバッチ処理的に行っていく技術の経験は各社少ないのではないかと思われますが、今後は大きくその利用範囲は広がっていくと見込んでおり、紹介を通して会合時には多少の議論を行わせて頂きたいと考えております。
実際、3D系のソフトウェアで発展してきた各種技術を2D系のソフトウェアに徐々に持ち込んでいく試みも増えておりますし、機械学習などで各社が新しいパラダイムの獲得を目指している現状を考えると、今後のペイント系の表現手法は、バッチ処理の範囲を加えれば大幅に増えて行くのではないかと思われ、会合時はその可能性の範囲に関して議論を行いたいとも考えております。
under construction...
■背景美術とアセット管理面の変化
■Background art and change of asset management side
リアルタイム処理、バッチ処理の双方のパラダイムのどちらかあるいは双方に用いるアセットをスタジオ内で蓄積していく、それはブラシに用いる画像データの管理からブラシ処理内部のアルゴリズムのパラメーター情報の管理に至るまで、大規模案件を扱っていくスタジオであるほどより多様な形態になっていくものと思われます。
TVシリーズなどの長期にわたるプロジェクトの場合、プリプロ段階でのアセットの保管ももちろん重要になって来ていると考えられますし、ブラシなどの各種プリセット的に扱う”タッチ”も、シリーズをとおしてその手法やスタイルを再現出来るようアセット管理を工夫して進めて行く傾向にあるのではないかと思われます。
セルルックCGと背景美術の双方を扱うスタジオの場合、セルルックCGに用いる各種形状データやリグなどのデータや設定に用いた各種情報も全てインフラ内で逐次管理していく必要が生じますし、海外の大型案件であるほどこれらは厳格化した管理体制で挑んでいるのではないかと思われます。
詳しくは本サイトの関連資料内にある、下記リンク先などをご覧下さい。
コンセプトワークのパイプラインの設計の難しさ
https://a-film-production-technique-seminar.com/fppat/materials/ppi_phones_concept_work_pipeline/index.html
under construction...
■プロシージャル面での発展とそこから見た課題
■Development in procedural, issues in there
セルルックCGにおけるプロシージャルは、近年エフェクトを中心に利用の拡大が見込まれています。エフェクトにおけるプロシージャルについてはもともとセル表現分野以外の映像制作などでもよく用いられているため、それらと同様な技術を使いつつセル表現に近づけるといった手法が一般的となっています。逆にキャラクターでの造形などでは、まだまだ一点物としての職人的な手作業で制作されることがほとんどで、ワークフローのなかでプロシージャルな手法が活用できるような箇所について、各社模索が続いているように思われます。
詳しくは本サイトの関連資料内にある、下記リンク先などをご覧下さい。
プロシージャルな目線から見たセルルックCGでのキャラクターモデリング
https://a-film-production-technique-seminar.com/fppat/materials/ppi_phones_cel_look_character_modeling/index.html
under construction...
■リアルタイム処理面での要求
■Request on real-time processing
インタラクティブに処理する形態でのセルルックCGの場合、その映像としての表現手法は構築と同時にリップシンクなど、声優さんの音声とのリアルタイムな同期技術も次第に要求を強めていく傾向にあると思います。
セルルックCGとしてのエフェクトなどもそこではリアルタイム処理が可能な技術を追求することが多く、現代の高度な音声合成技術を追従しながら、これらの技術への要求は今後も上がって行くと見込まれています。
そこでは、背景画像の取り回しも複雑化していくであろうという見込みもあり、工数の削減や自動化のための仕組みを模索していくスタジオも、近年では増え続けていくように思われます。
under construction...
■機械学習などとの関係
■Relationship with machine learning
これまで培われてきたバッチ処理的に行えるセルルックCGの各表現手法とリアルタイム処理を要求するセルルックCGの各表現手法の双方において、機械学習や深層学習のより良い活用法を多くのスタジオが模索している段階にあるように思われます。
長編映画であれば、全体の質感を一度に調整する際の指標として用いたり、今まで人手がかかり過ぎたこれらの工程に対して何らかの支援ツールとして機能させていく活用法の模索は、この会合中でも幾つかのスタジオが既にその取り組みを外部に話せる段階に入って来ていると思われます。
under construction...
■フォトリアルな処理とノンフォトリアルな処理
■Photorealistic processing and non-photorealistic processing
セルルックCGと呼ばれる従来のアニメ表現に近づけた表現手法の発展も近年目覚ましいと言われることと思いますが、Non-photorealistic rendering(NPR)と呼ばれる広い研究領域からすれば、セルルックCGとして用いている技術はその一部の限られた技術であり、近年でセルルックCGとしてはまだ用いていない様々なNPRの技術をどのように取り入れていくか、そこで新しい技術を取り入れていった場合、背景美術などアーティストがまだまだ扱うことの多い領域で、アーティスト向けの様々なツールへ技術の還元をどのように行っていくかなど、現代の変化に伴い、表現手法そのものの課題は今後も高度化、多様化を続けいくように思われます。
また、アニメ制作からは少し距離があると思われていた、フォトリアルな画像生成でのいろいろな技術やそこで培われた合成技術などを視野に、これらをどのようにしてセルルックCGの発展として取り入れていくかなど、最近ではまさに表現手法の多様化そのものが活発になる時期に入ろうとしていると思います。
従来のラスタライザー時代のレンダラーで培った各種シェーディングテクニックなどをどのように現在のレイトレーサー主体のレンダラーやそのシェーディングテクニックに組み込んでいくか、様々な局面での各種サンプリング手法の違いなども含めて考えて行くことで、現代のセルルックCGで用いる各種計算をどのようにして見直していくかなど、表現手法の多様化と同時にスタジオ内での研究開発的な要求スキルも高度化を続けて行くであろうと思われます。
under construction...
■表現手法の多様化と制作用インフラの発展
■Diversification of representation technique and development of production infrastructure
バッチ処理的に計算クラスターの活用が可能な、長編映画としてのセルルックCGの方面では、特にレンダラーがラスタライザー主体のものからレイトレーサー主体のものへと切り替わっていくのに従って、その計算クラスターの管理技術も大きく変化を遂げて来ているものと思われます。セルルックCGを専門とした制作を行うスタジオ以外は、レンダーファーム内で扱うレンダラーもリアルな画像生成に用いるレンダラーを工夫してセルルックCGにも用いていく傾向が強くなっていると考えられますし、そもそもリアルな画像生成に長年用いられて来た商用レンダラーの多くが、近年セルルックCGやスタライズされた表現も視野に入れた機能拡張を追加して来ていると思います。
恐らくそれら商用レンダラーの設計自体も、リアルとノンフォトリアルの双方を扱えるよう内部構造を発展していると思われますが、それにともない、使い手となるスタジオやその計算クラスターの管理やメンテナンスなどの点においても、今後は高度な課題を数多く生んでいくのではないかと考えられております。
under construction...
■制作用インフラに関する課題
■Issues related to production infrastructure
バッチ処理的に計算クラスターを活用する従来のレンダリングテクニックだけでなく、機械学習や深層学習などの高負荷計算を要求する処理が計算クラスターの管理体制にも大きな変化を持ち込み始めていると思います。プロシージャルな形状生成は最近では増えて来ましたが、背景美術の各作業に自動化可能な処理をそのワークフローへ持ち込んで行く場合においても、これらはその計算内容から、レンダリング用途と同じ計算クラスター内で処理されるでしょうし、計算の規模があまりに多岐に渡る計算を、適切に計算クラスターなどへ送り込み処理していく、その計算の進捗状況を確認可能なモニター機能などを構築する、それらを制作上の進捗管理へと取り込んでいくなど、今後のインフラへの要求事項も複雑になっていくと考えられると思われます。
詳しくは本サイトの関連資料内にある、下記リンク先などをご覧下さい。
映像制作パイプラインと計算資源
https://a-film-production-technique-seminar.com/fppat/materials/ppi_phones_compute_resource/index.html
under construction...
■アウトソーシングと各種チェックの多様化
■Outsourcing and variety of checks diversified
under construction...