セルルック表現の会合内での話題
Topics within the meeting on cel-look expression
（株式会社ポリゴン・ピクチュアズ / スタジオフォンズ）
(Polygon Pictures Inc. / Studio Phones)
本資料は会合後にディスカッションされた内容をふまえ、課題を整理し会合を振り返るかたちで記載しています。
本資料は別会合での記録となります。今回の「クラフツマンシップとアーティストのテクニック20190202」に役立てる意味で、会合後にディスカッションされた内容をふまえ、課題を整理し会合を振り返るかたちで記載しています。
■概要
■Overview
高度化するインフラ技術を背景として、今回の会合ではモデレーターによる「セルルックパイプライン構築の基礎と応用 -インフラ面からの解説とプロシージャル処理-」の講演を通した過去会合までの概説やセルルック特有の課題の紹介に始まり、近年話題になることの多いプロシージャルとしての側面から、セルルックにおける課題や展望、映像制作パイプラインから見た問題意識などが話されました。
この資料では、講演時のモデレーター達の講演 後に展開された様々なディスカッションを今後への発展へと向けてまとめて行きたいと思います。
under construction...
■背景面でのアートワークの側面から
■From the aspect of artwork on the background
高速なCPUなどが比較的入手し易くなって来た現代の現状をはらむかたちで、新しいブラシツールや対話的ツールへの可能性なども話し合われたなか、映像制作として集団作業とそれを支えるパイプラインのデザインとインフラ構築の課題を同時にディスカッションしていく、そのような展開が見られていたように思われました。そこでは、例えばサーバーサイドでテクスチャーを生成しつつ背景制作でのアートワークへ迅速に用いていけるといった事柄や、背景アーティスト全体でのカラーパレットの共有や管理体制構築、アートディレクション上の意思決定のために必要なレビューシステムに各背景アーティストの進捗状況を明示していくかなど、実運用を意識した深い課題が議題に上っていました。
under construction...
■レイアウトやアニマティクスなどへの活用の視点から
■From the viewpoint of utilization for layout and animatics etc.
会合時には、シリーズ化したアニメ制作や、アクションシーンを多用するアニメ制作を行う上での工夫などの紹介もあり、そこで共通化されたワークフローに関してのパイプライン上での自動化処理への展望や、より深くアーティストが今制作している各アーティストで連携性を高めていくための工夫は出来ないかなど、様々な観点での課題や展望が話し合われていました。
実際、アニメの制作に限らずセルルック表現は用いられており、ゲームやVTuberなどへの適用ももちろん盛んではあるのですが、今回の会合では背景アーティストが多数参加していたこともあって、比較的、尺の長いアニメ制作への実運用面での観点から、このように工夫出来ないか考えているなどといった直接的な問いかけも盛んに行われていました。会場には開発者も多く参加していることから、それらの問いかけに応えていくかたちでシステム面でのアイデアも展開され、アーティストのテクニックと映像制作パイプラインとしての再構築の観点で、アイデアの行き来が活発に繰り広げられていたように思われます。
under construction...
■レンダリングの側面から
■From the aspect of rendering
旧来のラスタライザー時代のテクニックを、現代で普及の進んだレイトレーサ主体のレンダリングにどのように持ち込んで行くか、また、近年普及の進んだプロシージャルなアプローチで、それらの内部的な計算をノードベースエディタなどでどのように扱って行くかなど、比較的技術的に高度な話題が会合中には紹介されていました。レイトレーサ時代の各種レンダリングでのサンプリングなどの計算過程を踏まえた上でどのようにアーティストの操作性を確保していくのか、など、過去に存在したレンダリングの各種手法やテクニックをどのようにしてアーティスト側への操作性として見直していくのかといった、込入った課題が議題のひとつとして上がっていました。
under construction...
■輪郭線などの処理から
■From processing such as contour lines
内製レンダラーを構築しているスタジオも数社参加頂けた会合となりました。その一つでは、リアルタイム処理とバッチ処理の双方でのレンダリングプロセスを深くスタジオでの制作向けにフィットさせていく内容が紹介されておりました。
等幅の輪郭線などをスクリーンスペースからの計算などで達成しつつ、フォトリアルな計算で扱う各種イルミネーションループを取り扱う仕組みへと統合していくといった、表現手法の幅を広げつつ高速な計算と描画上の操作性を目指した工夫が紹介されておりました。その他にも、リアルタイム処理でのハードウェア上での制約への苦戦の紹介などに加え、内製レンダラーでの実運用の課題紹介や、オープンソースのレンダラーの改変による制作での運用時の苦労したポイントなども紹介され、映像制作パイプライン上でのバージョン管理などの管理的側面と各種計算の両立に関する課題などが紹介されていました。
これらの状況から言えることは、インフラのデザインとパイプラインのデザインと画像生成に関する過去の各種技法の高速化と、そこに対する自由度を維持したままの統合という課題が浮かび上がっておりました。それらの課題は、その操作性をプロシージャルに扱えるパラダイムへの統合を模索すると同時に、レンダリング時の各種計算時の深い設定への自由度の達成が課題として出て来たように思われました。つまり、レンダリング単独での課題というよりは、サーバーアーキテクチャーやワークフロー全体の見直しを同時に行う課題としてそれらが議題に登り始めて来たと、モデレーター達は考えております。
もちろん、今回の会合に参加したスタジオの総数が10社に満たない程度であることから、実際には他のスタジオでの制作状況から生じる課題もあるので更に問題は複雑なものへと至ることとは思いますが、今回の会合では、サーバーサイド側での自由度とレンダリング時の輪郭線処理への課題に関して、多くのスタジオの問題意識が集まっていたと思われます。
単に求めたい画像を生成するだけでは実用上の意味を成し得ているかを評価し辛くなって来ているのが現代とも思え、会合中は様々な視点からディスカッションが活気よく展開されていました。
under construction...
■プロシージャルなアプローチとして
■As a procedural approach
機械学習や深層学習などよく話題になる手法以や各種最適化問題への汎用アルゴリズムなどの利用も、各スタジオ内でのトライアルとして今回幾つか紹介されておりました。日常的に様々なアルゴリズムや手法を随時取り替えつつ各社が各社のトライアルを進めていくなか、スタジオ内での研究開発時のトライアルから迅速に実際に制作面への持ち込みによる試行錯誤を支えていけるパラダイムの達成をインフラ構築の視点から考えていく傾向が見受けられました。
モデレーター達によるGo言語を用いたプロシージャル処理としての画像処理を通した基礎的チュートリアルのもと、スタジオ内での全ての処理系の中でのデータ処理へのパイプライン構築の可能性などが会合中での議題に上り、待機や計算開始などのdata pipline構築時に考えていく傾向のあるそれらの処理に関して、制作スタジオとして今後はどのようにそれらの操作性をプロシージャルに扱っていく意味で取り込んで行くかなど、ハードウェア面での検討事項なども踏まえた上で、今後の発展性に関してディスカッションが行われていました。
このセミナーシリーズでは日常的となったゲーム分野の開発者の参加により、ゲームなどのリアルタイム処理の要求されるレンダリング上の工夫に関しても言及が行われディスカッションが進んでいったことで、サーバーサイド上でのプロシージャルな処理の実現をリアルタイム処理とバッチ処理双方の処理の待機や計算開始なども扱う広い意味でのdata pipeline構築などの議題が会合中には行われており、ますます今後は、インフラデザインと画像生成の各種計算の融合が課題になっていく傾向を帯び始めていたように思われました。
under construction...
■マイクロバッチ的な処理によるリアルタイム性の高い処理系に関して
■On a processing system with high real-time performance by micro-batch processing
バッチ処理主体での高負荷計算を多用して来た映像制作分野の知見を生かしたまま、どのようにしてリアルタイム性の高い処理をそこに導入していくのか、そのような問題意識が今回の会合では議題に上っていました。それらはリアルタイム処理主体のゲームエンジンとも異なった形で旧来のバッチ処理の時間刻み幅を小さくする意味でリアルタイム性を達成して行きたいなどの案が話し合われており、その背景には、旧来の映像制作時のテクニックや知見などを維持したままリアルタイム性の高い制作環境を構築していく上での可能性の模索ということがあったように思われました。
これらは過去の会合で特集した「サーバーサイドでのプロシージャルモデリング」でディスカッションを重ねて来た視点と同様のものであるため、過去会合に参加していた参加者からのコメントも非常に積極的なアイデアを伴っており、ゲーム分野での各種処理系での開発時の工夫などに関するコメントも会合中に展開されていたことで、今回参加した各社は自社に合ったアプローチの模索を始めていくきっかけを得られていたのではないかと思われます。
under construction...
■過去資産の継承や持続性あるアセットの構築など
■Inheritance of past assets and construction of sustainable assets
過去の制作に用いたシェーダを近年の制作面での変化に持ち込めるよう継承を進めていく、これらのアプローチは会合中の講演でも随所に見られた傾向と言えました。映像制作分野では過去資産の継承や持続性あるアセットの構築などへのアプローチとして、MaterialXなどを利用した運用は自然と話題に出てはおりましたが、セルルックを扱うスタジオでは依然として重要と言える背景アーティストの用いるドローイングツールのブラシやマテリアル、コンポジット作業を行う際の各種設定なども含めたアセット管理をどのように考えていくかなど、今回の会合では背景アーティストが多数参加されたことで、実運用上の視点からその課題の根深さを参加者間でディスカッションしていけたように思われました。
under construction...
■ハードウェア的側面での今後など
■Future from the aspect of hardware
コンテナ技術の発展に伴い、NUMA(Non-uniform memory access)などへの対応やFPGAの導入への可能性などが会合中の議題に上っており、サーバーサイドに配置した各種プロシージャー間での迅速な通信などを扱う上でのgRPCへの関心など、ネットワーク面での技術革新やインフラ技術の進展とハードウェアの多様化に即したセルルックに関するレンダリング（会合中はセルルックに限定せず話題になった）などのよりアーティストサイドに自由度を獲得する上でのインフラ構築への各社のトライアルなども話題になっていました。
これらは集団作業としての映像制作に用いていく上で、長期的運用を前提としたアセット管理や進捗管理などとのシームレスな連携も達成していくことが望ましいため、サーバー側の啓作クラスターの稼働状況のモニタリングや自動化されたレポート生成などを達成しつつどのようにスタジオ内でこれらの機能を取り入れていくかなども議題に上っていました。
under construction...
■各社で課題をまとめていくことの意義
■Significance of summarizing issues at each company
under construction...