セルルックCGパイプラインとその課題
Cel-look CG pipeline and issues
（株式会社ポリゴン・ピクチュアズ / スタジオフォンズ）
(Polygon Pictures Inc. / Studio Phones)
本資料は会合後にディスカッションされた内容を踏まえ記載しています。今後の会合の状況を見つつ加筆修正を含めブラッシュアップを進めていく予定です。
This material is written based on content discussed in previously held sessions. We plan on brushing up the content of this material and making revisions as we hold future sessions.
translated by PPI Translation Team
■背景
■Background
セルルックCGは、日本がアニメ制作のなかで国際的な評価を得られている、精巧な手作業と創造性を同時に扱える面白さがあるなど、様々な理由で日本では現在注力されいるアニメーション表現領域ではないかと思われます。
それらはもともと、手描きのセル画時代からのルックをCGで再現することをベースとすることから始まり、模倣的に発展して来た時代を経て、近年では、フォトリアルなCGでの技法をノンフォトリアルのひとつの領域であるセルルック表現のなかで用いることによる発展の期待もあり、一方で、大規模制作、海外展開などの視点から、セルルックCGのパイプライン構築という大きな課題が会合中多くのディスカッションを生んだように思われます。
そこで本資料では、関連資料の「2017年までのセルルック表現の基礎の振り返り」での整理と考察を行なった上で、セルルックならではのパイプライン構築の課題や、そこで求められるインフラ面の要件について再考して行きたいと思います。
2017年までのセルルック表現の基礎の振り返り
https://a-film-production-technique-seminar.com/fppat/materials/ppi_phones_cel_look_2017/index.html
Cel-look CG is a style of animation that has received international acclaim among anime in Japan, and whose production is alluring in that it requires simultaneously managing elaborate craftsmanship and creativity. For this and many other reasons, the cel-look CG style of animation is currently receiving a large amount of attention in Japan.
This style originated as an attempt to recreate the look of hand-drawn cel-era animation using CG. It passed through a period in which it developed through imitation, and is expected to continue to progress due to the introduction in recent years of photorealistic CG techniques into non-photorealistic CG, of which cel-look is one particular style. Furthermore, the large question of the cel-look CG pipeline's construction in context of large-scale production and international expansion brought about many discussions during the sessions.
This document will take into consideration and make revisions to the related document A Review of Cel-Look Anime Visuals Until 2017, and then continue to reconsider future challenges particular to the construction of the cel-look pipeline, and the infrastructure requirements necessary to accomplish this.
A review of Cel-look style basis until 2017
https://a-film-production-technique-seminar.com/fppat/materials/ppi_phones_cel_look_2017/index.html
■パイプライン構築の視点から見たセルルックについて
■Cel-look from the viewpoint of pipeline construction
CGによる表現スタイルには大きく分けてフォトリアルとノンフォトリアルに分けて考えていくことが出来ます。フォトリアルな表現は様々な発展を遂げて来ていますが、旧来のフォトリアルなCGを駆使した映画などの制作では、多くテクニックがそこで活躍の場を得てきたように思います。それらはノンフォトリアルな表現手法に比べると比較的トリックの度合いが薄いと思われるかもしれませんが、スタジオで保有して育ったノウハウとしてはそれらのトリックやTIPS的なノウハウの方が有効であったのではないかとも考えられます。
ノンフォトリアルな表現として発展したCG面の数々のテクニックは、漫画、イラスト、スケッチ、水彩、油絵、水墨画、ドット絵といった、多様な表現手法を扱うなかで発展してきており、それらは個性的な技法とノウハウをスタジオにもたらしたように考えています。逆に言えば、それらのノウハウを現代的な技術と融和させることで、インフラやパイプラインシステムの構築も含めて活用していく仕組みを築いていくことは、スタジオでのパイプライン構築とインフラ設計にとっての大きな課題のひとつであると認識しています。
一方、アニメという日本を代表する映像分野のCG映像制作においては、リミティッドアニメーションと呼ばれているコマ落ちのタイミングなど、手書きのアニメに近づけていくアニメーション手法や、自由なパース感覚による形状の変形、手描きの作画のような輪郭線をCGで再現するといったように、近年では様々な発展を続けています。
しかしながら、それらはまだまだ職人的なスキルに依存した部分もあり、計算による自動化や効率化が難しい点も多く残っています。またレンダリング後の合成作業での2D的な画像処理による絵作りを行うために、通常のレンダリングが画像以外に様々なバッファ画像を一緒にレンダリングし、それらをレンダリング画像にAOVとして含めるかたちで、exrなどの多くの階層で情報を抱えられる画像フォーマットを多用する傾向になっています。当然ながら多くの情報量を持ったexrフォーマットはデータ量が肥大し、ストレージ要求もさることながら、進捗管理や工程設計でも効率的な制作のためにはまだまだ検討の余地を残しています。
課題を解決していく過程では、アナログ時代から伝統的に培われてきたワークフローや慣習に固執することなく、大胆にワークフローを変更する発想が重要ではないかと思います。
CG animation styles can be broadly divided into the categories photorealistic and non-photorealistic. While the photorealistic style has gone through many developments, one can say that the production of movies that widely use traditional photorealistic CG gave photorealistic techniques a stage on which they could play an important role. Compared with non-photorealistic techniques, one may be lead to believe that the extent of the latter's tricks are limited. However, non-photorealistic CG’s tricks and workarounds, which were maintained and fostered within studios, can be considered more effective in their respective environment.
Many CG techniques developed as non-photorealistic expressions were created when handling a diverse range of styles, like manga, illustration, sketches, watercolor paintings, oil paintings, ink wash paintings, and pixel art. These styles each brought distinct techniques and know-how to the studio. Looked at from another perspective, reconciling this know-how with modern techniques by constructing a practical system, including infrastructure and pipeline construction, is something we recognize as one of the major future challenges in pipeline creation and infrastructure design within animation studios.
Furthermore, many developments continue to be made in recent years in the production of CG in the anime genre, a field of media that represents Japan. These include the timing that frames are dropped in limited animation and other techniques that make CG animation look closer to hand-drawn animation. Other developments include the deformation of shapes as a result of free perspectives, and the recreation in CG of outlines as seen in hand-drawn 2D cel animation. However, various aspects of these techniques still rely on the skill of individual artists, which makes it difficult to automate and optimize in many areas. Also, when rendering, many buffer images are rendered along with the original image, which are used during compositing to create pictures using 2D-like treatments. These buffer images are all included as AOVs within the render image, leading to the use of image formats that can hold information in many layers, like exr. Of course, exr-formatted files which hold large amounts of information end up increasing in size. Disregarding demands for storage, there is still much left to be investigated in order to make production efficient by improving how progress is managed and how each phase is planned.
In the process of handling these challenges, we believe that we should not adhere to workflows or customs left as tradition from the analog era, and that ideas that boldly change the workflow are crucial.
■セルルックでの計算クラスターについて
■About calculation clusters in Cel-look
一般的にセルルックCGのレンダリングでは、基本的にはセルの領域を判定することが主な処理となるため、シェーディングにかかる計算時間は、フォトリアルなCGと比較して軽いレンダリングとなっています。しかしながら、多様な処理をバッファとして出力するため、処理のなかで多くのメモリを消費する場合があります。
またレイトレースをベースとしたレンダラーで輪郭線を描画しようとする際には、輪郭線のフレーム間でのフリッカーや線そのものを綺麗に描画するために、レイトレースのサンプル数の値を大きくする必要もあり、レンダリング時間が長くなってしまうこともあります。またレンダラーやシェーダーのアルゴリズムによっては、メニーコアなマシンを割り当てて計算しようとしても、マルチスレッドに対する対応が不十分なケースもあり、そこにはセルルックと現在主流のパストレース、レイトレースベースのレンダラーとの相性の悪さがあります。
In rendering cel-look CG, the main process is generally judging the area of cels, so the amount of time spent computing shading is relatively short compared to photorealistic CG. However, many image treatments are output as buffers, meaning that large amounts of memory may be spent on these processes.
Also, when utilizing renderers that use ray tracing to draw outlines, the number of ray trace samples needs to be raised to a high value to rectify outlines flickering between frames, or to draw clean outlines, each of which extends time spent on rendering. Further, there are cases in which the renderer’s and shader's algorithms do not provide adequate support for multi thread computing, leading to problems when rendering with multi-core machines. The cel look and currently mainstream rendering techniques like path tracing and ray tracing may be considered incompatible in this sense.
■セルルック特有なワークフローでの課題
■Challenges in Cel-look-specific workflow
セルルックCG特有なワークフローとしてまずモデリングの手法が特殊な点があげられます。セルルックの表現では、単にモデルをデザイン画に合わせるかたちで形状をつくるだけでは、望むようなレンダリング結果を得ることはできません。セルルックの表現ははセルシェーディングと輪郭線で構成されるため、狙った場所に輪郭線が描画されるように、モデリング段階からそれらを意識しながら形状を作成していく必要があります。
例えば、鼻筋に輪郭線を描画させるために極端に細く鼻をモデリングするといったことがあります。また、輪郭線の情報を毎回レンダリングして確認を行うのはかなり非効率なため、作業を行うビューポート上で最終的なレンダリング画像に近しい状態をリアルタイム確認できるような仕組みがあると、非常に効率的です。
鼻筋を細くしたモデリング
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
リアルタイムにシェーディングや輪郭線が確認できるビューポート
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
しかしながら、セルルック特有のモデリング手法は経験値が必要な作業でもあり、現在はアーティストの力量に頼ったワークフローとなっています。また作品のスタイルによっても微調整が入るため、なかなかツール化も難しい側面があります。
セルルックCGでは背景に2Dの美術画像を多様しますが、3DCGではカメラがダイナミックにアニメーションすることもあるため、カメラワークに合ったかたちの背景美術を描く必要があります。
原図と背景美術
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
ワークフロー上の課題として、TVシリーズのような映像の場合、1話あたり300前後のショット数があるため、そのすべてとはいかないまでも、数百枚の原図と背景美術が必要になります。背景美術は基本的に手描きであるため時間がかかるものもあり、スケジュールに影響を与えやすい工程となっています。なるべくワークフロー全体の早い段階から背景美術の制作を開始したい希望がありますが、背景美術のもととなる原図は、そのショットでのカメラワークが確定しないと原図を作成することができないため、常に背景美術制作のスケジュールがタイトになってしまいます。
背景美術の制作は手描きという特性から、なかなかツール化などもし辛い作業となりますが、逆にこの工程での自動化や効率化進むことは、ワークフロー全体によい効果をもたらすことに繋がります。
もうひとつセルルックCG特有な工程として、2Dセルアニメ時代から伝統的に続く、色彩設計という工程があります。各セルの配色をパレットという形式で指定していく作業となりまりますが、これらはシーンや場面ごとに配色を微妙に変更していきます。
標準配色のカラーパレット
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
シーンに合わせて調整されたカラーパレット
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
これらのパレットは各シーンごとに配色を変更したり、同じ場面でも明るい場所と暗い場所でパレットを変更したりもします。そのためTVシリーズなどでは、パレットの数が何百枚という枚数になることもあり、それらのデータの管理やシェーダーとのマッピングなど、作業が煩雑になりがちです。
基本的にはシーン全体に対してカラーコレクションとよばれる色を調整する作業をかけていくことになりますが、色彩設計のスタッフの感性やアーティスィックな面を反映させるという点で、パレットの各色単位での変更もあり、自動化が難しい箇所があることから、手間がかかっているのが現状です。
またこれらカラーパレットによるセル色の決定を3DCG上でも再現するという試みは、日本独特の手法であるともいえ、ワークフローの設計からシェーダー開発まで、試行錯誤を繰り返しながら発展してきた分野であるともいえます。
ポリゴン・ピクチュアズではセルルックCGの作品を継続して制作していくなかで、徐々にワークフロー上の課題に取り組み、現在ではカラーパレットを使わずに、それと同様な機能を合成時にカラーコレクションとして行うことでワークフローを改善し、コストを低減させていているといった話が会合内でありました。
シーン内でのカラーバランスなどの意味合いでこれらを見ていく場合は、機械学習などを利用して、ディレクティブなカラーバランスの指定でのフィッティングとしてのカラーバラシングなどの可能性もあるのではないかと、会合後参加者からの意見も出ていました。これら職人芸的ワークフローには今後も自動化の推進が強まって行くとは思われますが、演出可能なパラダイムでの展開が業界には有効と思われ、今後制作時に扱う全ての対象でのこれらの演出性の追求と自動化の混成は進んで行くように思われます。今後の会合でこれらの題材はトピックスとしても面白いようにも思われました。
Firstly, one process whose methods are unique to the workflow of cel-look CG is modeling. In cel-style animation, creating shapes simply by modeling based on a design image will not lead to the desired rendering results. Because the cel look is composed of cel shading and outlines, it is necessary to construct shapes during modeling so that outlines appear in their desired locations.
For example, noses are sometimes modeled to be extremely thin in order to draw outlines on the bridge of the nose. Also, it is very inefficient to render and check outlines multiple times. Therefore, it would be much more efficient if there was a system to check images in real time that are close to the final rendered image in the viewport, where work is done.
A model with a thin nose bridge.
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
A viewport in which shading and silhouettes can be checked in real time.
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
However, there are modeling techniques specific to the cel look that rely on modelers' experience, and the workflow is currently reliant upon individual artists' skill. Furthermore, minor differences exist based on each project's style, making it challenging to create tools for these types of work.
Backgrounds in cel-look CG make wide use of 2D background paintings, but cameras in 3D CG are occasionally animated dynamically, in which case background paintings need to be created to suit the camera work.
A layout diagram and background painting
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
Another area to be developed in the cel-look workflow is the production of background paintings. In productions like TV series, a single episodes has around three hundred shots, and even if all of these do not require a unique background, it still generally requires several hundred layout diagrams (sometimes referred to as genzu) and background paintings. Background paintings are generally hand-drawn meaning some of them may require extra time, and their creation can easily affect an entire project's schedule. It is desirable to start work on background paintings as early as possible, but it is not possible to create genzu, which are the base of background paintings, if their corresponding shot's camerawork is not finalized. For this reason, the production of background paintings always runs on a tight schedule.
Because background paintings are often created by hand, it is difficult to create tools to aid their production. However, if parts of this process were automated or optimized, it would have a positive effect on the workflow in general.
Another phase in the workflow specific to cel-look CG is color design, which has continued as a tradition from 2D cel anime. In this phase, the color scheme of each cel is specified in a form called a pallette, and these color schemes vary minutely between scenes and locations.
A color palette for a standard color scheme.
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
A color pallette adjusted to fit a specific scene.
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
The color schemes in each of these palettes are adjusted for each scene, as well as for bright and dark places within individual scenes. Hundreds of these color palettes may be created for works like TV series, so managing their data and mapping shaders tends to be a complex task.
Generally speaking, adjustments are made to an entire scene's coloring in a process called color correction. Here, changes are at times made to single colors in a palette to reflect the staff's sensibilities or for artistic reasons. Because of this, automation of the process is challenging, and the process requires time.
Endeavoring to use color palettes to decide the colors of cels in even 3D CG may itself be a method exclusive to Japan. The method, from its workflow to the development of shaders, was created through repeated trial and error.
While continuing to create cel-look CG productions in Polygon Pictures, we have constantly grappled with parts of workflows that need further development. During our sessions, we discussed how we were not currently using color palettes, rather improving our workflow and reducing costs by incorporating a system with the same function during color correction in compositing.
After the sessions were held, participants stated that, when viewed from the perspective of color balancing in a scene, it may be possible to make use of machine learning for color balancing by fitting to a specified directive color balance. Further progress is expected to be made in the future in automating artisanal workflows like these, but we believe that developing under a paradigm that is capable of handling creative direction would be most useful for the industry. We believe that every area handled in future productions will continue to follow both the pursuit of creative direction and incorporation of automation. We thought these subjects would make for interesting topics in future sessions.
■セルルックパイプラインインフラでの課題
■Challenges in Cel-look-pipeline infrastructure
セルルックCGのパイプラインインフラで大きな課題となるのは、レンダリング時に多くの画像情報を出力し、合成時にそれらの画像を組み合わせることによって絵作りを行なっている点です。スタジオによってその量に差はありますが、通常のレンダリング画像以外に、ポストエフェクト処理をかける際に必要となる情報の画像を出力するケースが多いです。
出力される画像
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
ポリゴン・ピクチュアズでのフローを例にすると、AOVと呼ばれるこれらの情報の画像を、一度のレンダリングで20〜30種類出力することもあります。AOVを階層的に格納するOpenEXRという画像フォーマットを採用していますが、1フレーム辺りの画像ファイルのサイズが数MB〜数十MBになることもしばしばあり、ストレージ容量面での負荷が高くなります。
またこれらの画像を社内のファイルサーバーなどで運用している場合、合成を行う各アーティストは、ファイルサーバーからこの階層化された画像ファイルを複数同時に読み込みながら作業することとなるため、ストレージシステムのI/O性能に与える負荷はかなり高いものとなります。
今後はさらにコンテンツの解像度が高解像度化されていくことが予想されていますので、これらの負荷は年々増加する傾向にあると言えます。ストレージシステムの性能が不足すると、アーティストマシン上での処理速度が低下し、アーティストのストレスや生産性の低下にもつながります。
現在はセルルック的な絵作りをしていくうえで、必要な情報ではありますが、これらを合成時に行うというワークフローにも課題があるといる意見も会合中聞かれ、なるべくキャッシュ化、ファイル化しなくても済むように、レンダリング時に同様な処理が行えるようにすることも必要かもしれません。
フォトリアルなレンダリングが合成によるトリックによる絵作りから、レンダリング時に多少計算コストをかけて合成時の処理を極力減らす方向へとシフトしているなか、ノンフォトリアルな中でのセルルックレンダリングでは、それに逆行したかたちとなっていますが、これらはポスト処理による絵作りが中心のノンフォトリアルな絵作り特有な課題とも思われ、インフラ面での設計もふくめて今後解決していくべき課題であると考えています。
One aspect that requires further development in cel-look CG's pipeline infrastructure is related to compositing. A large amount of image information is output during rendering, which is then put together as a picture during compositing. The amount of information added at this point varies among studios, but in many cases the necessary information is output as images for adding post effects.
Output images.
©︎TSUTOMU NIHEI・KODANSHA／KOS PRODUCTION COMMITTEE
Using Polygon Picture's flow as an example, we see that these types of image information, called AOVs, output twenty to thirty different types of images in a single render. We use a file format called OpenEXR that stores AOVs in layers, but in many cases the file size of a single frame ranges from several MBs to several tens of MBs, which puts a large burden on storage.
Also, when using these images in-house, each compositing artist loads multiple layered images simultaneously from the file server in order to work on them, which puts a large burden on the storage system's I/O performance.
The image quality of future content is expected to increase continuously, meaning these types of burdens will also increase with every year. If the storage system's performance is lacking, the processing speed of artists' machines will decrease, leading to additional stress on artists and a decrease in their productivity.
While these elements currently provide us with sufficient information to create cel-look images, during the sessions, participants expressed that improvements could be made to the current workflow where these functions are performed in compositing. It may be necessary to avoid caching and storing this information in files as much as possible, and to incorporate these processes into rendering instead.
Rendering in photorealistic productions is shifting away from creating pictures using tricks in compositing, and towards spending slightly more resources when rendering to greatly reduce the amount of treatments done in compositing. Rendering in cel-look productions, a type of non-photorealistic production, currently resists this trend. Because picture creation in non-photorealistic productions relies heavily on treatments in post-production, this challenge can be considered specific to non-photorealistic productions. It is a challenge that needs to be addressed in the future, including when constructing infrastructure.
■セルルックCGパイプラインでの今後の課題
■Future challenges in Cel-look CG pipeline and issues
アーティスト側の直感的な操作性を加味して、いかにしてインフラ内での工夫によりそれらをアーティストにその存在を気づかせぬように支えていくか、また、様々なアイデアがプリプロ段階だけでなくプロダクション段階でも展開されることから、プリプロサーバとプロダクションサーバの融合も課題となり、その本質的な機能を如何にしてサーバ内で設計していくかなど、難度の高い課題がそこには存在しています。
また、職人芸がまだまだ完全にはCG上の技術として展開しきれていない、または、実現できてもコストが高く継続的に支えていかないなど、様々な課題を残しているこれらの領域では、益々UI/UXと、計算クラスターのスケジューラや高頻度アクセスストレージの高度な統合が課題と言え、アーティストのアイデアがインフラ上の技術の展開で増えていくことも予想されることから、今後激しい技術展開が行われていくと見込みます。
また、欧米やアジアなど諸外国においても近年はアニメの制作も活気があり、そこでは各国特有の展開としての新たな表現も増え始めています。OSLなど、レイトレーサとしてフィットさせ発展してきたシェーダ言語においてもラスタライザ時代のテクニックを加味していく傾向も徐々に見られている現状を考えれば、今後のセルルック表現や手書きのアニメの技術の融合には、レンダラーそのものの進展と同時に、それらを支えるインフラレベルでの改革が重要になるとモデレーターは考えています。
会合中、スタジオフォンズからはOSL拡張としてのラスタライザ時代の様々なテクニックのレイトレーサ内への適用が展開されていましたが、そこでは旧来のレイトレーサからすると見慣れない設定での計算なども充実しており、インフラ内で計算クラスタへ柔軟にタスクを投げていくための様々な工夫が行われていました。それらの傾向を総合すると、あくまで二社としての事例の中であっても多様なテクニックの展開が見られ、レンダリングやポストプロセスへのインフラに関しての議論は、アセットサーバへのリファレンシング時のIOに関する要求などといった、広範囲なインフラ側での技術面の議論が行われていました。
その背景には、近年の商用クラウドやパブリッククラウドのもたらした技術上の発展による、新たな表現上の可能性といったものが大きくあることも話されました。
今後の会合では、これらの視点を背景に、より深いアーティストサイドのアイデアとそれを支えていくインフラ、という、一つの構図を意識したいとモデレーターでは思っています。
There are many difficult challenges that need to be addressed, like adjusting our infrastructure to support artists' intuitive use of our tools without inhibiting their work. Separately, many ideas are created during production, not just pre-production. This brings into question how to integrate pre-production servers and production servers, and how to plan their fundamental functions within the server.
There are many areas with much room left for development, like artisanal techniques that have not been completely recreated in CG, as well as ones whose applications are too costly to support. Topics like UI/UX, scheduling for the render cluster, and the high-end integration of frequent access storage each require further development. Technological developments within our infrastructure are expected to increase the amount of ideas artists are able to develop, so we expect technology to develop fiercely in the future.
The production of anime in countries outside of Japan, including in North America and Asia has increased dramatically in recent years. As a result, the number of new styles particular to individual countries has started to increase. Even shader languages like OSL which were developed to work with ray tracing tend to take rasterization-era techniques into consideration. This trend is now becoming gradually apparent, and the moderator of this session believes that in order to unite the cel look style and hand-drawn anime techniques, a reform at the level of infrastructure must occur simultaneously with developments in renderers themselves.
During our sessions, Studio Phones stated that they adopted rasterization-era techniques with ray tracers as a part of expanding on OSL. However, using traditional ray tracers required many calculations using unfamiliar settings, and they had to make many adjustments to the infrastructure in order to be able to flexibly send tasks to the render cluster. Even if the scope of our sessions is limited to our two companies, by comparing each of our company's trends, we were able to visualize the development of a diverse number of techniques. Discussions were held about the infrastructure for rendering and post-production, which included far-reaching talks about the technical aspects of infrastructure, for example IO demands when referencing on the asset server.
ワークフロー上の課題として、TVシリーズのような映像の場合、1話あたり300前後のショット数があるため、そのすべてとはいかないまでも、数百枚の原図と背景美術が必要になります。背景美術は基本的に手描きであるため時間がかかるものもあり、スケジュールに影響を与えやすい工程となっています。なるべくワークフロー全体の早い段階から背景美術の制作を開始したい希望がありますが、背景美術のもととなる原図は、そのショットでのカメラワークが確定しないと原図を作成することができないため、常に背景美術制作のスケジュールがタイトになってしまいます。
背景美術の制作は手描きという特性から、なかなかツール化などもし辛い作業となりますが、逆にこの工程での自動化や効率化進むことは、ワークフロー全体によい効果をもたらすことに繋がります。
もうひとつセルルックCG特有な工程として、2Dセルアニメ時代から伝統的に続く、色彩設計という工程があります。各セルの配色をパレットという形式で指定していく作業となりまりますが、これらはシーンや場面ごとに配色を微妙に変更していきます。
基本的にはシーン全体に対してカラーコレクションとよばれる色を調整する作業をかけていくことになりますが、色彩設計のスタッフの感性やアーティスィックな面を反映させるという点で、パレットの各色単位での変更もあり、自動化が難しい箇所があることから、手間がかかっているのが現状です。
またこれらカラーパレットによるセル色の決定を3DCG上でも再現するという試みは、日本独特の手法であるともいえ、ワークフローの設計からシェーダー開発まで、試行錯誤を繰り返しながら発展してきた分野であるともいえます。
ポリゴン・ピクチュアズではセルルックCGの作品を継続して制作していくなかで、徐々にワークフロー上の課題に取り組み、現在ではカラーパレットを使わずに、それと同様な機能を合成時にカラーコレクションとして行うことでワークフローを改善し、コストを低減させていているといった話が会合内でありました。
シーン内でのカラーバランスなどの意味合いでこれらを見ていく場合は、機械学習などを利用して、ディレクティブなカラーバランスの指定でのフィッティングとしてのカラーバラシングなどの可能性もあるのではないかと、会合後参加者からの意見も出ていました。これら職人芸的ワークフローには今後も自動化の推進が強まって行くとは思われますが、演出可能なパラダイムでの展開が業界には有効と思われ、今後制作時に扱う全ての対象でのこれらの演出性の追求と自動化の混成は進んで行くように思われます。今後の会合でこれらの題材はトピックスとしても面白いようにも思われました。
Firstly, one process whose methods are unique to the workflow of cel-look CG is modeling. In cel-style animation, creating shapes simply by modeling based on a design image will not lead to the desired rendering results. Because the cel look is composed of cel shading and outlines, it is necessary to construct shapes during modeling so that outlines appear in their desired locations.
For example, noses are sometimes modeled to be extremely thin in order to draw outlines on the bridge of the nose. Also, it is very inefficient to render and check outlines multiple times. Therefore, it would be much more efficient if there was a system to check images in real time that are close to the final rendered image in the viewport, where work is done.
Backgrounds in cel-look CG make wide use of 2D background paintings, but cameras in 3D CG are occasionally animated dynamically, in which case background paintings need to be created to suit the camera work.
Another area to be developed in the cel-look workflow is the production of background paintings. In productions like TV series, a single episodes has around three hundred shots, and even if all of these do not require a unique background, it still generally requires several hundred layout diagrams (sometimes referred to as genzu) and background paintings. Background paintings are generally hand-drawn meaning some of them may require extra time, and their creation can easily affect an entire project's schedule. It is desirable to start work on background paintings as early as possible, but it is not possible to create genzu, which are the base of background paintings, if their corresponding shot's camerawork is not finalized. For this reason, the production of background paintings always runs on a tight schedule.
Because background paintings are often created by hand, it is difficult to create tools to aid their production. However, if parts of this process were automated or optimized, it would have a positive effect on the workflow in general.
Another phase in the workflow specific to cel-look CG is color design, which has continued as a tradition from 2D cel anime. In this phase, the color scheme of each cel is specified in a form called a pallette, and these color schemes vary minutely between scenes and locations.
The color schemes in each of these palettes are adjusted for each scene, as well as for bright and dark places within individual scenes. Hundreds of these color palettes may be created for works like TV series, so managing their data and mapping shaders tends to be a complex task.
Generally speaking, adjustments are made to an entire scene's coloring in a process called color correction. Here, changes are at times made to single colors in a palette to reflect the staff's sensibilities or for artistic reasons. Because of this, automation of the process is challenging, and the process requires time.
Endeavoring to use color palettes to decide the colors of cels in even 3D CG may itself be a method exclusive to Japan. The method, from its workflow to the development of shaders, was created through repeated trial and error.
While continuing to create cel-look CG productions in Polygon Pictures, we have constantly grappled with parts of workflows that need further development. During our sessions, we discussed how we were not currently using color palettes, rather improving our workflow and reducing costs by incorporating a system with the same function during color correction in compositing.
After the sessions were held, participants stated that, when viewed from the perspective of color balancing in a scene, it may be possible to make use of machine learning for color balancing by fitting to a specified directive color balance. Further progress is expected to be made in the future in automating artisanal workflows like these, but we believe that developing under a paradigm that is capable of handling creative direction would be most useful for the industry. We believe that every area handled in future productions will continue to follow both the pursuit of creative direction and incorporation of automation. We thought these subjects would make for interesting topics in future sessions.
セルルックCGのパイプラインインフラで大きな課題となるのは、レンダリング時に多くの画像情報を出力し、合成時にそれらの画像を組み合わせることによって絵作りを行なっている点です。スタジオによってその量に差はありますが、通常のレンダリング画像以外に、ポストエフェクト処理をかける際に必要となる情報の画像を出力するケースが多いです。
ポリゴン・ピクチュアズでのフローを例にすると、AOVと呼ばれるこれらの情報の画像を、一度のレンダリングで20〜30種類出力することもあります。AOVを階層的に格納するOpenEXRという画像フォーマットを採用していますが、1フレーム辺りの画像ファイルのサイズが数MB〜数十MBになることもしばしばあり、ストレージ容量面での負荷が高くなります。
またこれらの画像を社内のファイルサーバーなどで運用している場合、合成を行う各アーティストは、ファイルサーバーからこの階層化された画像ファイルを複数同時に読み込みながら作業することとなるため、ストレージシステムのI/O性能に与える負荷はかなり高いものとなります。
今後はさらにコンテンツの解像度が高解像度化されていくことが予想されていますので、これらの負荷は年々増加する傾向にあると言えます。ストレージシステムの性能が不足すると、アーティストマシン上での処理速度が低下し、アーティストのストレスや生産性の低下にもつながります。
現在はセルルック的な絵作りをしていくうえで、必要な情報ではありますが、これらを合成時に行うというワークフローにも課題があるといる意見も会合中聞かれ、なるべくキャッシュ化、ファイル化しなくても済むように、レンダリング時に同様な処理が行えるようにすることも必要かもしれません。
フォトリアルなレンダリングが合成によるトリックによる絵作りから、レンダリング時に多少計算コストをかけて合成時の処理を極力減らす方向へとシフトしているなか、ノンフォトリアルな中でのセルルックレンダリングでは、それに逆行したかたちとなっていますが、これらはポスト処理による絵作りが中心のノンフォトリアルな絵作り特有な課題とも思われ、インフラ面での設計もふくめて今後解決していくべき課題であると考えています。
One aspect that requires further development in cel-look CG's pipeline infrastructure is related to compositing. A large amount of image information is output during rendering, which is then put together as a picture during compositing. The amount of information added at this point varies among studios, but in many cases the necessary information is output as images for adding post effects.
Using Polygon Picture's flow as an example, we see that these types of image information, called AOVs, output twenty to thirty different types of images in a single render. We use a file format called OpenEXR that stores AOVs in layers, but in many cases the file size of a single frame ranges from several MBs to several tens of MBs, which puts a large burden on storage.
Also, when using these images in-house, each compositing artist loads multiple layered images simultaneously from the file server in order to work on them, which puts a large burden on the storage system's I/O performance.
The image quality of future content is expected to increase continuously, meaning these types of burdens will also increase with every year. If the storage system's performance is lacking, the processing speed of artists' machines will decrease, leading to additional stress on artists and a decrease in their productivity.
While these elements currently provide us with sufficient information to create cel-look images, during the sessions, participants expressed that improvements could be made to the current workflow where these functions are performed in compositing. It may be necessary to avoid caching and storing this information in files as much as possible, and to incorporate these processes into rendering instead.
Rendering in photorealistic productions is shifting away from creating pictures using tricks in compositing, and towards spending slightly more resources when rendering to greatly reduce the amount of treatments done in compositing. Rendering in cel-look productions, a type of non-photorealistic production, currently resists this trend. Because picture creation in non-photorealistic productions relies heavily on treatments in post-production, this challenge can be considered specific to non-photorealistic productions. It is a challenge that needs to be addressed in the future, including when constructing infrastructure.
アーティスト側の直感的な操作性を加味して、いかにしてインフラ内での工夫によりそれらをアーティストにその存在を気づかせぬように支えていくか、また、様々なアイデアがプリプロ段階だけでなくプロダクション段階でも展開されることから、プリプロサーバとプロダクションサーバの融合も課題となり、その本質的な機能を如何にしてサーバ内で設計していくかなど、難度の高い課題がそこには存在しています。
また、職人芸がまだまだ完全にはCG上の技術として展開しきれていない、または、実現できてもコストが高く継続的に支えていかないなど、様々な課題を残しているこれらの領域では、益々UI/UXと、計算クラスターのスケジューラや高頻度アクセスストレージの高度な統合が課題と言え、アーティストのアイデアがインフラ上の技術の展開で増えていくことも予想されることから、今後激しい技術展開が行われていくと見込みます。
また、欧米やアジアなど諸外国においても近年はアニメの制作も活気があり、そこでは各国特有の展開としての新たな表現も増え始めています。OSLなど、レイトレーサとしてフィットさせ発展してきたシェーダ言語においてもラスタライザ時代のテクニックを加味していく傾向も徐々に見られている現状を考えれば、今後のセルルック表現や手書きのアニメの技術の融合には、レンダラーそのものの進展と同時に、それらを支えるインフラレベルでの改革が重要になるとモデレーターは考えています。
会合中、スタジオフォンズからはOSL拡張としてのラスタライザ時代の様々なテクニックのレイトレーサ内への適用が展開されていましたが、そこでは旧来のレイトレーサからすると見慣れない設定での計算なども充実しており、インフラ内で計算クラスタへ柔軟にタスクを投げていくための様々な工夫が行われていました。それらの傾向を総合すると、あくまで二社としての事例の中であっても多様なテクニックの展開が見られ、レンダリングやポストプロセスへのインフラに関しての議論は、アセットサーバへのリファレンシング時のIOに関する要求などといった、広範囲なインフラ側での技術面の議論が行われていました。
その背景には、近年の商用クラウドやパブリッククラウドのもたらした技術上の発展による、新たな表現上の可能性といったものが大きくあることも話されました。
今後の会合では、これらの視点を背景に、より深いアーティストサイドのアイデアとそれを支えていくインフラ、という、一つの構図を意識したいとモデレーターでは思っています。
There are many difficult challenges that need to be addressed, like adjusting our infrastructure to support artists' intuitive use of our tools without inhibiting their work. Separately, many ideas are created during production, not just pre-production. This brings into question how to integrate pre-production servers and production servers, and how to plan their fundamental functions within the server.
There are many areas with much room left for development, like artisanal techniques that have not been completely recreated in CG, as well as ones whose applications are too costly to support. Topics like UI/UX, scheduling for the render cluster, and the high-end integration of frequent access storage each require further development. Technological developments within our infrastructure are expected to increase the amount of ideas artists are able to develop, so we expect technology to develop fiercely in the future.
The production of anime in countries outside of Japan, including in North America and Asia has increased dramatically in recent years. As a result, the number of new styles particular to individual countries has started to increase. Even shader languages like OSL which were developed to work with ray tracing tend to take rasterization-era techniques into consideration. This trend is now becoming gradually apparent, and the moderator of this session believes that in order to unite the cel look style and hand-drawn anime techniques, a reform at the level of infrastructure must occur simultaneously with developments in renderers themselves.
During our sessions, Studio Phones stated that they adopted rasterization-era techniques with ray tracers as a part of expanding on OSL. However, using traditional ray tracers required many calculations using unfamiliar settings, and they had to make many adjustments to the infrastructure in order to be able to flexibly send tasks to the render cluster. Even if the scope of our sessions is limited to our two companies, by comparing each of our company's trends, we were able to visualize the development of a diverse number of techniques. Discussions were held about the infrastructure for rendering and post-production, which included far-reaching talks about the technical aspects of infrastructure, for example IO demands when referencing on the asset server.