Virtual Production バーチャルプロダクションとは
バーチャルプロダクション Virtual Production
撮影(Production)現場にバーチャル(CG)を持ち込む技術
様々な技術を組み合わせていくと
今までにない表現が可能になる合成、ポスプロのワークフロー、パイプライン(工程)がまったく変わる
1 スクリーンプロセスの原理←←←これが原点です
LEDパネル 大型化、低価格化、高精細化、HDR対応
2 合成技術 クロマキー(ブルーバック/グリーンバック)、マット合成、XR、AR合成、デプスマット、セットとのなじませ
3 リアルタイムグラフィックス UNREAL ENGINEなどのゲームエンジンの発達、リアルな表現
4 バーチャルアセットバーチャルセット/バーチャルスタジオ(90年代～) TV局導入のスタジオセット
5 バーチャルカメラ(00年代～)カメラトラッキング、プレビズからの流れ レンズキャリブレーション、ズーム、フォーカス
オンセットビズの流れ(10年代～)
6 バーチャルライト照明との連動 DMXコントロール
7 バーチャルキャラクター モーションキャプチャー
8 カラーグレーディング HDR/リニアワークフロー LEDを再撮するということ
9 同期/モーションコントロール モーションコントロールカメラ、タイムコード、動きの制御コントロール、再現性まだまだ解決しなければいけない課題もある
- ポスプロCG/VFXの工程がプリプロダクション化する(撮影までに制作)
- パイプラインが大きく変わる
- カメラ、レンズキャリブレーション、トラッキング
- スタジオでの調整のノウハウ 空間座標の一致
- 誰がルックを決めれるのか？ディレクター、DP、スーパーバイザー、、、誰が色を管理するのか？VFXチーム？DIT？カラリスト？
- デプス情報 FGとのリアルタイム合成 ARのFGBG切り替え
- HFR(ハイフレームレート)同期によるグリーンバック(マット)の撮影、マルチカメラの可能性
まずは
ワークフロー/パイプラインを正しく理解しましょう。
InterBEEインタビュー
バーチャルプロダクションパイプライン
バーチャルプロダクションパイプラインスライド
バーチャルプロダクションの勉強会の模様
学内で構築したバーチャルプロダクション
『Virtual Production in IPUT(2022)』
学生が構築したバーチャルプロダクションワークフロー
学生が構築したバーチャルカメラセッティングのワークフロー
映像論『バーチャルプロダクション』
大学が取り組むバーチャルプロダクション
InterBEE(2022年)ブース出展でのバーチャルプロダクション バーチャルカフェの模様
DMXを利用したリアルとバーチャルの連動の事例
バーチャルプロダクション リアルとバーチャルの影と映り
さて、ここからはバーチャルプロダクションの９つの要素について話していきたいと思います。
１ Screen Process スクリーンプロセス
スクリーンプロセスというのは、スクリーンを被写体の後ろに配置してその前方や後方から映像を投影し、被写体と同時に撮影する手法のことを言います。特撮VFXの世界ではかなり初期のころから用いられてきました。実はこれが今回話をするバーチャルプロダクションの原理としての原点になるのです。
『キング・コング King Kong』(1933) (03:18～)
『2001年宇宙の旅 2001: A Space Odyssey』(1968) (04:19～)
Virtual Production are you Game?
２ 合成技術 ブルーバック/グリーンバッククロマキー、マット合成、XR、AR合成、デプスマット合成
グリーンバック、グリーンスクリーンのスタジオで背景をリアルタイムに描画してリアルタイムに合成するもの
合成の技法は古くはカメラの前にモノ(アセット)を置いたり、ガラスに絵を描いたりして同時に撮影しました。(グラスマットペインティング)
３ Virtual Set/Studio バーチャルセット/バーチャルスタジオ
90年代に始まり、テレビ局にはこの手のバーチャルセットがほとんど導入されています。特徴としてはグリーンバックやブルーバックの中でカメラトラッキングを行うことで背景のCGをリアルタイムに合成することです。テレビの生放送などで導入されています。
代表的なのはスペインのブレインストームBrainStorm(日本の代理店は朋栄For-A)
これらは生放送などで用いられていましたが、グリーンバックの素材も残せるため、後で合成し直すことも可能です。
初期のバーチャルセットのグラフィックスは簡単なスタジオセット、実写画面のはめ込み、3DCGテロップなどです。最近はUnity,
UNREAL ENGINEとの連携も始めていますが、TV局のスタジオセットという範疇を超えることはありませんでした。
３ プレビズ Pre-Visualization
コンテをもっと動かしてカメラのサイズ、アングル、カメラワークを視覚化する動きは90年代の『アニマティクス』の時代を経て、重要視されていきます。ジョージ・ルーカスがプレビズのための部隊をILMの中に作ったのもその意図があったからです。モーションキャプチャーの応用であるバーチャルカメラの概念はそこで培われていきました。
2001年『パニックルーム』でデビッド・フィンチャーは2時間の映画すべてを事前にプレビズ化し、すべてのショットのレンズ画角、カメラワークをプレビズで制作することにより、プロダクションの世界に改革をもたらしました。
４ オンセットビズ On-Set Vis
この流れもバーチャルプロダクションへの中間地点だといえると思います。
オンセットというのは、オンセットOn-Set＝「スタジオで」という意味。スタジオでリアルなCGを合成して、プレビューするというもの。すべてが完ぺきではないにしろ、グリーンバックの背景をその場で確認しながら、カメラワークを決めたり、演技をすることが出来るという利点がありました。
海外北米TVドラマ『パンナム』(2011)手掛けているのはLightcraft社。東映ツークン研究所が日本で初めて導入
さて、一方LEDパネルの普及によって、まったく新しい撮影方法の模索が始まりました。
映画『ゼログラビティGravity』(2013)に見る照明ライティングの実現です。これは宇宙空間という複雑なシチュエーションでの照明の動きに対してLEDパネルで4方を囲ったケージと呼ばれるひとり分のスペースに役者と立たたせ、モーションコントロールカメラで動きを制御するものです。VFXはFramestore(英)
ここでは、バーチャルな背景ではなく、照明や映り込みのためのシミュレーションとしてLEDパネルが使われています。四方をLEDで囲ったゲージの中で女優サンドラ・ブロックの顔の部分だけをフッテージとして使っています。それ以外の部分はライティングの参考referenceとして使われています。
『ゼログラビティGravity』(2013)本編の抜粋です。
本当に息が詰まるほどの緊張感があります。ぜひ、全編をじっくり見てください。
５ LEDパネルによる屋外空間の再現
映画『Oblivion オブリビオン』(2013)
3台の高精細カメラで撮影した360°の実写パノラマの映像を三方囲んだLEDパネルに映しています。近未来の惑星の室内を映り込みなどすべて同時に撮影しています。ブルー/グリーンバックで撮影し、後でVFX合成するよりも制作工程を省くことに成功しています。
『Jungle book ジャングルブック』(2016)
ブルーバックで撮影しているものの事前に作成したCGをカメラトラッキングに合わせて描画し、合成していきます。撮影時に監督、カメラマン、役者などが確認しやすくなります。
ブルーバックでのバーチャルカメラの進化
自然物のCGによる再現
この時期にはCGによる自然物、風景、地形、動物などがリアルに表現できるようになっていったことも、バーチャルプロダクションとしての環境がそろったことにつながっています。
これはLion King ライオンキング(2019)
ANIM SQUARE 映画『ライオン・キング』の製作陣が語るVFXの裏側と”バーチャルプロダクション”
LEDの進化とHDRの再現性
LEDパネルは今までは大変高価なものでした。50㎝四方で500万くらいしました。それが今では50万くらいまで価格が安くなりました。加えて色の再現力が格段に向上し、HDRと呼ばれる色深度まで再現できるようになりました。そこで、新しいオンセットでの運用が試みられるようになりました。その初めが『First Man』での巨大LEDを使ったスクリーンプロセスです。手がけたのは英国のVFXスタジオDNEG(ダブルネガティブ)です。
First Man ファーストマン(2019)
ここでLEDの話をしましょう。
砲弾型DIP（1R1G1B)⇒独立したR(赤)G(緑)B(青)で1つの素子を構成。
従来の大型のビジョンに多い。
新しいSMD（3in1)⇒1つの素子でRGBを表現。
DIPよりも混色率が高く映像が美しいため近距離でもみやすい。
視野角が広いので正面からでなくてもみやすい。
LED素子の間隔をピッチと言います。今までのLED素子のピッチは6㎜～20㎜程度でしたが、現在は1㎜～3㎜になってきました。
そして、2018年、UNREALエンジンとカメラトラッキング、LEDパネルの組み合わせで今までになかった新しいプロダクションシステムが開発されていきます。
そして、『マンダロリアン The Mandalorian』の中で
ILM＋Epic Games、UNREALエンジンという組み合わせがバーチャルプロダクションをひとつ開花させていきます。
『マンダロリアン The Mandalorian』(2019)
カナダにあるVFX Studio PIXEL MONDO のVirtual Production
日本の状況
日本でもバーチャルプロダクションを設置する動きが急激に加速しています。2020年から2021年にかけて様々なプロダクション、企業が名乗りを上げています。
SONY PCL
ヒビノ
Hibino VFX Studio
バンダイナムコ 未来研スタジオ
TOHO Studio x NETFLIX
LEDスクリーン中国ROE社「Black Pearl BP2」5m×15m＋4m×6mスクリーン、2.84mmピッチ高精細1500nit
BLACKBOXXスタジオ
音楽アーチストのライブ配信スタジオとして機能する4面LEDスタジオ。映画などのバーチャルスタジオではないが、今後はこの手のLEDスタジオも増えていくと思われる。
バーチャルプロダクションのまとめ
大切なことは、LEDパネルを撮影しているということ
つまりはLEDに映し出された映像がどのように撮影されているかを確認していかないと、本来のバーチャル(CG)で作られた正しい色や明るさを再現できないということになります。ここはまだまだ難しいところだし、実際のバーチャルプロダクションできちんと出来ているところは少ないと思います。みなさんは、正しい技術を理解してバーチャルプロダクションなどにも取り組めるようになっていってください。
トラッキングシステム
STYPE(国内代理店はナック)
https://stype.tv/
https://www.nacinc.jp/creative/brand/stype/
BLACKTRACK(ライトのトラッキングも出来る)
https://blacktrax.cast-soft.com/
PosiStageNet
https://www.posistage.net/
AUGMENTA
https://augmenta-tech.com/
トラッキング情報をFreeDプロトコル(映像信号に重層する？)
詳細不明
