Canon EOS VR Utility ニューラルネットワークアップスケーリングに挑戦
カメラの基本的な設定方法が少しずつわかってきて、
と思い始めたころ。
今度は、こんな情報を耳にしました。
Canon EOS VR Utilityには、ニューラルネットワークアップスケーリングという機能があるらしい。
しかも、それを使うと、撮影したVR動画をより高解像度に書き出せる可能性があるとのこと。
えっ。
それはぜひ試してみたいっ！
……と思ったのですが、やっぱりすぐにはわかりませんでした。
どこから設定するの？
どの書き出し形式を選べばいいの？
そもそも、私のカメラとパソコンで使えるの？
Contents
【29】ニューラルネットワークアップスケーリングって何ですか？
VRのことを調べているうちに、Discordに「3D&3DVRビデオクリエイターサロン」というコミュニティがあると教えてもらいました。
VRクリエイターさんたちが集まって、撮影や機材の情報を交換している場所があるらしい。
それなら、ここで聞いてみるのが一番かもしれない。
そう思ったものの、そもそもDiscordの使い方がよくわかりません。
戸惑いながらも、なんとか目当てのチャンネルにたどり着き、思い切って質問を投げかけてみました。
Canon R7を使ってVR撮影をしています。
最近、EOS VR Utilityの「ニューラルネットワークアップスケーリング」で8K相当にできると聞いたのですが、実際の設定方法や手順が分からず、少し困っています。
公式情報や、実際に使われている方がいらっしゃいましたら、
・どのメニューから設定するのか
・どの書き出し形式を選べばいいのか
・どんな条件で使えるのかなど、基本的なところから教えていただけると嬉しいです。
初歩的な質問でしたらすみません。
ご存知の方がいらっしゃいましたら、ぜひお力を貸してください。よろしくお願いします。
【30】カメラとレンズの組み合わせによって使えるらしい
坂田さんという方が、わざわざ時間を割いて調べてくださいました。
こんなにすぐ、親切に教えていただけるなんて、ありがたい限りです。
R7とRF7.8mm F4 STMの組み合わせで使うときに気になっていたので、検証してみました。あらゆる組み合わせを試しましたが、確かにダメですね。
ちょうど私が使っている以下の組み合わせは、キレイに除外されていました(笑)
・R5系＋5.2mm
・R7＋7.8mmただ、調べてみると対応している組み合わせの一覧があって、こんな記述がありました。
EOS VR Utilityのニューラルネットワークアップスケーリングは、すべてのカメラとレンズで使えるわけではなく、対応している組み合わせがあります。
たとえば、R7とRF-S3.9mm F3.5 STM DUAL FISHEYEの組み合わせは対象に入っていますよ!
坂田さんご自身の組み合わせは対象外だったとのこと。
でも、私が使っているのは、まさにR7とRF-S3.9mm。
坂田さんが教えてくださった対応リストに、ちゃんと入っています。
【31】でもチェックボックスが選べない！
さっそくCanon EOS VR Utilityで変換しようと試してみました。
ところが、ニューラルネットワークアップスケーリングのチェックボックスが選択できません。
グレーアウトしていて、押せない状態です。
Rさんから
「サイズのところを8192×4096にしても選択できないですか？」
と教えていただき、書き出しサイズも変更してみました。
でも、チェックボックスには変化なし。
やっぱり選択できませんでした。
【32】原因はGPUのCompute Capability？
坂田さんがさらに調べてくださったところ、Canonの動作条件にはGPUについての記述がありました。
ニューラルネットワークアップスケーリング機能を使用する場合、NVIDIA製CUDA対応GPUの中でも、Compute Capability 7.5以上が必要とのこと。
ここで、自分のパソコンのGPUを確認してみることにしました。
入っていたのは、NVIDIA Quadro P4000。
実はこのパソコン、息子が学生時代に研究室で使っていたものを譲り受けたものなんです。
「もう使わないから」とお下がりでもらったのですが、当時は何に使われていたのか、私にはさっぱり。Quadroという名前も、今回初めてちゃんと意識しました。
坂田さんに調べていただいたところ、Quadro P4000のCompute Capabilityは6.1のようです。
つまり、ニューラルネットワークアップスケーリングを使うには、GPUの条件を満たしていなかった可能性が高いとのこと。
カメラとレンズは対応していたのに、今度はパソコン側の条件が足りなかったようです。
VR動画、なかなか一筋縄ではいきません。
【33】つまり、GPUを買い替えないと無理かも？
YOさんからも、
「坂田さんの調べた通り、GPUを買い替えないと無理ですね……」
とのコメントが。
あるいは、カメラやレンズを買い替えるか……。
いやいやいや。
そんなに簡単に買い替えられません。
ただ素敵な絵を撮影したいだけなのに、気がつけばカメラ、レンズ、パソコン、GPU、ソフト、書き出し設定……。
どんどん必要なものが増えていきます。
無限のお買い物ループに入りそうで怖いです。
【34】アップスケーリングすると、どのくらい変わるの？
自分の環境ではニューラルネットワークアップスケーリングが使えなさそうだとわかったものの、実際にどれくらい変わるのかは気になります。
そこで、Yさんが
「フォルダにデータをもらえれば、いろいろやってみますよ」
と言ってくださいました。
ありがたすぎます。
短くて、あまり動きのないテスト映像ではありますが、撮影したデータを共有してみました。
そして、EOS VR Utilityで書き出した映像をDeoVRにもアップしてみました。
https://deovr.com/ewbhgc
【35】アップスケーリング後の映像を作っていただいた
Yさんが、ニューラルネットワークアップスケーリング処理後の映像を作ってくださいました。
ただし、今回の元データはH.264の4:2:0 8bitだったため、R7＋RF-S3.9mmの最高画質というわけではないとのこと。
撮影環境自体は悪くないものの、アップスケーリングの効き具合は微小とのことでした。
なるほど。
アップスケーリングすれば、何でも劇的にきれいになるというわけではないのですね。
元の撮影設定、記録形式、露出、ピント、ノイズ、書き出し設定。
全部が関係してくる。
またひとつ、VR動画の奥深さを知りました。
https://deovr.com/4924mq
R7＋RF-S3.9(オートで撮影 H.264の4:2:0 8bit)
【36】最高画質で撮っているつもりだったのに
私は、すっかり最高画質で撮っているつもりでした。
でも、確認していただくと、まだ改善できるポイントがありそうとのこと。
「R7＋RF-S3.9mmでより良い映像を撮るなら、4K Fineで、C-Log3で撮影するのがポイントかも」
と教えていただきました。
さらに、坂田さんからは「ぼくのかんがえたさいきょうのR7の出力設定」を教えていただきました。
撮影時は、
・4K Fine
・29.97p
・Canon Log 3
・Cinema Gamut書き出し時は、
・Apple ProRes 422 HQ
・可能であれば最大サイズ
・その後、DaVinci Resolveなどでカラーグレーディングという方向が良さそうです。
もちろん、これはあくまでより良い映像を目指す場合の設定。
【37】現状のベストで公開してみる
DeoVRのイベントに向けて、自分のチャンネルを開設してみようと思い立ちました。
撮影から、変換、書き出し、チャンネル作りまで。
ギリギリにはなってしまいましたが、ようやく公開することができました。
結局、グラフィックボードは新調できていないので、ニューラルネットワークアップスケーリングは自分の環境では使えませんでした。
C-Log3も、まだ変換やカラーグレーディングの流れがよく分かっていません。
なので今回は、とにかくオートで撮り、Canon EOS VR Utilityで出力する形にしました。
https://deovr.com/73z9nm
【38】まだまだだけど、撮っていきたい
今回いちばん大きかったのは、わからないことを相談できる場所を見つけられたことかもしれません。
ニューラルネットワークアップスケーリングは、結局わたしの環境では使えませんでした。でも、「なぜ使えないのか」を一緒に調べて、はっきりさせてもらえた。
ひとりで悩んでいたら、たぶん「なんか押せない」で止まったまま、もやもやしていたと思います。
そして、画質を上げるには、アップスケーリングだけではなく、
・撮影時の設定
・ピント
・露出
・ノイズ
・被写体との距離
・書き出し形式
・カラーグレーディングなど、いろいろな要素が関係していることもわかりました。
難しい。。。
でも、少しずつわかってくると、やっぱり楽しいです。
