NVIDIA Instant NeRFsを始める

NVIDIAのNGP Instant NeRFは、ニューラル放射場を始めるための素晴らしい導入です。わずか1時間で、コードベースをコンパイルし、画像を準備し、最初のNeRFをトレーニングできます。他のNeRF実装とは異なり、Instant NeRFは数分で素晴らしいビジュアルをトレーニングします。私のハンズオンビデオでは、最初のNeRFを作成するための詳細を説明します。コードベースのコンパイル方法や、良い入力画像をキャプチャする方法についての重要なヒントをカバーしています。また、GUIインターフェースを通じてシーンパラメータを最適化する方法も説明します。最後に、シーンからアニメーションを作成する方法を示します。

コードベースのコンパイル

コードベースは、経験豊富なプログラマーやデータサイエンティストにとっては簡単にコンパイルできます。初心者でも、bycloudaiのフォークから提供されている詳細な指示に従うことで簡単に実行できます。インストールプロセスを助けるための追加のヒントは以下の通りです：

Visual Studio 2019を再インストールします。
最新バージョンのCUDA Toolkitを再インストールします。
Python 3.9をインストールします。Pythonに不慣れな方は、これは最新のバージョンではありません。
CMake 3.22を使用し、Python 3.9を使用してコードベースをコンパイルします。

Instant NeRFのための画像キャプチャ

パイプラインは、Instant NeRF生成のために写真とビデオの両方の入力を受け入れます。Instant NeRF生成パイプラインの最初のステップでは、COLMAPを使用してカメラの位置を決定します。このため、重なり合った鮮明な画像に関する基本的なフォトグラメトリの原則に従う必要があります。ビデオでは、理想的なキャプチャからの例の画像を示しています。

GUIを起動し、最初のNeRFをトレーニングする

画像の位置が最初のInstant NeRFのために準備できたら、Anacondaを通じて含まれているTestbed.exeファイルを使用してグラフィカルユーザーインターフェースを起動します。NeRFは自動的にトレーニングを開始します。最初の30秒で視覚的な品質の大部分が得られますが、NeRFは数分間改善を続けます。GUI内の損失グラフは最終的に平坦になり、トレーニングを停止して視聴者のフレームレートを改善できます。

アニメーションの作成

NVIDIAは、GUIに使いやすいカメラパスエディタを提供しています。キーフレームを追加するには、シーンをナビゲートし、「Camから追加」を選択します。GUIは、ベジェ曲線を使用してカメラの軌跡を生成します。アニメーションをプレビューするには、「読み込み」を選択します。アニメーションに満足したら、カメラパスを保存し、スクリプトフォルダ内のレンダースクリプトを使用してフルクオリティのビデオをレンダリングします。

結論

Instant NeRFsの大きな利点は、シーンの一部として背景全体をキャプチャできることです。フォトグラメトリを使用すると、オブジェクトの周囲のコンテキストを失います。この事実は、世界を新しい方法でキャプチャし視覚化するための新しい可能性を開くので、私を興奮させます。NVIDIA Instant NeRFsを使った実験は、新興技術への素晴らしい導入であることがわかりました。結果を迅速に生み出すことができるため、画像キャプチャに何が効果的かをすぐに学ぶことができます。このガイドが、NeRFの力と楽しさを探求する旅の始まりに役立つことを願っています。

ボーナス：Instant NeRFレンダリングのトリミング

Instant NeRFを作成する方法を学んだので、背景をトリミングする方法に関する新しいチュートリアルを見てください。