REAL Video Enhancer

各種 AI モデルを使用して動画を綺麗に拡大したり、フレームレートを倍増させたりすることができるソフト。
超解像 AI を使用して動画を高解像度化（≒高画質化）したり、フレーム補間 AI を使用して動画の中間フレームを生成したりすることができます。
任意のアップスケールモデルを使用できるようにする機能も付いています。

REAL Video Enhancerは、動画をアップスケール / フレーム補間 することができるソフトです。

• 超解像 AI を使用し、動画を綺麗にアップスケール
• フレーム補間 AI を使用し、動画の中間フレームを生成

したりすることができるソフトで、低画質な動画を AI の力で高画質化させられるようにしてくれます。 デフォルトでは下記のような AI モデルを使用できるようになっており、アップスケールに関しては任意の AI モデルを使用することも可能となっています。 “ お気に入りの古い動画を、何とかして蘇らせたい…！ ” という時などに便利です。
ちなみに、アップスケールとフレーム補間を同時に行うこともできたりします。

使い方は以下のとおり。

• 初回セットアップ
• 出力動画のフォーマットなどを設定する
• 基本的な使い方
• 任意のアップスケールモデルを使用できるようにする

1. 「REAL-Video-Enhancer.exe」を実行します。
2. 「Windows によって PC が保護されました」という画面が表示された場合、左側にある「詳細情報」というリンクをクリック → 右下の「実行」ボタンをクリックします。
   
   
3. コマンドプロンプトが立ち上がり、「FFmpeg」「Python」「VC_redist.x64」のダウンロード＆インストール が実行されるので、しばらく待ちます。
   
   
   
   
   何らかの理由で「VC_redist.x64」がインストールできなかった場合、「Please click yes to allow VCredist to install」というダイアログが表示されたままになりますが、「Visual C++ 再頒布可能パッケージ」が既にインストールされていれば、この「Please click yes to allow VCredist to install」ダイアログは閉じてしまっても OK です。
   
4. 続いて「Setting Up Backend」という画面が表示された後に、「Backends」という画面が表示されます。
   
   
   ここで、AI の推論に使用するバックエンドのダウンロードを行います。
   （ダウンロードするバックエンドの先頭にある ボタンをクリックする）
   • 最新の Nvidia 製 GPU（RTX 20 以降）を使用している場合は「TensorRT」が、
   • 少し古い Nvidia 製の GPU（GTX 10 および 16 シリーズ）を使用している場合は「PyTorch CUDA」が
   • 古い Nvidia 製の GPU（900 シリーズ以下）を使用している場合は「NCNN Vulkan」が
   • 最新の AMD 製 GPU（RX 6000 シリーズ以上）を積んだ Linux を使用している場合は「PyTorch ROCm」が
   • その他の GPU（AMD / Intel）を使用している場合は「NCNN Vulkan」が
   推奨されるようです※1。
   （「PyTorch ROCm」は実験段階）
   1 ただし、バックエンドにより使用可能な AI モデルが異なるので注意。
   必要に応じて、複数のバックエンドをダウンロードしておいてもよい。
   一番下の「DirectML」は、バージョン 2.2.0 時点では未実装のようです。
5. 選択したバックエンドのダウンロードが開始されるので、しばらく待ちます。
   
6. バックエンドのダウンロードが完了したら、「Backend」画面の右下にある「Done」ボタンをクリックします。
   
7. 再び「Setting Up Backend」画面が表示されるので、しばらく待ちます。
   
8. 少し待つと、メイン画面が表示されます。
   
   バックエンドのインストール / アンインストール を行いたい時は、左メニューの一番下にある ボタンをクリックします。
   
   バックエンドのインストールを行う時は ボタンを、バックエンドのアンインストールを行う時は ボタンをクリックします。
   バックエンドのインストール / アンインストール を行うと「Please restart the application to apply changes.」というダイアログが表示されるので、「REAL Video Enhancer」を再起動させます。
   

目次へ戻る

---

1. 特に設定なしでも使うことはできますが、
   • 出力動画のビデオコーデック（H.264 / H.265 / VP9 / AV1 / FFV1）と、映像の品質
   • 出力動画のフォーマット（MKV / MP4 / MOV / WebM / AVI）
   • 出力動画のオーディオコーデック（AAC / MP3）と、音声のビットレート
   • 使用する GPU の ID（バックエンドに NCNN / PyTorch を使用する場合のみ）
   などを設定したい時は、左メニューの下部にある ボタンをクリックします。
   
2. 設定画面が表示されます。
   
   デフォルトの保存先フォルダを指定しておきたい場合は、一番上の「Output folder directory」欄の右端にある「Select Output Folder」ボタンをクリックし、目的のフォルダを選択します。
3. 出力動画のコーデックや品質を指定しておきたい場合は、画面上部の「Encoders Settings」タブを開き、
   • Video Encoder※2　-　使用するビデオエンコーダー / ビデオコーデック
     
   • Video Container　-　動画の出力フォーマット
     
   • Video Quality　-　映像の品質
     
   • Video Pixel Format　-　出力動画のカラーフォーマット
     
   • Audio Encoder※3　-　使用するオーディオエンコーダー / オーディオコーデック
     
   • Audio Bitrate　-　音声のビットレート
     
   を設定しておきます。
   
   2 「ProRes」も選択できるようだが、未実装？な模様。
   （変換時にエラーが表示される）
   
   
   3 「Opus」も選択できるようだが、未実装？な模様。
   （変換時にエラーが表示される）
   
4. 複数の GPU を使用していて、尚且つバックエンドに NCNN / PyTorch を使用する場合、「Render Settings」タブの
   • NCNN GPU ID
   • PyTorch GPU ID
   欄で、使用する GPU の ID を指定することもできます。
   

目次へ戻る

---

1. 画面左上にある ボタンをクリックします。
   
2. 画面上部にある「Select Input File」ボタンをクリックし、高画質化 / フレーム補間 を行う動画ファイルを選択します。
   
3. すぐ下にある「Select Output Folder」ボタンをクリックし、処理された動画ファイルの出力先フォルダを指定します。
   
4. その下にある「Backend」欄で、使用するバックエンドを選択します。
   
5. アップスケールを行う場合は、「Upscale Model」欄で使用する AI モデルを選択します。
   バックエンドに「tensorrt」を選択している時

   
   バックエンドに「pytorch (cuda)」を選択している時

   
   バックエンドに「ncnn」を選択している時

   
   選択中のバックエンドによって使用可能なモデルは異なりますが、いずれも「Animation」はアニメ向き、「Realistic」は実写向き、「General」は汎用モデルになります。
   また、「2X」は 2 倍、「3X」は 3 倍、「4X」は 4 倍にアップスケールすることを意味しています。
   さらに、「Slow」表記のあるものは、基本的に「Fast」モデルよりも効果が強く、処理が重いものになります。
   「SPAN Nomos8k」に関しては、
   • High Quality Source　-　高画質ソース用（効果弱）
   • Medium Quality Source　-　中画質ソース用（効果中）
   • Low Quality Source　-　低画質ソース用（効果強）
   の 3 つを選べるようになっています。
   「RealESRGAN OpenProteus」は、高画質ソース用（HD / FHD ソース）であるそうです。
6. フレーム補間を行う場合は、「Interpolate Model」欄で使用する AI モデルを選択します。
   
   「RIFF」を使用する場合は、ほとんどのケースで「4.25」を使用するのがお勧めのようです。
   アニメ向けの「GMFSS」、実写 / 汎用向け の「GIMM」は、バックエンドとして「pytorch (cuda)」を使用する場合のみ選択することができます。
   「GMFSS pro」は、テキストに歪みがある時に役立つようです。
7. フレーム補間を行う場合は、「Interpolation Multiplier」欄でフレームレートを何倍にするのか指定します。
   
8. 画面下部の「Add to Render Queue」ボタンの下にある欄で、設定内容を確認します。
   
   ここでは、処理実行前 / 実行後 の
   • FPS　-　フレームレート
   • Resolution　-　解像度
   • Frame Count　-　フレーム数
   を確認することができます。
   （Bitrate / Encoder / Container は、元の動画のもの）
   この内容でアップスケール / フレーム補間 を実行しても良ければ、「Add to Render Queue」ボタンをクリックします。
   
9. 選択した動画が、キュー（処理待ちリスト）に登録されました。
   画面上部のタブを「Render Queue」に切り替えることで、キューに登録された動画を確認することもできます。
   （右側にある「Remove」ボタンをクリックすることで、動画をキューから削除することも可能）
   
   アップスケール / フレーム補間 を行いたい動画が他にもある場合は、同様に設定を行ってから「Add to Render Queue」ボタンをクリックします。
10. 準備が整ったら、画面左下にある ボタンをクリックします。
    
11. アップスケール / フレーム補間 が実行されるので、しばらく待ちます。
    
12. 少し待ち、画面下部のメーターがいっぱいになったら処理完了です。
    
    尚、VRAM が足りなくてアップスケールが失敗した場合、「Advanced」タブで「Tiling」にチェックを入れておくと、処理が上手くいく可能性があります。
    

目次へ戻る

---

1. OpenModelDB などのウェブサイトで、アップスケールモデルを入手します。
   ファイルが「.safetensors」形式でダウンロードできる場合、通常は「.safetensors」形式のものをダウンロードします。
   
2. モデルを入手したら、「REAL Video Enhancer」の左メニューの一番下にある ボタンをクリックします。
   
3. バックエンド＆ AI モデル の設定画面が表示されます。
   
   ダウンロードしたモデルが「.pth」「.safetensors」形式である場合は、「Select Model (PyTorch/TensorRT/.pth)」ボタンから入手した .pth / .safetensors ファイルを選択します。
   ダウンロードしたモデルが「.bin」＋「.param」形式である場合は、「Select Model (NCNN/.bin+.param)」ボタンから入手した .bin / .param ファイルを選択します。
   
4. 「Model imported successfully!」というダイアログが表示されたらインポート完了です。
   
   「REAL Video Enhancer」を再起動させると、「Upscale Model」欄でインポートしたモデルを選択できるようになっています。