Adobe Premier Pro/After Effects等の「補間:Premier Pro」や「フレームブレンド:After Effects」って一体どういうもので、どのように使い分ければ良いのでしょうか?
本記事では、Adobe Premier Pro/After Effectsの「補間」「フレームブレンド」について、その種類と違いを解説し、どの方法を選択すればよいのかについて説明します。
補間とは?
まず、そもそも補間（フレーム補間）って何? というところから入りましょう。
これがなんのことだかわからないと、後の説明もちんぷんかんぷんになってしまいます。
再生速度を変えることで抜けたフレームを補うのが「補間」
ここで「補間（フレーム補間）」と言っているのは、動画の再生速度を変えることで、本来表示すべきタイミングに表示するフレーム（画像）がなくなってしまう。→ そのタイミングで表示すべき画像を補ってやることを「補間」と言っています。
ちょっと何言ってるかわかりませんよね?
まず、一般的な動画像は、連続した静止画像（フレーム）を切り替えながら表示することで、動いているように錯覚させて見せています。
いわゆるパラパラ漫画とか、アニメのイメージですね。
ここでは、その動画像が1秒間に30枚の画像（30フレーム）を切り替えるものとします。
普通に1秒間に30フレーム撮影した動画であれば、そのまま同じタイミング（30フレーム/秒）秒で表示すれば1倍速ということになります。
それでは、例えば1/2倍速で再生するにはどうすれば良いのでしょうか?
考え方は簡単で、撮影した時の1/2の速度で再生、つまり表示すればよいわけです。
これは、1/30秒おきに撮影した画像を、半分の1/15秒おきに表示することで実現できます。
上図のように、単純に2フレームに1回撮影フレームを表示すれば1/2倍速になるわけです。
ただし、ここで問題になるのが、これをやってしまうと上図の赤枠のように、2フレームに1回、何も表示されない空きフレームができてしまうということです。
「補間」とは、この赤枠で表示する画像を補うことです。
フレームの間に抜けてしまった画像を補ってやるので「補完」ではなく「補間」というわけですね。
Adobe Premier Pro/After Effectsの補間方法
Premier Pro/After Effectsでは、以下の3つの補間を選ぶことが出来ます。
- フレームサンプリング（Premier Pro） / フレームブレンド”なし”（After Effects）
- フレームブレンド（Premier Pro） / フレームミックス（After Effects）
- オプティカルフロー（Premier Pro） / ピクセルモーション（After Effects）
PremierとAfter Effectsでなぜか呼び方は違う（なぜ一緒にしてくれないのか。。）のですが、基本的な手法はこの3つとなります。
※ もしかしたら内部の細かな処理はPremierとAfter Effectsで異なるのかもしれませんが、ベースとなる画像処理は上記3つになると思います。
まずは、この動画で見た目の違いをざっと見てください。
動きの滑らかさなどに違いがあることがわかりますよね。
それではここから、それぞれの処理の内容を解説していきます。
処理内容の概略を知っておくだけで、より良い使い方の理解もしやすくなると思いますよ。
フレームサンプリング
フレームサンプリングは、直近のフレームをそのまま補間フレームにコピーするものです。
例えば、1/4倍速にする場合は同じフレーム（画像）が4回ずつ繰り返し表示されるというものです。
簡単な処理なので、補間の処理が非常に速いです。
一方で、再生速度を落とすほど動きのがたつきが目立つという欠点があります。
フレームブレンド/フレームミックス
元映像の前後のフレームを、補間フレームの距離に応じた比率でブレンドする手法です。
文章だとよくわからないので、下の図を見てください。
例えば1/4倍速にする場合、上の図のように元映像のフレームの間に3つの補間フレームが必要となりますね。
まず、真ん中の補間フレームを考えます。
この補間フレームは、フレームAとフレームBのちょうど真ん中に位置します。
そこで、ここにはフレームAの色の濃さを半分にした画像とフレームBの濃さを半分にした画像を重ねた（ブレンドした）画像を入れてやります。
つまり前後のフレームを同じ比率（1:1の比率）でブレンドした画像になります。
次は一番左の補間フレームを考えてみましょう。
このフレームはフレームAからの距離と, フレームBからの距離の比率が1:3になりますね。
この場合は距離の比率の逆となる、3:1の比率でフレームAとフレームBをブレンドしてやります。
つまり、フレームAの色の濃さを3/4にしたものとフレームBを1/4にしたものをブレンドします。
一番右の補間フレームも同様にしてやれば良いことはなんとなくわかりますよね。
何故かAEでは「フレームミックス」と呼んでいますが、このような処理は画像を「ブレンド」するという表現のほうが一般的だと思います。
このように補間したフレームを再生すると、（フレームサンプリングよりは）なめらかに動いているように見えるのです。
フレームブレンドによる補間は、このような手法を用いているため、どうしても動いているものが少しぼやけて見えます。
ただし、多くの場合はフレームサンプリングよりはなめらかに動いているように見えることと、次に説明するオプティカルフローのように、極端に不自然な映像にはなりにくい手法です。
オプティカルフロー/ピクセルモーション
オプティカルフロー（Optical Flow）とは、映像に写っている物体の速度分布のことを言います。
簡単に言うと、映像中のあるフレームで表示していたものが次のフレームでどこに移動したかを示す情報（動いた向きと速さ→速度ベクトル）のフレーム内の分布です。
画像内の物体はすべて同じように動いているわけではありませんよね。
まったく動かないものがあるかもしれませんし、左から右に動いている車や、反対方向に動いている自転車があるかもしれません。
一般的にオプティカルフローとは、それら画面内のすべての動きの分布を示したものを言います。
オプティカルフローを用いたフレーム補間とは、以下のような手順で補間フレームを生成するものです。
- 補間する前後のフレームからオプティカルフロー（物体の動き）を推定する
- 補間フレームのタイミングで物体がどの位置にあるかを推定する
- 推定した位置に物体がある画像を生成する→これが補間フレームとなる
ここでは説明を簡単にするために”物体”と表現していますが、実際には例えば画像中の人や車を物体として認識して、その動きを推定しているわけではありません。
（おそらく）画像中のピクセル単位で動きを推定しています。
つまり、前フレームのあるピクセルの位置（座標）にあったものが、次フレームでどの位置に移動したかを推定します。
ここは、あくまでもオプティカルフローを利用した補間のベーシックな考え方を説明しているだけです。
上図では直前・直後のどちらかだけのフレームから補間フレームを生成しているような図ですが、例えばこれを両方のフレームから生成した画像をブレンドするなどすれば、より自然な補間になるかもしれません。
（ちょっとわかりにくいですね。自分の文章力で簡潔に説明するのは難しいです。読み流してください。。）
実際のところ、Premier ProやAfter Effectsがどういった処理をしているのかは行為されていないので、正確なところはわからないです。
※ 画像処理でビジネスをしている各社のノウハウ・技術になるので、こういった情報が公開されることはまずありません。
ポイントとなるのが、「物体の動きの推定」をいかに正確にできるかということです。
実はオプティカルフローの推定は難しい技術で、あらゆる映像でうまくいくというわけではありません。
つまり、オプティカルフローによる補間は、うまくいけば非常になめらかで綺麗にできるが、オプティカルフロー推定に失敗するような映像では不自然なノイズや歪みが発生してしまいます。
AEでいう「ピクセルモーション」のほうが処理内容をイメージしやすいようにも思えますが、「オプティカルフロー」と呼ぶほうが（おそらく）一般的です。
補間の種類は全部ためして一番良いものを使う
ここまで紹介した各補間の手法を理解した上で、いろいろな映像を試してみれば、対象となる映像に対してどの補間方法がよいのか、ある程度は予想できるようにはなります。
ただしあくまでも「ある程度」ですね。
例えば本記事で例にあげたような、真っ黒な背景に車と飛行機のアニメーションが動いているだけのものだと、オプティカルフローでまず間違いなくうまくいくであろうことは予想できます。
それが、背景や前景の動きがちょっと複雑なものになってくると、これはもう実際にやってみて比較しないとわかりません。
各手法の特徴をまとめると以下になります。
- フレームサンプリング
- 元画像をコピーするだけなのでフレーム画像の劣化はないが、再生速度を落とすと動きがカクカクになる
- フレームブレンド
- 動きが大きいと画像がボヤけるが、画像に極端なノイズや歪みは発生しない
- オプティカルフロー
- 一部の画像では非常に綺麗に補間されるが、一部の画像では不自然なノイズや歪みが発生する
あえて言うならば、まずはオプティカルフローで試してみて、問題があったらフレームブレンドにするといったような順序かと思います。
フレームサンプリングにして、あえてカクカクなスローにするような演出もありえますね。
コメント