※この記事は、2026年8月に自分のローカル環境でAI動画制作を試した記録です。生成モデルや制作環境は今後も変わるため、Wan 2.2 5BやVACE全般の評価ではなく、今回の素材と設定で起きたこととして書いています。
以前、AI動画制作を少し試した時に、使った素材が軽すぎて、RTX 5080の出番を見るところまで行かなかったと書きました。
その時は、クラウドAIで作った短い動画を編集ソフトへ入れ、解像度を変えて書き出す程度でした。
今回は、そこからもう少し踏み込みました。
ローカル環境で短い動きを生成する。
複数のクリップをつなぐ。
3体のキャラクターが動く、約30秒の短い話にする。
ここまで通せば、AI動画制作が実際にどこまで使えるのか、少しは見えてくると思っていました。
実際、30秒の動画ファイルはできました。
ただ、作品はできていませんでした。
ファイルとして再生できることと、動きがつながって見えることは、全く別の話でした。
短いクリップは作れても、つないだ瞬間に別の問題が出た
今回使ったのは、ComfyUI上で動かしたWan 2.2 5Bです。
最初から30秒を一度に生成したわけではありません。
眠っている。
何かに気づく。
近づく。
触る。
嫌がる。
別のキャラクターが起きる。
このように動きを短く分け、数秒単位のクリップを作りました。
単体で見ると、使えそうなものはありました。
寝息のような小さな動き。
目を開けて頭を上げる動き。
少し羽を動かす反応。
接触した後の姿勢を保つ場面。
ひとつのキャラクターに、ひとつの小さな反応だけをさせるなら、思っていたより形になります。
ところが、それらをひとつの話としてつなぐと、急に厳しくなりました。
画面の端にいたキャラクターが、次のカットで中央へ移動している。
歩いているはずなのに、足は動かず横へ滑っている。
前足で触れたはずなのに、接触の瞬間が曖昧なまま相手だけが嫌がり始める。
眠っていたキャラクターが、次のカットでは別の姿勢で反応している。
一枚ずつ見れば、それらしい絵です。
しかし再生すると、「どうしてそうなったのか」が飛んでいました。
AIが作った各クリップの品質だけでなく、前の動きが次の動きへどうつながるかを管理しないと、物語としては読めませんでした。
30秒になっても、完成度が上がったわけではなかった
最初の全編ラフは、1280×704、24fps、30秒で作りました。
黒いフレームはない。
尺も合っている。
フレーム数も合っている。
1080pへ拡大し、RTX 5080のNVENCで書き出すところまで問題なく通りました。
技術的な確認項目だけを見ると、かなり順調に見えます。
ただ、実際に最初から最後まで再生すると、気になるところが次々に出てきました。
動いている途中で一秒止まる。
途中から急に画角が変わる。
キャラクターの位置が飛ぶ。
引っ張っているはずなのに、その場で踏ん張っているだけに見える。
最後の反応も、こちらが想定した細かな演技にはなっていない。
そこで、止まって見える部分を削り、使える区間だけに短くして、27秒ほどの修正版を作りました。
それでも、問題は残りました。
次はカットを変え、瞬間移動を「省略した演出」に見せられないか試しました。
位置制御を補うためにVACEも試しました。
しかし、横滑りが残ったり、複数のキャラクターの境界が崩れたりしました。
最終的には26秒ほどの確認版まで作りましたが、実再生後に不採用にしました。
カットで見えにくくしただけで、歩く動作や接触の因果そのものは直っていなかったからです。
ここは少し重要でした。
エラーなく動画を書き出せた。
黒フレームもない。
指定した秒数になっている。
だからといって、動画として合格したわけではありません。
検査が間違っていたのではなく、検査していたのはファイルの状態まででした。
動きの間、視線、接触、原因と反応が読めるかは、結局、実際に再生して見る必要がありました。
生成モデルへ投げ直すより、作り方を変えることにした
ここまで来ると、もっと強いモデルを使えば解決するのではないか、と考えたくなります。
自分も少し考えました。
ただ、同じ作り方のまま上位モデルへ投げ直しても、どこまで安定するかは分かりません。
しかも今回は、キャラクターが複数います。
歩く位置。
体の大きさ。
視線の向き。
前足が触れる場所。
触られた後に反応する時刻。
こうした条件を、前後のカットで維持する必要があります。
そこで、生成AIだけで動きをつなぐ方法をいったん外しました。
固定背景を置く。
キャラクターを別々のレイヤーにする。
歩く姿勢、気づく姿勢、前足を伸ばす姿勢、嫌がる姿勢を分ける。
位置と時刻は2Dキーフレームで動かす。
生成AIには、素材やポーズ、小さな二次動作を作る側へ回ってもらう。
この方式で、まず前半14秒だけを作り直しました。
ただし、ここでもすぐにはうまくいっていません。
最初はキャラクターの大きさが合いませんでした。
ポーズシートを機械的に分割すると、隣の羽やしっぽの一部が混ざりました。
前足を伸ばしたポーズの中に、参照用として描かれていた小さな別キャラクターまで入り込むこともありました。
動きが成立しても、つつく回数が多すぎて落ち着きがない。
対象を見つけた後に通常の歩行姿勢へ戻るため、視線が外れたように見える。
大きさ、素材の切り出し、接触位置、首をかしげる角度、反応の間を何度も修正しました。
現時点では、12番目の試写を前半14秒の暫定版にしています。
あくまで、次の検証へ進むための版です。
後半はまだ作り直していません。
1体は前半では静止したままです。
前足の接触も、物理的に計算された動きではなく、レイヤーを重ねて見せています。
音もありません。
色調整やカメラ演出、最終的な質感調整も残っています。
方式を変えたら完成した、という段階では全くありません。
ようやく、前半だけは「どこを直せばよいか確認できる形になった」という程度です。
今のところ、生成AIは短い反応の素材づくりに向いていた
今回の結果だけで、AI動画生成は使えないとは思っていません。
むしろ、使える部分はありました。
眠っている状態を少しだけ動かす。
目を開ける。
小さく嫌がる。
ひとつのポーズを保ちながら、わずかな反応を足す。
こうした短い動作は、生成AIを使う意味があります。
一方で、複数のキャラクターが同じ空間で歩き、触れ、反応し、別のキャラクターが割って入る流れまで一気に任せると、今の自分の環境では管理しきれませんでした。
生成AIが苦手なところまで、生成AIで何とかしようとしていたのだと思います。
今後は、次のように役割を分ける方が現実的だと考えています。
- 生成AI: キャラクター素材、ポーズ候補、短い単体動作、質感づくり
- 2Dキーフレーム: 位置、大きさ、視線、接触の時刻、歩く距離
- 編集: カット、間、使える区間の選択、全体のテンポ
- 人間の確認: 因果が読めるか、動きが不自然ではないか、見ていて落ち着くか
生成AIを外すのではありません。
全部を任せるのをやめ、使える場所へ戻すという感じです。
小さなパイロットを作った意味は、完成ではなく失敗箇所が見えたことだった
今回、最初から数分の動画を作らなくてよかったと思っています。
30秒でも、かなり多くの問題が出ました。
キャラクターの一貫性だけでは足りない。
同じ大きさで置く基準がいる。
接触前後の因果がいる。
個別クリップの見栄えより、前後の連続性が重要になる。
技術検査と、実際に見た時の合格判定も分ける必要がある。
もし最初から長い動画を作っていたら、もっと後になってから同じ問題へ戻っていたと思います。
今もまだ、全然うまくいっていません。
前半14秒の暫定版があり、後半はこれからです。
完成方法も確定していません。
ただ、少なくとも「AI動画生成を使えば、短いクリップをつなぐだけで作品になる」という見方は変わりました。
必要なのは、より強い生成AIを待つことだけではなさそうです。
生成AIへ任せる動き。
人間や別の仕組みで固定する動き。
実再生でしか判断できない部分。
この三つを分けながら、少しずつ作り方を探すことになりそうです。
コメント