AIキャスター動画を諦めて、ポメを喋らせることにした3週間
きっかけはXのタイムラインだった。AIが作ったとは思えないクオリティの動画が次々流れてくる。ニュースキャスター風の人物がスタジオで喋り、背景はCGか実写かもわからないレベル。「これをアプリのプロモーションに使いたい。自分はほぼ手を動かさず、Claude Codeにディレクションさせて量産したい」——そう考えて始めたのが、この3週間の取り組みだった。
3週間後、最初に思い描いていた「AIキャスターが喋る動画」は影も形もなくなっていた。それでも目標だった「1時間かからず複数本の動画を作る」体制自体は完成した。AIキャスターの代わりに、うちのポメラニアンを喋らせるリップシンクの仕組みを自作することになったのだが。
まず土台に選んだのは「HyperFrames」
動画自動制作の出発点に選んだのは、HyperFramesというフレームワークだった。HTML/CSS/JSとGSAPアニメーションで組んだ構成を、そのままMP4に書き出してくれる。仕組みがシンプルで、映像パートさえ書けば音声は後からffmpegで合成する設計になっている。
同じ用途で有名なReactベースの「Remotion」とも比較したが、最終的にHyperFramesを選んだ決め手は1点だけだった。LLMは世界で最も大量にHTMLのコードを学習している。ReactよりHTMLの方が、AIにとって圧倒的に「書き慣れた」言語だったということだ。
| 項目 | HyperFrames | Remotion |
|---|---|---|
| 技術 | HTML/CSS/JS/GSAP | React |
| 設計思想 | AIエージェント向け | 開発者向け |
| ライセンス | Apache 2.0(商用無料) | カスタム(商用有料) |
| LLMとの相性 | ◎ | △ |
本命の壁:「AIキャスターに喋らせる」ツールが全滅した
映像の器は整った。次の課題は「誰が喋るか」だった。当時Xで話題になっていたHeyGenのAIアバターを試そうとしたが、無償の商用利用枠がない。そこから「無料・非中国製・商用OK・ウォーターマークなし」という4条件で、リップシンク系ツールを片っ端から調べた。
| ツール | 開発国 | 無料枠 | 判定 |
|---|---|---|---|
| HeyGen | シンガポール | 月3本のみ | ❌ 有料のみ |
| Synthesia | イギリス | なし | ❌ 有料のみ |
| D-ID | イスラエル | 14日トライアルのみ | ❌ 有料のみ |
| Hedra AI | 非中国系 | 100クレジット/月 | ❌ 有料のみ |
4条件を全部満たすツールは、2026年5月時点で1つも存在しなかった。ここから「他人の作ったツールを探す」のをやめて、自分で仕組みを作る方向に舵を切ることになる。
結局どうやって「ポメが喋る」動画にたどり着いたのか。Sora終了などAI動画生成が軒並み使えなくなった顛末、そして最終的に発明したリップシンクの仕組みまで、続きはnoteで公開しています。
続きをnoteで読む →StratAIXでは、こうして作った動画をアプリのプロモーションに実際に使っています。