Whisperで歌詞字幕(SRT)を自動生成する方法|Groq・OpenAI・ブラウザ内の比較
アルバム1枚分の歌詞にタイムスタンプを手で打つのは大変です。OpenAIの音声認識モデル「Whisper」を使えば、曲を聴かせるだけで数秒〜数分でタイミング付きの歌詞ができあがります。この記事では、LyricsFlow MVMakerでWhisperを使う3つの方法を比べ、歌声から正確な字幕を作るコツを紹介します。
Whisperは歌をどう認識するか
Whisperは主に話し声で学習されたモデルですが、ボーカルがはっきりしていて伴奏が厚すぎなければ、歌でもかなりの精度で認識します。出力は開始・終了時間付きの区間(セグメント)なので、そのままSRTのブロックになります。ただし、次のような苦手もあります。
- ロングトーンやこぶしは、短くなったり飛ばされたりすることがあります。
- 繰り返しのサビがまとめられたり、まれに間奏中に存在しない歌詞が出力(ハルシネーション)されたりします。
- 造語・固有名詞・言語の混在(日本語の曲の中の英語フレーズなど)は表記を間違えやすいです。
- 区切り位置は音の切れ目で決まるため、意図したフレーズ分けとは一致しません。
出力は「下書き」と考えましょう。タイミングの骨組みはたいてい良好で、文字は歌詞カードと照らし合わせて校正する、という使い方がおすすめです。
3つの方法の比較
| Groq Whisper API | OpenAI Whisper-1 API | ブラウザ内Whisper | |
|---|---|---|---|
| 速さ | 最速(1曲数秒) | 速い | PC性能しだい・遅め |
| 費用 | 無料枠あり | 従量課金 | 無料 |
| APIキー | 必要(自分で取得) | 必要(自分で取得) | 不要 |
| モデル | large-v3-turbo / large-v3 | whisper-1 | Tiny(約75MB)/ Base(約140MB) |
| 精度 | 高い | 高い | やや低い(ボーカルが明瞭な曲向け) |
| 音声の送信先 | ブラウザからGroqへ | ブラウザからOpenAIへ | 端末の外に出ない |
多くの場合は、Groq APIの whisper-large-v3-turbo がバランス最良です。言葉の取りこぼしが多いときは whisper-large-v3 を試してください。未発表曲をどこにも送りたくない場合や、APIキーがない場合はブラウザ内Whisperを使いましょう。
LyricsFlow MVMakerでの手順
- エディタを開き、音源ファイルを読み込みます。
- SRT自動生成パネルを開きます。
- APIの種類を選びます。Groqの場合は console.groq.com/keys でキーを作成して貼り付けます。キーはお使いのブラウザにのみ保存されます。
- ブラウザ内モデルを使う場合は、文字起こしの言語を指定します。言語を明示すると、イントロで言語を誤判定するのを防げます。
- 生成を開始します。完了すると、処理時間・フレーズ数・SRTのプレビューが表示されます。
- タイムラインに適用 するか、いったん SRT保存 して別のツールで編集します。
精度を上げるコツ
- ボーカルが大きいミックスを使う。 自作曲なら、文字起こし用にボーカルを上げたミックス(またはボーカルのみの音源)を書き出しましょう。曲の長さが同じなら、タイミングは本番のミックスとそのまま一致します。
- イントロは切らない。 冒頭をカットするとすべてのタイムスタンプがずれます。間奏中に出てきた余計な行は、あとから削除すれば大丈夫です。
- 歌詞カードと照らし合わせて校正する。 曲を再生しながらフレーズ調整パネルで文字を差し替えます。タイミングは微調整で済むことがほとんどです。
- 長いセグメントは分割する。 一文まるごと1区間になることがあります。読みやすい長さに分けると、アニメーションも映えます。
- 最初と最後の行を確認する。 タイミングのずれが最も起きやすい場所です。
プライバシーについて
APIを使う場合、音源はブラウザから選択した事業者へ直接送信され、LyricsFlow MVMakerのサーバーは経由しません。未発表曲の場合は、各事業者のデータの取り扱いを確認してください。ブラウザ内Whisperなら、音源がPCの外に出ることはありません。詳しくは プライバシーポリシー をご覧ください。
次のステップ
歌詞がタイムラインに並んだら、🎲 全フレーズにランダム適用 で下書きを作り、大事な行を仕上げていきましょう。やり方は 文字アニメーションのコツ8選 で解説しています。
さっそくリリックビデオを作ってみませんか? ブラウザだけで動作し、無料・登録不要です。
⚡ エディタを開く