動画の文字起こし機能のテスト。正解が分かる音声と表示のタイミングで確かめる手順。
AIによる文字起こし機能で、エラーも出ず自然な日本語の字幕が表示されたのに、実は話している内容と違っていたという開発記録があります。正解が分かっているテスト音声を使って字幕の中身と時刻を確かめる手順をこはるとりんが辿ります。
「自然な文章が出たか」ではなく、「話した内容と合っているか」を見る。
こはるりんちゃん、録画ツールにAIの文字起こし機能をつけたときって、画面にエラーが出ずにちゃんと日本語の字幕が表示されたら、「よし、うまく動いた！」って思っていいんですよね？
りん実は私も最初そう思っていたんですけど、この拡張機能の開発記録にすごくヒヤッとする話が残っているんです。エラーは１つも出ず、画面にもすごく自然な日本語の文章が出たのに、実際は音声認識の設定がうまく動いていなかったことがあったんですよ。
こはるえっ、どういうことですか？ 空欄になったり文字化けしたりすればすぐ失敗だって気づきますけど、自然な文章が出ていたら、そのまま信じちゃいますよ！
りんそうなんですよ。AIのモデルって、音声がうまく渡っていなかったり言語設定がずれていたりしても、それっぽい定型文をひねり出しちゃうことがあるんです。だから「字幕の文字列が表示されたこと」だけではテスト合格にしないようにしました。
話している内容が分かっているテスト音声で、毎回同じ比較を行う。
こはるじゃあ、どうやってテストするんですか？ 毎回人間が動画を最初から最後まで聞き直してチェックするんでしょうか。
りんまず基本のテストとして、「何を話しているか一言一句分かっている短い音声」と「その正解のテキスト」をペアで用意しておきます。そして認識の設定やプログラムを変えたときは、毎回その同じ音声を入力して、出てきた字幕と正解のテキストを比べるんです。
こはるあ、なるほど！ 毎回違う動画で試すんじゃなくて、正解が決まっているお手本音声で比べるんですね。たとえば「来週は営業します」が「来週は休業します」に変わっていたら、日本語として自然でも大問題ですもんね。
りんまさにそこなんです！ 数字や日付、「〜します／〜しません」が入れ替わっている箇所は一番見落とせないので、AIにも「正解の文と出力された字幕を並べて、抜けた言葉や意味が変わった箇所を抜き出して」と手伝ってもらいます。
こはるでも、その比較をするAI自体が見落とす可能性もありますよね。気になったところだけ、人間がパッと元の音声を聞き直せるようになっているとうれしいです。
りんええ、字幕データには「何分何秒から何秒までの発言か」という時刻も一緒に入っているので、怪しい箇所だけピンポイントで再生して確かめられますよ！
字幕づくりで確かめる四つのこと
- 話した内容
正解を確認できる音声と、認識結果を比べる。
- 字幕の時刻
表示されるタイミングと、実際の発言を合わせて見る。
- 初回の準備
モデルの取得中や読み込み中に、進み具合が分かるか。
- 実際に使う音声
話し方や雑音が違う素材でも、必要な確認を行う。
ブラウザの表示言語から推測せず、音声の言語を選べる設計にする。
こはるちなみに、使っているパソコンが日本語の設定になっていれば、文字起こしも自動的に日本語にすればよさそうですけど、そこも何か落とし穴があったんですか？
りんはい！ 日本語設定のブラウザを使っていても、英語のオンライン発表を録画したいときってありますよね。最初はブラウザの言語設定から自動判定していたんですけど、それだと英語の音声を無理やり日本語に聞き取ろうとしておかしな字幕になっちゃったんです。
こはるあー、たしかに！ 勝手に推測されるより、「いま録る動画は日本語」「これは英語」って自分で選べるほうが、おかしくなったときにもすぐ直せますね。
りんそうなんです。だから開発記録でも、自動推測をやめて音声の言語を明示的に指定する形へ直しています。AIにテストを頼むときも、「どの言語設定とどのモデルで動かしたか」を結果と一緒に記録してもらうようにしてます。
字幕の精度だけでなく、初回ダウンロード中の進捗表示まで確かめる。
こはるお手本の音声でピタッと字幕が出たら、もう安心ですね！ あ、でも初めて使うときって、最初に音声認識のモデルをダウンロードするんでしたっけ？
りんこはるさん、鋭いです！ そこも実際に動かして見つかったポイントで、まだモデルのダウンロード中なのに画面のバーが「100%」のまま止まって見える不具合があったんです。使っている人からすると、フリーズしたのか準備中なのか分からなくて不安になりますよね。
こはる私なら「あれ、固まっちゃったかな？」と思って、もう一回ボタンを連打しちゃいそうです。やっぱり「初回の準備画面から、字幕が出て動画に焼き込まれるまで」を通しで見ておく必要がありますね。
りんはい！ だからAIには、準備中の進捗表示、文字起こしの結果、そして最後に書き出した動画ファイルに字幕が重なっているかまで一通り確認してもらいます。そのうえで、「テスト音声で通ったこと」と「実際の雑音がある会議音声でどう見えるか」は分けて確かめるようにしてます。
こはる「字幕が出たからOK」で終わらせないで、使う人が迷う待ち時間や聞き直しのしやすさまで整えておくんですね！
