ブラウザ録画機能のテスト自動化。人が１回押したあとの録画と書き出しを確かめる手順。
ブラウザ拡張機能のテストをAIに自動化してもらおうとしたとき、録画開始のクリック操作で止まってしまうことがあります。人が１回アイコンを押す操作と、その後の録画・編集・書き出しの自動確認を組み合わせる手順をりんとボスが辿ります。
ブラウザの権限で１クリックが要るなら、その後の工程を自動化する。
りんボス、ブラウザのタブを録画する拡張機能をテストするとき、AIの自動操作だと最初の「録画スタート」のところでどうしても止まっちゃうことがあるんです。こうなると、やっぱり人間が最初から最後まで手でクリックして試すしかないんでしょうか……。
ボスどこで止まっているのかを切り分けて考えてみよう。Chromeの仕様上、今開いている実際のタブを録画するには、利用者が自分の手で拡張機能のアイコンを１回クリックして許可を出す仕組みになっているんだよね。
りんはい、勝手に裏で画面を盗み撮りできないようにするための大事なセキュリティ仕様です。だから実際のタブを録るテストでは、どうしても最初の１クリックだけは人間の手が要るんです。
ボスなら、「最初の１クリックに人の手が要るから、残りのテストも全部手作業に戻す」としなくていいんだよ。開発記録でも、人がアイコンを１回押したあとの「録画・一時停止・切り抜き・動画の書き出し・ファイルの中身チェック」は、すべてプログラムで自動確認する形にしているんだ。
りんあっ、そっか！「100%全自動か、100%手作業か」の二択で考えちゃってました。入口の１回だけ人が押して、そのあとの長い確認作業をバトンタッチで自動化すれば、毎回のテストがぐっと楽になりますね！
テスト用映像での自動検査と、実際のブラウザタブでの確認を分ける。
ボスさらにもう一段階分けるとね、そもそも毎回本物のWebサイトを開いてクリックしなくても、プログラムで作ったテスト用の映像と音声を直接流し込んで、録画から書き出しまでの処理そのものを全自動で試すテストも用意してあるんだ。
りんなるほど！ 決まったテスト用の映像と音なら、人がクリックしなくても24時間いつでも自動で回せますし、書き出された動画の秒数や音のズレも正確に比べられますね。じゃあ、その自動テストさえ通れば「実際のタブでもバッチリ動きます！」って言っていいですか？
ボスそこは分けて考えよう。テスト用の入力で処理が通っても、「利用者がアイコンを押して、実際のタブから映像と音を受け取る入口の部分」は別だからね。両方そろって初めて安心できるんだ。
りんわかりました！ AIにテスト結果をまとめてもらうときも、「テスト用映像での自動検査が通ったこと」と「実際のタブで１クリックからの録画が通ったこと」を別の項目として報告してもらいます。
録画の確認を、三つの入口から進める
- 決まった映像と音
録画、区切り、書き出しの処理を繰り返し試す。
- 実際のタブ
人が開始操作を行い、実際の映像と音が保存されるか見る。
- 正解のある音声
文字起こしの内容を、分かっている文章と比べる。
- 未確認の使い方
長時間の録画など、試していない条件を次に残す。
AIが人の操作を待つときの合図と、押したあとに再開する手順を決める。
りんこの「途中まで自動で進めて、１クリックだけ人を呼ぶ」流れをAIに頼むときは、待っているあいだのルールも決めておきたいですね。
ボスうん。たとえば「まずテスト用映像での自動テストを全部通し、次に実際のタブのテストへ進んで、アイコンのクリックが必要になったら押す場所を表示して待つこと。人がクリックしたら、録画から完成ファイルの検証まで自動で続けること」と一続きで渡すといいよ。
りんそれと、「自動でクリックできないからといって、拡張機能の権限設定を勝手に広げて回避しないこと」も必ず入れておきます！ テストを通すために危ない権限を増やしちゃったら本末転倒ですもんね。
ボス大事なガードだね。もしエラーで止まったときも、AIには単に「失敗しました」と返すのではなく、ログを読んで「どこまで通って、次に人が何をすれば再開できるか」を出してもらうと、手戻りがなくなるよ。
りん人がポチッと押したあとに、また「次は何をテストしますか？」って最初から聞き直されないように、ゴールまでの手順を１つの指示にまとめて渡しておきます！
数十秒のテスト通過と、長時間の連続録画を区別して記録する。
ボスそうやって数十秒の録画と書き出しのテストが全部通ったら、「このツールは２時間の会議を録画しても大丈夫です」と言い切っていいかな？
りんあ、そこはまだ言えないです！ 数十秒のテストと、１時間以上の長い録画とでは、メモリの使い方や途中でデータを分割して保存する動きがまったく変わってきます。開発の引き継ぎ書にも、「実装・短時間テスト済み」と「長時間録画の実機確認はこれから」をはっきり分けて書いてありますね。
ボスそうそう。テストが何件通ったかという数字だけでなく、「何秒のどんな映像で、どこまで確かめたか」が書いてあると、次に試すべきことがすぐ分かるからね。
りんAIにも、プログラムを直して終わりではなく、その「どこまで確認済みで、何が未確認か」の表まで最新の状態に更新してもらいます。人が１回クリックするところだけ手伝って、あとの検証と記録はAIにしっかり走ってもらいましょう！
