端末内で録画と字幕を作る拡張機能開発。AIへ最初に伝えるデータの置き場所。
ブラウザの画面録画や自動字幕のツールをAIと一緒に開発するとき、機能一覧だけを渡すと映像を外部サーバーへ送る設計になりがちです。端末内で録画・切り抜き・文字起こしを完結させるための最初の依頼手順をそーくんとりんが辿ります。
機能一覧より先に、「映像や音声を外へ送るか」を決める。
そーくんりんちゃん、社内の操作説明の動画から短い切り抜き動画を作るとき、ブラウザ上でそのまま録画して、必要なところだけ切って、字幕まで自動で入ったらすごく便利ですよね！ そういう拡張機能、AIに頼んだらサクッと作ってもらえますか？
りん機能をつくる作業自体はAIに頼めますよ！ ただ、書き始める前に一番最初に決めておきたいことがあって。録画した社内の画面や音声って、外のサーバーへ送っちゃっても大丈夫ですか？
そーくんあっ……字幕が付く便利さばかり考えていて、データがどこへ行くかは全然考えてませんでした！ 社内の管理画面とかが映るなら、外のサーバーへ勝手にアップロードされるのは困りますね。
りんですよね。だから私たちが開発しているブラウザの録画拡張機能では、タブの録画から保存、切り抜き、動画ファイルの書き出しまで全部パソコンの中のブラウザ内で完結する作りにしてるんです。字幕の文字起こしも、音声認識のAIモデルを自分のパソコンの中で動かす方式なんですよ。
そーくんへえー！ AIがゼロから映像を生成するツールじゃなくて、手元で録った画面をパソコンの中で短い動画に仕上げるツールなんですね。
最初の依頼文に「録画データは端末内で処理する」と明記する。
りん実際の開発記録を見ても、音声を外部のAPIへ送って文字起こしする案は、社内の画面を扱うからという理由で見送っているんです。もしAIに「録画と字幕の機能を作って」としか言わなかったら、実装が簡単な外部送信の方式を選んじゃうことが多いんですよ。
そーくんうわあ、ぜんぶ出来上がってから「実は外のサーバーに送るのはNGでした」ってなったら、字幕の仕組みを丸ごと作り直すことになっちゃいますね。
りんそうなんです！ だからAIへの最初の依頼文に、「録画した映像と音声は端末の外へ送らないこと。その条件のなかで、タブの録画から字幕付きの短い動画書き出しまでを作る」とはっきり書いて渡します。そうすれば、その条件に合う方法の中からAIが比較してくれるんです。
そーくんちなみに「音声認識のモデルをパソコンの中で動かす」っていうのは、インターネットの通信を一度も使わないってことですか？
りんいい質問ですね！ 実は最初に音声認識のモデルファイル自体をダウンロードするときには、外のサーバーとの通信が発生します。だから「こちらの録画データを外へ送る通信」と「動かすためのモデルを受け取る通信」は、ごちゃ混ぜにせず分けて説明するようにしてます。
端末の外へ出るものを、先に分ける
- 録画した映像と音声
この拡張機能では端末内で保存し、加工する。
- 音声認識のモデル
必要なファイルを取得し、端末内で動かす。
- AIへ渡す開発資料
コードやテスト用の素材を使い、実際の録画を混ぜない。
- 完成した動画
書き出した後、誰に共有するかは別の作業として決める。
処理速度の改善を頼むときも、「外部送信に変えない」条件を残す。
そーくんパソコンの中だけで文字起こしや動画の書き出しを動かすと、処理が重くなることもありますよね。そのときAIに「もっと速くして」って頼んだら、「じゃあ外のサーバーへ送るように直しました！」って勝手に変えられちゃいませんか？
りんそれ、すごく起きやすいパターンです！ だから改善を頼むときも「なぜ端末内で動かしているか」の理由をセットで渡します。「社内の録画を扱うため、外部送信を追加する変更は行わないこと。同じテスト音声で処理時間を測り、端末内の設定で速くできる方法を試してね」と頼むんです。
そーくんなるほど！ その守るべき枠さえ決まっていれば、その内側での工夫やスピード測定はAIにどんどん試してもらえるわけですね。
りんはい！ 処理時間を測るのも、比較のテストを書くのもAIに任せられます。まだ測っていないパソコン環境での速さは、推測で書かずに「未計測」として分けて報告してもらいます。
そーくんテストに使う動画も、本物の社内会議の録画じゃなくて、開発用に作った短いサンプル動画を渡すようにしたいですね。
端末内に保存する容量の上限と、書き出しの手順も合わせて用意する。
りんそれともう一つ、録画データを外のクラウドへ送らないということは、データの保存場所も自分のパソコンのブラウザ内になるんです。際限なくたまるとパソコンの容量を圧迫するので、この拡張機能では保存容量の上限を決めて、超えたら古い録画から自動で消える仕組みにしてます。
そーくんあっ、それは使う前に絶対知っておきたいです！「来週暇になったら編集しよう」と思って放置していたら、新しい録画に押し出されて消えちゃうかもしれないんですね。
りんそうなんですよ。だから「残しておきたい大事な録画は、その日のうちに動画ファイルとして書き出して保存する」という案内もセットで用意しています。
そーくん「どんな機能を作るか」と一緒に、「データをどこに置いて、いつまで残すか」を最初からセットでAIに伝える。社内向けのツールを作るときには欠かせない視点ですね！
