音声プロンプト | Liu Terminal

Liu Terminalの音声プロンプト。Cmd+Shift+Mで任意のペインに口述入力:Whisper large-v3-turboが100言語をデバイス上で処理、ホスト型音声APIも利用可能。

プロンプトを話すと、Liu が今見ているペインにそれを入力します。Whisper large-v3-turbo はあなたのマシン上で動作し、ネットワークもアカウントも不要です。代わりにホスト型の音声 API を指定することもできます。

トリガー方法

Cmd+Shift+M で録音を開始し、もう一度押すと停止します。右下にカードが現れ、マイクが聞いている音をライブ波形で表示します。実際に発話したあとで数秒の無音が続くと録音は自動でも停止し、ショートカットを押しっぱなしにしても無限に録音しないよう上限もあります。Esc でキャンセルします。

テキストの入力先: 「エージェント」ではなく、フォーカスのあるペインです。ユーザーは一つのペインを見ていて、カーソルのある場所に言葉が入ることを期待します。おかげで素のシェルでも、REPL でも、今後登場するどの CLI でも動作します。文字起こし中の改行は空白に変換されます。エージェント CLI にとって復帰文字は空白ではなく、プロンプトの送信だからです。自動送信を有効にしない限り、送信のタイミングはあなたが決めます。

バックエンド

  • ローカル(既定): Whisper large-v3-turbo は 設定 › Voice から一度だけダウンロードし(547 MB)、他のモデルと並べて Application Support 配下に保存されます。Apple シリコンでは Metal、それ以外では移植性のある C の経路、そして既定では無効の実験的な Vulkan バックエンドがあります。音声がマシンから出ることはありません。
  • API: 録音は代わりにホスト型の文字起こしエンドポイントへ送られます。OpenAI、Groq、ElevenLabs、あるいはカスタム base URL 経由の OpenAI 互換サーバーです。キーは config.json かそのプロバイダの通常の環境変数に置かれ、プロセスのコマンドラインには決して現れません。GPU 経路のないハードウェアや、547 MB のモデルを置きたくない場合に便利です。

マイクと言語

設定 › Voice はすべての入力デバイスを一覧し、選んだものを名前や位置ではなく永続的な識別子で固定します。同一型番の USB マイクは同じ名前を報告し、インデックスはデバイスの抜き差しで動くからです。これは思う以上に重要です。ヘッドフォンを挿したりウェブカメラ付きモニターを接続すると、システムの既定は勝手に切り替わります。そして「間違っているが動く」入力もやはり波形を描きます:ただし別の部屋の音で。

言語ピッカーは Auto に加えて、モデルが学習した100言語すべてを提供します。Auto は最初のウィンドウでデコーダを一段余分に使いますが、誤った固定よりはるかに高い確率で正しいため、先頭に置かれています。

ある言語で話し、英語で送る

「To English」を有効にすると、何語で話しても文字起こしは英語で返ります。知っておく価値のある事情があります。large-v3-turbo は文字起こしのみで蒸留されたモデルで、Whisper の翻訳タスクをまったく実行できません。依頼するとエラーではなく三点リーダーを返します。Liu はこれをモデル自体から検出し、文字起こし結果を自前の Translate エンジンへ回すため、同梱モデルでも機能します。API バックエンドや完全版 large-v3 では、翻訳は元の段階で一度に行われます。

設定

すべて設定の Voice タブにあり、config.json に保存されます:

  • voice_enabled, voice_backend (0 = local, 1 = API)
  • voice_model_path, voice_lang, voice_translate
  • voice_input_device, voice_auto_submit
  • voice_max_seconds, voice_silence_stop_sec
  • voice_api_provider, voice_api_model, voice_api_key, voice_api_base_url

デフォルトはローカルバックエンド、自動言語検出、最大120秒の録音、発話後2秒の無音で停止、翻訳オフ、自動送信オフです。APIバックエンドは録音を選択したプロバイダへアップロードし、ローカルバックエンドは音声をマシン内に保持します。

ドキュメント

はじめに

ガイド

リファレンス

他の言語

English · Türkçe · 简体中文 · 한국어 · Español · Deutsch · Italiano · Français · العربية