Google Gemini Live Voice

import { GeminiLiveVoice } from "@mastra/voice-google-gemini-live";
import { playAudio, getMicrophoneStream } from "@mastra/node-audio";
 
// Gemini API で初期化（API キーを使用）
const voice = new GeminiLiveVoice({
  apiKey: process.env.GOOGLE_API_KEY, // Gemini API に必須
  model: "gemini-2.0-flash-exp",
  speaker: "Puck", // 既定の声
  debug: true,
});
 
// または Vertex AI で初期化（OAuth を使用）
const voiceWithVertexAI = new GeminiLiveVoice({
  vertexAI: true,
  project: "your-gcp-project",
  location: "us-central1",
  serviceAccountKeyFile: "/path/to/service-account.json",
  model: "gemini-2.0-flash-exp",
  speaker: "Puck",
});
 
// もしくは VoiceConfig パターンを使用（他プロバイダーとの一貫性のため推奨）
const voiceWithConfig = new GeminiLiveVoice({
  speechModel: {
    name: "gemini-2.0-flash-exp",
    apiKey: process.env.GOOGLE_API_KEY,
  },
  speaker: "Puck",
  realtimeConfig: {
    model: "gemini-2.0-flash-exp",
    apiKey: process.env.GOOGLE_API_KEY,
    options: {
      debug: true,
      sessionConfig: {
        interrupts: { enabled: true },
      },
    },
  },
});
 
// 接続を確立（他のメソッドを使う前に必須）
await voice.connect();
 
// イベントリスナーを設定
voice.on("speaker", (audioStream) => {
  // オーディオストリームを処理（NodeJS.ReadableStream）
  playAudio(audioStream);
});
 
voice.on("writing", ({ text, role }) => {
  // 音声認識結果を処理
  console.log(`${role}: ${text}`);
});
 
voice.on("turnComplete", ({ timestamp }) => {
  // ターン完了を処理
  console.log("Turn completed at:", timestamp);
});
 
// テキスト読み上げ
await voice.speak("Hello, how can I help you today?", {
  speaker: "Charon", // 既定の声を上書き
  responseModalities: ["AUDIO", "TEXT"],
});
 
// 音声入力を処理
const microphoneStream = getMicrophoneStream();
await voice.send(microphoneStream);
 
// セッション設定を更新
await voice.updateSessionConfig({
  speaker: "Kore",
  instructions: "回答はより簡潔にしてください。",
});
 
// 終了時に切断
await voice.disconnect();
// または同期ラッパーを使用
voice.close();

const voice = new GeminiLiveVoice({
  apiKey: "your-api-key", // Gemini API には必須
  model: "gemini-2.0-flash-exp",
});

// サービス アカウント鍵ファイルを使用
const voice = new GeminiLiveVoice({
  vertexAI: true,
  project: "your-gcp-project",
  location: "us-central1",
  serviceAccountKeyFile: "/path/to/service-account.json",
});
 
// アプリケーション デフォルト認証情報を使用
const voice = new GeminiLiveVoice({
  vertexAI: true,
  project: "your-gcp-project",
  location: "us-central1",
});
 
// サービス アカウントの代理（インパーソネーション）を使用
const voice = new GeminiLiveVoice({
  vertexAI: true,
  project: "your-gcp-project",
  location: "us-central1",
  serviceAccountEmail: "service-account@project.iam.gserviceaccount.com",
});

voice.on("sessionHandle", ({ handle, expiresAt }) => {
  // セッション再開のためにハンドルを保存
  saveSessionHandle(handle, expiresAt);
});
 
// 以前のセッションを再開する
const voice = new GeminiLiveVoice({
  sessionConfig: {
    enableResumption: true,
    maxDuration: "2h",
  },
});

import { z } from 'zod';
 
voice.addTools({
  weather: {
    description: "天気情報を取得します",
    parameters: z.object({
      location: z.string(),
    }),
    execute: async ({ location }) => {
      const weather = await getWeather(location);
      return weather;
    },
  },
});
 
voice.on("toolCall", ({ name, args, id }) => {
  console.log(`ツールが呼び出されました: ${name} 引数:`, args);
});