音声イベント
音声プロバイダーはリアルタイムの音声インタラクション中に様々なイベントを発生させます。これらのイベントはvoice.on()メソッドを使用してリッスンすることができ、インタラクティブな音声アプリケーションを構築する上で特に重要です。
共通イベント
これらのイベントは、リアルタイム音声プロバイダー間で一般的に実装されています:
error:
Error
音声処理中にエラーが発生した場合、または音声データ形式がサポートされていない場合に発生します
session.created:
object
OpenAIサービスとの新しいセッションが作成されたときに発生します
session.updated:
object
セッション設定が更新されたときに発生します
response.created:
object
AIアシスタントによって新しい応答が作成されたときに発生します
response.done:
object
AIアシスタントが応答を完了したときに発生します
speaker:
StreamWithId
音声出力にパイプできる新しい音声ストリームとともに発生します
writing:
object
テキストが文字起こし(ユーザー)または生成(アシスタント)されているときに発生します
speaking:
object
音声プロバイダーから音声データが利用可能になったときに発生します
speaking.done:
object
音声プロバイダーが発話を終了したときに発生します
tool-call-start:
object
AIアシスタントがツールの実行を開始したときに発生します
tool-call-result:
object
ツールの実行が結果とともに完了したときに発生します
注意事項
- すべてのイベントがすべての音声プロバイダーでサポートされているわけではありません
- ペイロード構造はプロバイダーによって異なる場合があります
- リアルタイムではないプロバイダーの場合、これらのイベントの多くは発生しません
- イベントは会話の状態に応答するインタラクティブなUIを構築するのに役立ちます
- イベントリスナーが不要になった場合は、voice.off()メソッドを使用して削除することを検討してください