Unity + ChatGPT

Unity と ChatGPT の連携についてです。

• Unity で OpenAI 社の ChatGPT API とやり取りするメモ – 1ft-seabass.jp.MEMO
  • https://www.1ft-seabass.jp/memo/2023/09/28/unity-with-chatgpt-api/

私がこちらの記事でまとめていますが、実際に HTTP で送るための JSON 定義が結構手間がかかります。また、もし Function calling のように精密に質問内容を整えるとなると、何度もプログラムを Unity を再生して試すので、制作には時間がかさみやすいです。

• Unity からマイク録音して音データを Whisper API で文字起こしして ChatGPT API とやり取りするメモ – 1ft-seabass.jp.MEMO
  • https://www.1ft-seabass.jp/memo/2023/10/05/unity-with-whisper-api-and-chatgpt-api/
• [開志専門職大学特別講義 2024] Unity プロジェクトを一から作ってみよう
  • https://1ft-seabass.github.io/kaishi-special-lecture-tseigo-202412/04-01-unity-project-create.html

さらに、音声入力を文字起こししたこの仕組みを使うと、VR デバイスや PC のマイク入力とも連携できるますが「プログラムを Unity を再生して試したあと、さらにデバイスへビルドする」手間はかなり大変です。

そのときは、Unity では外部サーバーにアクセスするだけにして仕様を固めてしまって、Node.js や Python でできた外部サーバー側で、柔軟に ChatGPT への仕掛けを整える中継サーバー方式、試行錯誤が素早くなり、おススメです。

私も ChatGPT を複雑に連携するときによくやります！

Meta Quest 3 の連携例も載せておきます。

• Meta Quest 3 からマイク録音して音データを Whisper API で文字起こししたメモ – 1ft-seabass.jp.MEMO
  • https://www.1ft-seabass.jp/memo/2023/12/16/meta-quest3-reconding-voice-and-whisper-api/

Whisper API の Text to Speech から取得した WAV データを再生する

• Whisper API の Text to Speech から取得した WAV データを Unity で再生するメモ – 1ft-seabass.jp.MEMO
  • https://www.1ft-seabass.jp/memo/2024/12/18/whisper-api-text-to-speech-getting-wav-data-play-in-unity/
• Whisper API の Text to Speech から取得した WAV データを Meta Quest 3 で再生するメモ – 1ft-seabass.jp.MEMO
  • https://www.1ft-seabass.jp/memo/2024/12/19/whisper-api-text-to-speech-getting-wav-data-play-in-meta-quest3/