授業オープニングと進行概要の説明

• 先週のオンライン授業に続き、今回はゲスト講師として田中先生が対面で授業を実施することが紹介された。
• 授業は2コマ構成で、オープニング後にいいねシステムと質問システムを紹介し、学生との交流を図る形式が説明された。
• その後、田中先生の自己紹介、Ollama を使ったハンズオン実習、Unity と AI の連携デモ、そして最後にざっくばらん質問タイムという流れが提示された。
• ハンズオンでは Ollama がインストールされている前提で Unity と連携し、AI を活用する実践的な演習が予定されている。
• 没入コンピューティングにおいて Unity は重要なツールであり、Ollama を通じて AI と連携できることが強調された。
• 30分のライブデモでは Meta Quest や IoT デバイスを使った実演が行われ、技術の仕組みやデータの流れ、アーキテクチャの理解が目的とされた。
• 授業全体を通じて、技術要素の理解を深めることで、デモの内容がより明確に理解できるような構成になっている。

質問システムとリアクションアプリの紹介

• QRコードを使った質問投稿システムが紹介され、スマホから匿名で質問を書き込める仕組みが説明された。
• 挙手して質問するのはストレスが高いため、書き込み形式にすることで学生が気軽に質問できる環境を整えている。
• 質問内容は技術的な話題（XR、VR、IoT、AI、生成AI）に限らず、エンジニアとしての仕事の取り方や年収、筋トレ、確定申告など幅広いトピックが許容されている。
• チェックボックスで名前を公開してもよい場合は、講師から詳細を聞く可能性があることが伝えられた。
• リアクションアプリは拍手の代わりに「いいね」をクリックする仕組みで、リアルタイムに反応が表示される。
• 前回の授業では10万回以上のクリックがあり、学生の反応を可視化する効果的なツールとして機能している。
• 質問が投稿されると画面上に通知が表示され、講師が気づきやすくなる工夫がされている。

田中先生の自己紹介とエンジニアとしてのキャリア

• 田中正吾氏は1年バイト・ワールドシーバス代表で、2004年からフリーランスエンジニアとして21年のキャリアを持つ。
• 東京造形大学の美術大学出身で、辞書や図鑑に関わりたいという思いから情報を扱う道に進んだ。
• 初期はFLASH制作を中心にインタラクティブコンテンツを作成し、情報をわかりやすく表示することに注力していた。
• 現在はWebフロントエンドエンジニアとしてJavaScriptを駆使し、センサーデータの可視化や IoT との組み合わせを得意とする。
• Meta Quest などの VR デバイスを活用し、現実世界に情報を加えて分かりやすく表示する技術開発にも取り組んでいる。
• 技術を組み合わせることで、様々な情報の届け方が可能になり、クライアントへの多様な提案ができるようになった。
• フリーランスとして2年間の会社員経験を経て独立し、技術の変化に対応しながら現在まで活動を続けている。

技術の進化と複合的な活用の重要性

• PC だけでなくスマートフォンやデジタルサイネージなど、情報を見る媒体の多様化に対応してきた経験が語られた。
• IoT 制作では、デバイスの知識があることでより面白いものが作れることがわかり、積極的に学習を進めた。
• データのやり取りは HTTP 通信で行われることが多く、Web 技術の知識が IoT にも応用できることが説明された。
• VR デバイスや現実を見るデバイスを使って、現実世界に情報を分かりやすく表示する取り組みを進めている。
• 様々な技術を組み合わせて情報を届ける全般のサポートをしており、宅配便のように多様な荷物を運べるようになったと例えられた。
• 最近の実績として、アメリカのオーランドで IBM のイベントに登壇し、IoT 制御や AI 連携のライブデモを英語で行った。
• 技術そのものだけでなく、技術を連携させて活用し合うことが非常に重要であると強調された。

技術連携の可能性と実践的なアプローチ

• IoT と AI を組み合わせることで、センサーデータから専門家でなくても判断ができるようになる例（CO2濃度から換気の提案など）が示された。
• IoT と VR の連携により、空間の奥行きや配置が分かり、デバイスの位置を把握しながら効率的に操作できるようになる。
• AI と VR を組み合わせることで、音声認識を使った対話が可能になり、現実の行動に合わせたアシストが実現できる。
• Unity で好きなキャラクターを出して ChatGPT で会話させることも可能で、様々な可能性が広がることが説明された。
• 作って実感して試行錯誤していくことがエンジニアとして非常に重要であると強調された。
• 生成AI絡みの技術組み合わせは Google 検索にほとんど出てこないため、自分で試して確信を持つことが大切である。
• 新しい技術がなぜ出てきたか、うまくいかない点は何かを自分で知ることで、解像度が高まりクリエイティブな突破口が見えてくる。

Ollama の概要と特徴

• Ollama はパソコンの中で AI を使うために非常に使いやすくなっているツールである。
• インストール後はインターネットに繋がなくても手元で AI が動作し、プライバシーを保ちながら無料で利用できる。
• 以前は黒い画面でコマンド入力が必要だったが、現在は Windows や Mac でグラフィカルユーザーインターフェースが提供されている。
• 様々な AI モデルが Ollama でサポートされており、適切にチューニングされた状態で使用できる。
• Ollama が起動していると、ローカルホストに API の接続口が立っており、他のアプリケーションと簡単に連携できる。
• 以前は100個以上の技術要素を個別に積み上げる必要があったが、Ollama がそれらを統合して一つのパッケージとして提供している。
• 豊富なドキュメントが英語で提供されており、クイックスタートやストリーミング、Web サーチなどの機能の使い方が詳しく説明されている。

Ollama API と多様なモデルの活用

• Ollama API リファレンスには、チャット機能、メッセージ投稿、モデルリスト表示、モデルのダウンロードや削除などの機能が揃っている。
• CREATE MODEL や COPY、PUSH などの API があり、自分でチューニングした AI モデルを公開することも可能である。
• API を使うことで、モデル作成後の処理を自動化でき、夜中に作業する必要がなくなる利点がある。
• 無料で使えること、ドキュメントが豊富なこと、セットアップが容易なことが、学生が研究を始める上で非常に有利である。
• ChatGPT API よりも学習コストがシンプルで、AI の公開 API を使う前に Ollama から始める方が良いと考えられている。
• OpenAI 社が出した API の仕様がよくできていたため、多くの AI サービスがそれに追従し、標準化が進んでいる。
• Ollama は OpenAI 互換性を持っており、ここで学んだことが他のサービスにも応用できる利点がある。

多様な AI モデルと選択のポイント

• Ollama のサーチには様々なモデルが登録されており、3日前に更新されたものもあるなど活発に開発が進んでいる。
• Gemini や Mistral など、最近注目されているモデルも Ollama で利用可能である。
• Coder 系のモデルは会話よりもコード生成に特化しており、データ量を少なくして特定の言語（JavaScript、Python など）に強みを持つ。
• ローカルにコード特化のモデルを配置することで、GitHub にアップロード前にコードチェックを自動化するなどの活用が可能である。
• Meta 社の Llama も積極的に新しいバージョンが提供されており、Ollama との親和性が高い。
• モデルのサイズ（2B、4B、8B、30B など）は大体ギガバイト単位で、大きいほど賢いが動作には高いメモリが必要になる。
• 今回は2B の Granite LLM を使用しており、日本語もやり取りできる優れものだが、サイズとのバランスを考慮して選択されている。

Ollama の動作確認と Unity プロジェクトのセットアップ

• Ollama が正しくインストールされているか確認するため、バージョン確認とモデルタグスの API を実行する手順が説明された。
• ブラウザで GET リクエストを実行することで、Ollama のバージョンとインストール済みモデルのリストが表示される。
• Granite LLM 3.2 が正しくインストールされていれば、API でモデルリストに表示される。
• モデルがインストールされていない場合は、検索後に会話を開始していないためダウンロードが完了していない可能性がある。
• Unity プロジェクトをダウンロードして解凍し、Unity Hub で開く手順が詳しく説明された。
• Windows の標準解凍では孫構造になるため、Assets フォルダーが含まれる階層を指定する必要がある。
• Unity のバージョンが異なる場合は、エディターバージョンを選択して自分の Unity 6 で開くことが推奨された。

Unity と ChatGPT API の連携実装

• Unity Hub でプロジェクトを開き、Sample Scene をダブルクリックして作業シーンを表示する。
• キューブオブジェクトをクリックすることで、AI と会話できる仕組みが実装されている。
• 最初は ChatGPT の API キーを使ってクラウド版の高性能 AI に接続し、文字起こしと回答を取得する。
• Cube Event スクリプトをダブルクリックして開き、OpenAI API キーの部分に提供された API キーを入力して保存する。
• マイクの設定が重要で、コンソールログに表示されるマイクリストから適切なデバイス ID を選択する必要がある。
• 通常は1個目のマイク（ID: 0）がデフォルトで選択されており、そのまま使える可能性が高い。
• キューブをクリックして録音開始し、もう一度クリックすると文字起こしが実行され、ChatGPT から回答が返ってくるデモが実演された。

Ollama への切り替えとローカル AI の動作確認

• プログラム内で ChatGPT API を使う部分と Ollama を使う部分をコメントアウトで切り替える方法が説明された。
• ChatGPT の部分をコメントアウトし、Ollama の部分のコメントを外すことで、ローカルホストの Ollama に接続できる。
• Ollama は手元のパソコンで動作するため、ChatGPT よりもレスポンスに時間がかかる場合がある。
• 初回起動時は Ollama が起動していない状態だと特に時間がかかるが、2回目以降は比較的早く応答が返ってくる。
• 実際のデモでは日本語で質問したところ、最初は英語で回答が返ってきたが、2回目は日本語で回答が得られた。
• Granite LLM はマルチランゲージが得意だが、2B という軽量モデルのため、時々日本語と認識しながら英語で回答することがある。
• Ollama を使うことで、インターネットに接続せずに完全にパソコン内で AI とのやり取りが完結することが実証された。

ハンズオンのまとめと技術理解の重要性

• ハンズオンを通じて、Ollama を使った技術がどのように動くかを理解することが、この後のライブデモを理解する上で重要である。
• 技術の中身を知らないと、LED が点灯するだけで終わってしまうが、技術構成を理解することで想像できる部分と分からない部分が区別できる。
• 実際に技術を触って感じることは非常に大切で、複合的な技術も片鱗から分解して理解できるようになる。
• ChatGPT API（クラウド版）はレスポンスが早いが、それは強力なマシンパワーを大量に用意して提供しているからである。
• Ollama でローカルに動かす場合、マシンスペックによってレスポンスの速さが変わるが、無料で手元で AI が動かせる利点がある。
• クラウド版だけを知っていると表面的な理解にとどまるが、ローカル AI を使うことで技術の細かい世界を深掘りでき、俯瞰的な地図を持てる。
• できた人もできなかった人も、今回のハンズオンで理解度は高まったため、次のライブデモをより深く楽しめる準備が整った。