メタクエストスリーSの貸出とデモパートの紹介

• 今年最後の授業として、メタクエストスリーSを4台貸出可能であることを案内し、冬休み中に実家で体験できる機会を提供。
• 質問フォームを通じて希望者を募集し、デバイスへの興味を確認する方式を採用。
• デモパートではAIと自分の付き合い方をテーマに、XR、VR、IoT、AIを連携したライブデモを実施することを説明。
• 技術背景やそこから考えた話を展開し、質問フォームでフリーランスやエンジニアリングに関する質問も受け付けることを案内。
• 匿名での質問も可能とし、参加者が遠慮なく質問できる環境を整えた。

メタクエストとUnityを使った音声入力AIシステムのデモ

• メタクエストスリーをかぶり、Unityで作成したシステムで音声入力を行い、Aボタンで話しかけて文字起こしし、ChatGPTに質問する仕組みを実演。
• ノードレッドをノートパソコンに導入し、言葉を入り口としてOllamaに伝える仕組みを構築し、LEDをオンにする指示を実現。
• MCPという機能を活用し、AIがLEDという言葉を理解してツールを呼び出し、JSONデータでステートをIoTシステムに送る流れを説明。
• 実際にパソコンから1と0の命令でLEDを動かし、次にAIが自然言語を理解してstateTrueやstateFalseを送る仕組みをデモ。
• XRデバイスからの音声入力でLEDのオンオフを成功させ、ラグはあるもののAIとIoTの連携が実用的に動作することを確認。

AIとIoT連携における過去の課題と技術進化

• 1年前はLEDをオンオフするためにA4サイズの長いプロンプトを書く必要があり、言葉の揺れを吸収するための詳細な指示が不可欠だった。
• プロンプトでストリング型やメッセージ値を細かく定義しても、打率は90%程度で、10%は意図しない動作が発生していた。
• OpenAI社のファンクションコーリングやストラクチャードアウトプットの登場により、プロンプトの量がA4の半分程度に削減され、精度が向上。
• アンソロピック社が提唱したMCPという考え方により、AIエージェントがツールを選んでデータ定義を元に送る仕組みが標準化。
• MCP SDKの登場でTypescriptやPythonでコードとして定義を書けるようになり、AIが他の技術とつなげる際のステップがスムーズに。

OllamaとChatGPTの性能比較と実用性

• ローカルで動作するOllamaのGraniteモデルは軽量だが、ツールが増えるとレスポンスが遅くなり、複数ツールの同時処理に課題がある。
• ChatGPTはクラウドで動作し、膨大な学習データと高いマシンパワーにより、ツール4つ程度でも素早く判断して動作。
• 実際にモーターを回す、止めるといった操作をChatGPTで実演し、レスポンスの速さと正確性を確認。
• ローカルLLMは無料で手元ですぐ試せる利点があり、Unityとの連携でXRデバイスでも動作可能。
• クラウドとローカルのLLMを適材適所で使い分けることで、多様なAIと連携した開発が可能になると説明。

質問タイム：キャリア、プログラミング学習、フリーランスの働き方

よく使うAIモデルとプログラミング言語の学習順序

• 現在はClaudeのSonnetやOpusを最も多く使用し、プロジェクト全体を見て文脈として加えながら開発する手法を採用。
• Claudeは平均値が高く、微妙なニュアンスを理解して適切な実装を提案してくれるため、長期的な仕事に向いている。
• 最初にFLASHのActionscriptを学び、その後JavaScriptに移行し、2012年頃にソーシャルゲームの需要に応じて本格的に習得。
• 複数のプログラミング言語を学ぶことで、クラス設計などの共通性や各言語の違いを相対的に理解でき、効率が向上。
• PythonとJavaScriptの比較を通じて、インデントの扱いやコーディングルールの違いを学び、適切な実装判断ができるようになる。

フリーランスの働き方、収入、休日の管理

• 土日は絶対に休むと決めており、土日も働ける人になると仕事の質が雑になるため、壁を持つことが重要。
• 1日の稼働単価を明示し、月に何日動くかを合意した上で業務委託契約を結び、トラブルを少なくしている。
• 企業所属との違いは、人事や経理、社長的な役割をすべて自分の頭の中で行う必要があり、確定申告も自分で対応。
• 手元に残る額は全額の約3分の1で、天引きされる税金を考慮すると企業所属とほぼ同じ額になる。
• 仕事の獲得は手元のスキルだけでなく、非要件定義や上流といった言語化能力を示すことで、息の長い仕事につながる。

在宅で稼ぐ方法とキャリア構築のアドバイス

• 家から出たくない場合、IT系の仕事でノートパソコン一つで完結する作業に特化することが最も効率的。
• AIのアノテーションや画像のタグ付けなど、コミュニケーションコストが低い作業は在宅で軽く稼げる選択肢。
• ミーティングを減らすために事前にアジェンダを求め、会わなくても仕様を決めきる力を鍛えることで、在宅作業を最大化。
• 自分のやりたいことを実現するためには、何でもできると言わず、自分はこれしかやらないと主張し続けることが重要。
• アウトプットを出し続けて自分の強みを発信し、フィットする人や企業を見つけるために種を植え続ける必要がある。

IoT遠隔操作のラグと実用性、SAOへの応用可能性

• 工事現場での重機操作は安全確認を伴うため、一回一回の動作に3～5分かかり、ラグがあっても実用的に対応可能。
• 現場作業員は指示された通りに動かすため、人間がロボット化しており、リモート操作への置き換えが進みやすい。
• 自動運転や自動執刀システムなど、フィードバックのラグが致命的な分野では、現状のAI技術では不可能。
• SAOのようなブレインマシンインターフェースへの応用は、IoTセンサーを人間に近づけることで可能性が広がる。
• 触覚フィードバックや低周波による存在感の演出など、複合的な技術を組み合わせることで、バーチャルとリアルの境界を縮めることができる。

JavaScriptの学習方法と実践的なアプローチ

• JavaScriptの勉強は本を買うよりも、コードペンなどですぐに動かして試せる環境を整えることが重要。
• TODOアプリを作る際は、教科書の0ページ目として自分の思うTODOアプリを言語化し、非要件定義を行うことが大切。
• 自分のためのアプリを作ることで、自分というクライアントの面倒くささを感じながら、スキルと要件定義能力の両方を向上。
• AIと壁打ちして経理アプリを作る過程で、自分の指示の解像度が低いことに気づき、学びが深まる。
• 本から始めるのではなく、自分で試行錯誤しながら実装する経験を積むことが、長期的なスキル向上につながる。