98. LLMを活用したソフトウェアアーキテクチャと代表的なユースケース w/ ryohtaka
2023年07月03日
内容紹介
マイクロソフトの大髙さんに、LLMを活用したソフトウェアアーキテクチャ、langchain、LLM活用のコスト、代表的なユースケースなどについて語っていただいたエピソードです。
出演者
話したネタ
- LLMを活用したソフトウェアアーキテクチャ
- Copilot Stack
- Model/Orchestrator/Copilot frontend
- 代表的なOrchestratorのフレームワーク
- langchain
- semantic-kernel
- Azure Machine Learning prompt flow
- フレームワークの抽象度
- デグレ探し・リグレッションテスト大変問題
- GPT-4 のコストの話
- チャット検索である必要性
- クエリとチャットの逆転現象
- 検索の下地にあるデータが結局重要
- 参考：チャット検索やRAGの話
- エンベディングとコサイン類似度
- 参考：LangChain の Vectorstore として Azure Cache for Redis を使ってベクトルの格納と検索を行う
- 抽象化すると、LLMを活用したユースケースはどういうものが多い？
- 情報検索、情報分類、情報抽出
- 非構造化データから構造化データへ
- Azure OpenAI Service の GPT-4 を使ってギリシア神話に登場する神々の関係性を抽出してグラフデータベースに格納する
- Microsoft Build 2023
- Microsoft Build Japan
- ryohtakaのZenn
- ZennのMicrosoft Publication
- QiitaのMicrosoft Organization