個人メモ

個人メモ

【ローカルLLM構成 切り替え計画(KVキャッシュ活用型)】

■ 現状の構成と課題・現在は「SillyTavern → uvicorn(FastAPI) → LM Studio」の構成・uvicorn内でプロンプトを組み立て(多層構造・擬似RAG)してからLM ...