これまでAIをPCのローカル環境で完結させ、いろいろ繋いでみました。
SillyTavernがUIで、FastAPIなuvicornが記憶、LM StudioのLLMが頭脳。
そこにAUTOMATIC1111で画像生成機能を付与したのが先日の話。
でね、思ったんですよ。
UIがなんかこう、地味に面倒というか、可愛くない。
あれだ、デスクトップマスコットでAIと話したい。
それで有名どころをDLって試してみました。
「MateEngine」「Vcot」「CocoroAI」辺りですね。
MateEngineが一番将来性を感じたかな。無料のDesktop Mateみたいなものらしい。
小さくしてウィンドウに座らせたり、大きく表示してAIと会話したり出来ます。
ただ、会話出来るLLMがQwen2.5の内包版で、差し替え出来ませんでした。
もうちょいいいモデルに差し替え出来たら相当使えそう。今後に期待。
続いて試したのが「CocoroAI」と「Vcot」です。
この2つはほぼ同じもの、VRMを読めるので、見た目は自由に変えられます。
今出てる初音ミクはCocoroAIの初期アバターです。
CocoroAIの利点は、外部APIが使えて、そのアドレス入力欄があること。
これつまり、アドレスをuvicorn側に指定すれば、ローカル接続可能なんです。
あ、勿論外にも接続出来ます。openrouterに繋がることは確認しました。
ただこの子、いろいろ挙動が安定しない。
結構大変でした。
LM Studioと接続して、VOICEVOXと連携。
これでAIと会話して、返答をずんだもんが読み上げという状態まではやってみました。
ただ結論としては、これ常駐させとくにはPCへの負荷が高すぎる。
会話してない時、何もしないで置いてるだけでも結構な感じです。
黒い砂漠のベリアの街中で連続加工とかより負荷高い。
私にはこれ常用は無理だな、とか考えてた時、ふと思い出した。
そういえば、ずんだもんと連携出来るデスクトップマスコット、あったな。
偽春菜というか、それ以外の何かというか、今は伺かと呼ばれるあいつです。
これめっちゃ軽いですね。これなら常駐余裕。
VOICEVOXとの連携も、プラグイン放り込むだけで超簡単。
これいいな、この子をローカルLLMと接続しようと思います。
ということで、多分次回に続く。
