私たまに、ChatGPTがNPCとして導入されたMMOやりたい！って話してるじゃないですか。
そのChatGPTをPC内に招待してみました。
外部と通信しない状態で稼働する、情報漏洩とかの心配のない自分だけのAIです。
こういうの、ローカルLLMというらしい。
めっちゃ難しそうなイメージだったけど、やったら超簡単だったのでご紹介。
つーか導入に限って言えば、MMOをDLってプレイするより簡単だった。
自宅AIで何が出来るの？って話ですが。
ちょびっツとかADAとかタチコマみたいな子を作れます。
とはいっても、成長はあんまりしません。再起動すると前のこと忘れちゃうので。
恋愛的にハマってリアル結婚しちゃう人が居る程に育つのはオンラインの子。
その代わり、自宅の子は、初期状態でのカスタマイズが物凄く出来る。
言い換えると、最初から成長済み状態にできます。
【導入方法】
１：AIを動かす土台になるプログラムなLM StudioををDLする。
他にもあるけど、これが一番初心者向けらしい。
２：インストールして。起動する。初心者かどうか聞かれる。
真ん中のPower User一択。設定画面の項目の多さを選んでるだけ。後から変更可能。
Userだと設定項目をいろいろ隠される。DeveloperとかはAPI使いたい人用。
補足：Additional Settings → Enable local LLM service on login
これはオフ(disable)にしてOKです。ローカルAPIを常駐起動させるかどうか。
なくていい。企業で構築して社員複数人にAI使わせるとかそういうレベルのやつ。
３：PCの性能に応じたおすすめAIをDLするか聞かれるので、好きにする。
私はここでGPT-OSS-20Bをおすすめされたので、それをDLした。
あとから他のも幾らでもDL出来ます。やり方は後述。
４：軽く初期設定して、あとは話すだけ。
初期設定はPCの性能に応じて変化します。
概ねの目安は後で雑に説明します。
はい、完了。お疲れ様でした。
続いて初期設定に移ります。
その辺りも簡単だった。
ちなみに難しい？のは、その先の、なんかこう、自分用に育てるのが難しい。
それはさておき、設定について、ちょっと雑に書いてみます。
わからない部分あったら、コメントで聞いてくれたら回答します。
でもまぁ、本家のちゃっぴーに質問した方が多分楽。
【設定方法】
上記画像は、起動後の画面です。
１：右下の小さい歯車、これが全体の設定画面。
２：画面左の縦に4つ並んでるやつ。
一番上の押すと、チャットする状態の画面になります。
一番下のメガネ押すと、好きなAIをDLしに行く画面になります。
３：画面中央上、DLしたAIの、どれを使うかを選べます。
４：そのすぐ左の歯車、選んだAIの個別の設定が出来ます。
５：画面右上、AIの性格とかをパラメータで設定できます。
【１の右下の歯車の設定】
まず「Language」を探して日本語にするのがいいと思います。
全部が綺麗に日本語になるわけじゃないですが、雑に日本語になります。
以上、他は特にいじらなくていいです。
私は「選択したランタイム拡張パックを自動更新」とかいうのをオフにしました。
何か効果があるのかどうかは知らない。
Model Defaultsという項目で、今後DLってきたAIの初期値を設定できます。
今の時点では触る必要はないですが、慣れてきたら触ると思うので頭の片隅に。
私はコンテキスト長の初期値とメモリ制限の値を、後から変更しました。
【２：画面左の縦四つの一番下のメガネボタン】
押すとごちゃごちゃ出てきます。
検索ウィンドウみたいな場所に「GPT-OSS-20B」と入力します。
同じ名前のがたくさん出てきます。熟練者は好きなの選んでください。
私は初心者さんなので、以下のやつを選びました。
OpenAIが出してる公式のやつですね。会社のロゴ付きのやつ。
画面右下に「Download」っていう緑のボタンがあるのでポチっと。
私の画面(上記画像)だと、DL済みなので青色にボタンが変化してますね。
DLが終わったら、×ボタンで閉じてOKです。別にDL終わる前に閉じても大丈夫です。
ちなみにこいつ。厳密にはGPTそのものではないです。
GPT作ってるところが、GPTっぽいLLMとして公開した別モデルです。
あと、ちょっと補足。
GPT20Bが重い場合、「Llama-3-ELYZA-JP-8B-GGUF」付近のがおすすめです。
GPTより軽くて、日本語での会話特化な子。
例えばずんだもんプロンプトみたいな一行レス系ならこっちが向いてると思う。
ちなみにinstructってついてるのが会話用に調整されたやつ。
【３：画面中央上のAI選択ボタン】
クリックすると、DL済みのAIの種類が出てきます。
GPT-OSS-20Bをポチっと。
【４：AI選択ボタンの左の歯車】
AI個別の設定が出来ます。
特に変更する必要はないですが、大雑把に説明します。
１：コンテキスト長：AIがどれだけ長文を読めるor書けるかに関わってきます。
4096あれば十分です。長文書く人は8192にしてもいいかと。
後述するシステムプロンプトにいろいろ書きたい人は16384とかでもいいかも。
この数値、増やせば増やすほど、重くなり、メモリ使用量が増えます。
32768が今のAIが活用出来る上限だと思っていいです。それ以上は意味が無いみたい。
というか、数値増やしすぎるとAIが逆にアホの子になったりもするらしい。
２：GPUオフロード：グラボの性能どれだけ使いますか？の数値。
この数値を増やすと、グラボに負荷がかかり、返答速度が上がります。
AIの性能が上がったりはしない。
３：CPUスレッドプールサイズ：CPUのコアを幾つ割り当てますか？の数値。
MAX数値の-1くらいにするといいと思います。
私のPCの場合は、MAXにして別作業(MMO等)しても影響なかったのでMAXにしました。
４：それ以外。
例えばKVキャッシュってのは、AIがその会話内で学習した記憶を保持する場所らしい。
とかなんとか、よくわからん場合は触らないでOK、私も触ってない。
【５：AIの性格とかをパラメータで設定】
横にContext、Model、Programと三つ並んでます。
Contextの「システムプロンプト」という部分が、AIの全ての基本設定になります。
いわゆるロールプレイ的な口調の全てはここで設定します。詳細は後述。
ここではModelの部分について簡単に解説。
Modelのタブの下の方に設定があります。
・Temperature
なんというか人間味みたいなやつ。
人っぽさとか感情表現を求めるなら0.9とかに。
機械っぽくしたいなら0.1側へ。1以上にするとキャラ崩壊することもあるとか。
・Top-p
表現の幅。私は0.9にしてる。0.6とかにすると修飾語とか減る。
・Top-k
文章を表現する言葉の単語を、いくつ頭に思い浮かべるか、の数らしい。
5とかにすると定型文で話す感じらしい。
私は45に設定。
・Repeat penalty(繰り返しペナルティ)
同じ言葉を避ける力。私は1.1にしてる。
1.3とかに増やすと、無理にでも同じ言葉を使わないように言い換えていくらしい。
【システムプロンプト(System Prompt)について】
ここが一番大事。これ触らないで話しかけると、味も素っ気もないAIが出てくる。
あと、これである程度いろいろなことを指定しないと、逆に回答が重くなる。
誰かが公開してるプロンプトを見て、真似て、いろいろ試してみました。
ある程度やって思ったのは、ここが超絶大変。
楽しめる部分でもあるとは思う。
ここを、いろいろと支援してくれるものがあります。
それが「SillyTavern」というもの。
無料で導入出来るとのことなので、またもちゃっぴーに案内してもらって導入開始。
ただし、こっから先は、ちょっとコマンド投入したりとか、ちょっと作業が増えます。
なので、そういうのしたくない人は、独自にシステムプロンプト作りましょう。
SillyTavernを導入する人は、この先へどうぞ。
私にわかる範囲で、やり方案内していきます。
【SillyTavernについての概要と導入方法】
シリータバーンとは何か。
・キャラ設定（人格・口調・一人称など）
・世界設定
・関係性
・ルール（表を使わない等）
・初期メッセージ
・メモリ（疑似的な「記憶」が作れる）
を別々の欄で管理できるとのこと。
会話の中での重要情報を要約して保存し、次回以降、System Promptに自動挿入してくれる。
これにより、ローカルLLMも疑似的に育つようになります。
というところの説明を聞きつつ、導入なう。
終わったら詳細を追記します。
【１：Node.jsを入手して導入する】
こちらのサイトから拾ってきます。
https://nodejs.org/ja
Windows用のLTS(安定板)ってついてるやつを選びます。
npm / Yarn / pnpmについてはnpm(公式標準)を選択。
適当にインストール。
【２：SillyTavernを入手して導入する】
こちらのサイトから拾ってきます。
https://github.com/SillyTavern/SillyTavern
右側の Releases をクリック。
最新版の Source code (zip) をDL。
展開したファイルを、日本語名を使わない場所に設置。
C直下とかD直下に置いとけばOK。
中にあるStart.batを起動します。
コマンドプロンプトが、がーって流れます。
最後の方に「Go to: http://127.0.0.1:8000/ to open SillyTavern」とか表示されます。
そんで、ブラウザが自動で起動すると思います。
この時、このコマンドプロンプト、閉じちゃだめです。
PC内に、PC内だけで完結するサーバーが起動してる状態です。
コマンドプロンプト閉じると、それも閉じます。
今後もSillyTavernを使う場合、start.batで起動するので、ショトカ作成どうぞ。
【３：LM StudioとSillyTavernをAPI連携させる】
