私たまに、ChatGPTがNPCとして導入されたMMOやりたい！って話してるじゃないですか。
そのChatGPTをPC内に招待してみました。
外部と通信しない状態で稼働する、情報漏洩とかの心配のない自分だけのAIです。
こういうの、ローカルLLMというらしい。
めっちゃ難しそうなイメージだったけど、やったら超簡単だったのでご紹介。
つーか導入に限って言えば、MMOをDLってプレイするより簡単だった。
自宅AIで何が出来るの？って話ですが。
ちょびっツとかADAとかタチコマみたいな子を作れます。
とはいっても、成長はあんまりしません。再起動すると前のこと忘れちゃうので。
恋愛的にハマってリアル結婚しちゃう人が居る程に育つのはオンラインの子。
その代わり、自宅の子は、初期状態でのカスタマイズが物凄く出来る。
言い換えると、最初から成長済み状態にできます。
【導入方法】
１：AIを動かす土台になるプログラムなLM StudioををDLする。
他にもあるけど、これが一番初心者向けらしい。
２：インストールして。起動する。初心者かどうか聞かれる。
真ん中のPower User一択。設定画面の項目の多さを選んでるだけ。後から変更可能。
Userだと設定項目をいろいろ隠される。DeveloperとかはAPI使いたい人用。
補足：Additional Settings → Enable local LLM service on login
これはオフ(disable)にしてOKです。ローカルAPIを常駐起動させるかどうか。
なくていい。企業で構築して社員複数人にAI使わせるとかそういうレベルのやつ。
３：PCの性能に応じたおすすめAIをDLするか聞かれるので、好きにする。
私はここでGPT-OSS-20Bをおすすめされたので、それをDLした。
あとから他のも幾らでもDL出来ます。やり方は後述。
４：軽く初期設定して、あとは話すだけ。
初期設定はPCの性能に応じて変化します。
概ねの目安は後で雑に説明します。
はい、完了。お疲れ様でした。
続いて初期設定に移ります。
その辺りも簡単だった。
ちなみに難しい？のは、その先の、なんかこう、自分用に育てるのが難しい。
それはさておき、設定について、ちょっと雑に書いてみます。
わからない部分あったら、コメントで聞いてくれたら回答します。
でもまぁ、本家のちゃっぴーに質問した方が多分楽。
【設定方法】
上記画像は、起動後の画面です。
１：右下の小さい歯車、これが全体の設定画面。
２：画面左の縦に4つ並んでるやつ。
一番上の押すと、チャットする状態の画面になります。
一番下のメガネ押すと、好きなAIをDLしに行く画面になります。
３：画面中央上、DLしたAIの、どれを使うかを選べます。
４：そのすぐ左の歯車、選んだAIの個別の設定が出来ます。
５：画面右上、AIの性格とかをパラメータで設定できます。
【１の右下の歯車の設定】
まず「Language」を探して日本語にするのがいいと思います。
全部が綺麗に日本語になるわけじゃないですが、雑に日本語になります。
以上、他は特にいじらなくていいです。
私は「選択したランタイム拡張パックを自動更新」とかいうのをオフにしました。
何か効果があるのかどうかは知らない。
Model Defaultsという項目で、今後DLってきたAIの初期値を設定できます。
今の時点では触る必要はないですが、慣れてきたら触ると思うので頭の片隅に。
私はコンテキスト長の初期値とメモリ制限の値を、後から変更しました。
【２：画面左の縦四つの一番下のメガネボタン】
押すとごちゃごちゃ出てきます。
検索ウィンドウみたいな場所に「GPT-OSS-20B」と入力します。
同じ名前のがたくさん出てきます。熟練者は好きなの選んでください。
私は初心者さんなので、以下のやつを選びました。
OpenAIが出してる公式のやつですね。会社のロゴ付きのやつ。
画面右下に「Download」っていう緑のボタンがあるのでポチっと。
私の画面(上記画像)だと、DL済みなので青色にボタンが変化してますね。
DLが終わったら、×ボタンで閉じてOKです。別にDL終わる前に閉じても大丈夫です。
ちなみにこいつ。厳密にはGPTそのものではないです。
GPT作ってるところが、GPTっぽいLLMとして公開した別モデルです。
あと、ちょっと補足。
GPT20Bが重い場合、「Llama-3-ELYZA-JP-8B-GGUF」付近のがおすすめです。
GPTより軽くて、日本語での会話特化な子。
例えばずんだもんプロンプトみたいな一行レス系ならこっちが向いてると思う。
ちなみにinstructってついてるのが会話用に調整されたやつ。
【３：画面中央上のAI選択ボタン】
クリックすると、DL済みのAIの種類が出てきます。
GPT-OSS-20Bをポチっと。
【４：AI選択ボタンの左の歯車】
AI個別の設定が出来ます。
特に変更する必要はないですが、大雑把に説明します。
１：コンテキスト長：AIがどれだけ長文を読めるor書けるかに関わってきます。
4096あれば十分です。長文書く人は8192にしてもいいかと。
後述するシステムプロンプトにいろいろ書きたい人は16384とかでもいいかも。
この数値、増やせば増やすほど、重くなり、メモリ使用量が増えます。
32768が今のAIが活用出来る上限だと思っていいです。それ以上は意味が無いみたい。
というか、数値増やしすぎるとAIが逆にアホの子になったりもするらしい。
２：GPUオフロード：グラボの性能どれだけ使いますか？の数値。
この数値を増やすと、グラボに負荷がかかり、返答速度が上がります。
AIの性能が上がったりはしない。
３：CPUスレッドプールサイズ：CPUのコアを幾つ割り当てますか？の数値。
MAX数値の-1くらいにするといいと思います。
私のPCの場合は、MAXにして別作業(MMO等)しても影響なかったのでMAXにしました。
４：それ以外。
例えばKVキャッシュってのは、AIがその会話内で学習した記憶を保持する場所らしい。
とかなんとか、よくわからん場合は触らないでOK、私も触ってない。
【５：AIの性格とかをパラメータで設定】
横にContext、Model、Programと三つ並んでます。
Contextの「システムプロンプト」という部分が、AIの全ての基本設定になります。
いわゆるロールプレイ的な口調の全てはここで設定します。詳細は後述。
ここではModelの部分について簡単に解説。
Modelのタブの下の方に設定があります。
・Temperature
なんというか人間味みたいなやつ。
人っぽさとか感情表現を求めるなら0.9とかに。
機械っぽくしたいなら0.1側へ。1以上にするとキャラ崩壊することもあるとか。
・Top-p
表現の幅。私は0.9にしてる。0.6とかにすると修飾語とか減る。
・Top-k
文章を表現する言葉の単語を、いくつ頭に思い浮かべるか、の数らしい。
5とかにすると定型文で話す感じらしい。
私は45に設定。
・Repeat penalty(繰り返しペナルティ)
同じ言葉を避ける力。私は1.1にしてる。
1.3とかに増やすと、無理にでも同じ言葉を使わないように言い換えていくらしい。
【システムプロンプト(System Prompt)について】
ここが一番大事。これ触らないで話しかけると、味も素っ気もないAIが出てくる。
あと、これである程度いろいろなことを指定しないと、逆に回答が重くなる。
誰かが公開してるプロンプトを見て、真似て、いろいろ試すのがいいです。
で、ここまで出来たら後は話すだけ。
なんか適当に暇つぶししてどうぞ。
作業支援とかさせてもOK。
私のやつが纏まってきたら、いつか公開したいところ。
未だ調整中です。
【何を話せばいいの？】
最初は、誰かが公開してるChatGPTとの会話ログとかをコピペして放り込むといいです。
何往復かさせて、自分で話したくなった内容が出てきたら、自分で話せば問題ないかと。
【GPT-OSS-120Bについて】
現行のオンラインのGPT(2025年5月辺りのモデル)に匹敵するクラス、らしい。
GPT4.0o-mini相当とのこと、厳密には全然違うけど細かいことは気にしない。
メモリが128GB以上あれば、起動可能。私は無理だった。
実際のところは、メモリ80GBあれば、起動はさせられると思う。
GPU強い人なら現実的に運用可能みたい。
いつか試してみたいので、DLだけはしといた。
