OpenAI社がgpt-ossを発表しました。これを使うことで、なんとローカルで動かすチャットボットの作成ができるようになります。もちろんRAGや追加学習も可能。いろいろな方法がありますが、本記事では、ローカルチャットボットを作成するために、Windows11、LM-studio、gpt-ossを使ったローカルチャットボットの作成方法を、この記事のまま実行すれば出来るレベルで記載していこうと思います。ネットワークに情報をアップロードしたくない。という方必見です。
HW環境
・Windows11 home
・CPU: Intel(R) Core(TM) i7-14700F
・Memory: 32.0GB
・GPU: NVIDIA GeForce RTX 4070 SUPER
LM Studio インストール
①下記サイトへアクセス
②下記赤枠をクリックしダウンロード
③インストール開始
↓ダブルクリック
↓どちらか選択
↓そのままインストール
↓インストール完了。完了を押して、そのまま実行
④LM-studio起動
↓ユーザレベル選択（いつでも変えられるので、どれを選んでも大丈夫）
デフォルトになっていた「Power User」を選択
↓gpt-oss-20bをダウンロードするように言われるので、ダウンロード。
⑤LM-Studio使い方
↓ダウンロードが完了後、モデルをロードします。
↓このように一番上の部分にロードされたモデルが現れます。
後はチャットするだけ。ちょっと聞いてみましょう。
質問例：gpt-oss-20bとgpt-oss-120bの違いを教えてください。
すると、次のようにすらすらと回答してくれます。
これらを回答するときのGPU使用率は↓。だいぶ使われています。
RAGの使用
なんと、LM-StudioはRAGを使うことができるようです。
RAGとは、
RAG（ラグ）とは、Retrieval-Augmented Generation（検索拡張生成）の略で、生成AI（大規模言語モデル：LLM）が回答を生成する際に、外部の情報源（社内文書や最新のウェブ情報など）を検索して参照させることで、回答の精度や信頼性を高める技術
ローカルで実行するため、個人情報をインプットして、自分専用のチャットボットを作る事ができます。
ファイルは、PDF, DOCX, TXT, CSV形式で一度に５ファイル、サイズは３０Mみたいです。
ちょっとアップロードしてみましょう。
私しか持っていない、契約書（居住用建物賃貸借契約書）をアップロードしてみました。ローカルでの使用になるので、ネットにはアップロードされないので安心です。
次のように添付ファイルのマークを押し、「Upload File」を選択。
そしてファイルを選択します。
そしてこのような質問をしてみました。
「居住用建物賃貸借契約書の契約条項１条に書かれている内容を教えてください。」
回答はこんな感じ。
実際の契約書の文面は下記ですので、一致していることがわかります。
もう１点聞いてみます。
「居住用建物賃貸借契約書い書かれている残置物を教えてください。」
回答はこうでした。
しかしながら、残置物に関する記載は読み込ませた資料にはこのように書かているので、うまく反映できていないようです。
まとめ
Windows11＋LM-Studio＋gpt-ossを使った、ローカルのチャットボットを作成するのは非常に簡単でした。ただし、RAG機能はいまいち、また、RAGを使わずに通常のチャットもいくつか試しましたが、その回答もあまり合っていなく、がっかりです。次は別の方法を試してみたいと思います。
コメント