ローカルで動かすElyzaChatを作ってみた

見た目はまるで ChatGPT のよう。
だが中身は完全にローカルで動くAI――それが私の構築した ElyzaChat だ。

実際に会話してみると、さすがローカル動作だけあって反応はかなり速い。
ChatGPTのようにアクセス集中でレスポンスが遅くなることもなく、
GPUリソースを独占している分、いつでも快適に動作する。
この“待たされない感じ”は、一度味わうと癖になる。

ただし、使ってみるとすぐに気づく。
8Bモデル（ELYZA-Llama3-8B） は、やはりChatGPTに比べて少し“無口”な印象だ。
短めの応答で要点を押さえるタイプというか、やや寡黙な研究者のようでもある。

試しに「ジャミトフ・ハイマン について教えて」と聞いてみたところ――
返ってきた答えはなんと、

「ドイツの物理学者です。」

……堂々と言われると、思わず本当にそんな人がいるのでは？と思ってしまう。

文脈を学ぶと正解にたどり着く、が少しズレる思考回路

面白いのは、その後に「ガンダムの話の続き」という文脈で
同じ質問をしたときの反応だ。
今度は正しく「Zガンダムの登場人物」だと答えてくれた。

ただし補足で「ハマーン・カーンの部下です」とも言う。
どうやらAIの中では――

「主人公の敵＝バスク、ジャミトフ、シロッコ、ハマーン」
「ZZのラスボス＝ハマーン」
→ 「つまりバスク、ジャミトフ、シロッコはハマーンの部下」

という推論をしているようだ。
なるほど、これはAIが物語構造を論理的に整理して推測した結果なのだろう。
正確ではないが、筋の通った“思考”が見えるのは面白い。

次は13Bモデルで試したい

8Bモデルでも十分高速で軽快に動くが、
やはり「理解力」「物語の整合性」といった面では少し浅い。
このあたりは13Bモデルに切り替えると改善されるかもしれない。

ただし、VRAMが12GBではかなりギリギリ。
Stable Diffusionとの併用も考えると、
現実的にはもう少し余裕のあるGPUが欲しくなる。

ローカルで動くAIには、クラウドにはない魅力がある。
すぐ反応してくれる、通信不要、そして何より自分の環境の中で完結する安心感。
一方で、8Bモデルの思考の浅さや誤答も含めて、
どこか“人間らしい不完全さ”を感じさせてくれるのが面白い。

ElyzaChatは、まだ発展途上。
だがその成長を、手元のマシンでリアルタイムに見守れるというのは、
ローカルAIならではの醍醐味だ。