前回、1-bit Bonsai 8Bを導入して、GPUなしミニPC NiPoGi E3Bで驚くほど快適にローカルLLMが動くことに感動しました。そんな中、7/14にPrismML から27Bクラスの新しいモデル「Ternary Bonsai 27B」と「1-bit Bonsai 27B」が発表されました。このモデルの基となった「Qwen3.6 27B」は、マルチモーダル（画像認識機能）と高い推論機能を兼ね備え、Gemini 3.1 Flash Lite以上の能力を持つとされる注目株です。
人間、一度味を占めると欲が出るもの。「もし270億パラメータ（27B）の、より深い推論能力があれば、もっと効率化の幅が広がるのでは？」そう思って、GPUなしのミニPC環境で27Bモデルを運用するという、少し無謀な挑戦に挑みました。
１．27Bモデルを動かすために「やったこと」
詳細な構築ログやトラブル解決の詳細は割愛しますが、CPU推論環境で27Bモデルをまともに動かすために、私は以下の設定に注力しました。
チューニングのポイント
Ternary（3値）から 1-bit量子化 (Q1_0) への移行：モデルサイズを極限まで削り、メインメモリへの負荷を下げつつ、処理速度を最優先する設定に。このアプローチの結果、生成速度は 1t/s から 3t/s へと、実質3倍に向上しました！「3倍」という響きは非常に魅力的です。しかし、冷静に数値を見れば「3t/s」。この速度は、実用において一体どういう意味を持つのでしょうか？
２．現実的な「3t/s」の正体
正直に言います。3t/sという速度は、趣味の範囲で「ギリギリ使えるかな」というレベルに過ぎません。
例えば、短い質問に答えてもらう、あるいは簡単なアイデアの壁打ち相手になってもらう程度であれば、我慢できる範囲です。しかし、トライアンドエラー（試行錯誤）のプロセスを劇的に加速し、実務を効率化する相棒として使えるかと言われれば、答えは「No」です。
入出力においてそれぞれ3t/sの速度しか出ないと、テンポよくやり取りを重ねるのが難しく、対話のリズムが崩れてストレスを感じてしまうからです。AIを真の「相棒」としてストレスなく使うなら、やはり最低でも10t/s、快適さを求めるならそれ以上が必要だと改めて痛感しました。今回の最適化による最大の収穫は、速度向上そのものよりも、「自分のミニPC環境に、27Bモデルという『強力な選択肢』が一つ増えたこと」だと考えるのが妥当でしょう。
３．日常利用における「使い分け」の最適解
現在の結論として、私のミニPC環境におけるベストな運用は以下の通りです。
| 用途 | モデル | 速度 | 使い方 |
|---|---|---|---|
| 日常利用・高速エージェント | Bonsai-8B | 15t/s | 思考を止めずに作業が進む |
| じっくり考える解析・文書要約 | Bonsai-27B | 3t/s | 「生成の待ち時間が十分取れる用途」に限定 |
具体的な27Bの活用シーン
- ドキュメントや画像の読み込みと要約 ここで、冒頭で触れた「マルチモーダル機能」が活きてきます。画像データを読み込ませ、バックグラウンドで時間をかけて解析させる用途には最適です。
- 複雑な論理的分析 スピードよりも「正確性」や「論理の深さ」が求められる指示を出し、裏で走らせておきます。
- 時間的余裕がある重いタスク全般
つまり、27Bは「待てる時間があるときに、じっくり考えてもらう相棒」という使い方がベストなのです。
AIとミニPCの「身の丈」を知る
かつては「GPUがなければ、27Bなどの巨大LLMはロードすらできない（メモリ不足でクラッシュする）」というのが常識でした。しかし、「Ternary Bonsai 27B」や「1-bit Bonsai 27B」のような超低ビット量子化（1ビットや1.58ビット等）技術の登場により、システムRAMを圧迫せずに巨大モデルをロード可能になり、CPU環境下でもローカルLLMが現実的な選択肢となるべく、驚異的な進化が起きています。
現状においては、ミニPCでローカルAIを動かす挑戦は、「ハードウェアの限界」と「実用性」のどこで折り合いをつけるかという戦いでもあります。3t/sという速度は、お世辞にも「高速」とは言えません。しかし、27Bという巨大なモデルの「深い知性」を、手のひらサイズの小さなミニPCから引き出せるようになったことには、確かな意義と面白さがあります。
限られたハードウェアを工夫で使いこなす楽しさを噛み締めつつ、これからのローカルAIのさらなる進化を期待して待っています。
