MEASUREMENT LOG

Gemma 4 31BをデュアルGPUで動かす ― 量子化比較メモ

測定日 2026-11-10 / 対象 gemma-4-31B-it-ARA-heretic(GGUF) / llama.cpp b10970
手元のデュアルGPU機で、31B級モデルをどの量子化で回すのが正解かを測った記録。 結論を先に書くと、浅い文脈では Q3_K_M が速度と品質の均衡点だった。ただし文脈を深くすると単独GPUが崩壊し、 レイヤ分割とKV量子化の話になる。

01測定環境

CPU
Intel Core i7-13700KF
GPU 0
RTX 5070 Ti 16GB(VRAM 16,275 MiB)
GPU 1
RTX 3060 12GB(VRAM 12,287 MiB)
モデル
gemma-4-31B-it-ARA-heretic(GGUF、実パラメータ数 約30.7B)
実行基盤
llama.cpp b10970(CUDA版)
速度測定
llama-bench(-ngl 99、-r 3)
品質測定
llama-perplexity(wikitext-2 test 先頭800,000バイト、-c 2048、96チャンク)

02量子化ごとの実測

量子化は Q2_K / Q3_K_M / Q4_K_M の3種(static quants)。速度は llama-bench、品質は通常 perplexity(PPL)で測った。Q4_K_M は単独GPUに収まらないため、2GPUのレイヤ分割で測定している。
量子化配置ファイルサイズpp512 (tok/s)tg128 (tok/s)PPL
Q2_K5070 Ti 単独約12.0 GB1116.25 ± 47.7152.55 ± 0.1229,323.87
Q3_K_M5070 Ti 単独約15.3 GB1329.92 ± 47.5037.54 ± 0.415,167.71
Q4_K_M2GPU レイヤ分割約18.8 GB849.59 ± 15.2923.99 ± 0.064,217.72
PPLの「崖」は Q2 と Q3 の間にある。Q2_K は Q4_K_M の約6.95倍まで 悪化する一方、Q3_K_M は Q4 比 +22.5% に収まる。速度は逆の順序で、生成速度 tg128 は Q2(52.55)> Q3(37.54)> Q4分割(23.99)。Q4 は2枚に分けても、3060側の遅さとPCIe越しの分割コストを引いている。Q3_K_M は 14.22 GiB で 5070 Ti 単独に収まる最大級の量子化で、分割なしで tg 37.54 が出るのが実用上の強み。pp512 は実測ではQ3が3者中最高だった(Q3_K カーネルの効率か測定条件差かは未切り分け。そのまま実測値として記録する)。実生成の見比べ(--temp 0、--seed 42、-n 1024、説明・計算・翻訳の3問)では、3者とも最終回答まで到達し全問正解だった。 差が出たのは文の清潔さで、Q2 にだけ「まとめ直することです」のような軽微な日本語の粗さがあった。 -n 256 の短い予算では、両者とも思考ブロックの途中でトークンを使い切り最終回答に 届かなかったが、Q4 は計算問題を思考内で完走し、Q2 は立式の途中で打ち切りだった。標本は各1回なので、傾向として読むこと。

注記: PPLの絶対値は全モデルとも異常に高い。モデルのチャット用トークナイザと 素のwikitextテキストの相性が原因と考えられ、絶対値ではなく同一条件での 相対比較専用の数字として扱う。

03レイヤ分割と文脈の深さ

当初の狙いは「KVキャッシュだけを RTX 3060 に逃がす」ことだった。だが、そのための row 分割はこの環境では使えなかった。ロード時に 「device CUDA0 does not support split buffers」 で落ちる。KVだけを独立に置くスイッチはなく、KVは層に追随する (3060に割り当てた層の分のKVは3060に載ることを、VRAM配分の実測で確認した)。単独GPUは深い文脈で崩壊する。深さ8192では tg が 42.82 から 3.38 tok/s(約1/13)まで落ちた。このときVRAMは 16,275 MiB 中 15,963 MiB まで飽和している。レイヤ分割では深さ8192でも速度がほぼ維持される。
Q3_K_M、llama-bench(-r 3)。分割比較は同一セッション内の相対値として読むこと(単独の値は §02 とは別セッションの再測で、約15%速かった)。
構成pp512 (tok/s)tg128 (tok/s)tg128 @ 深さ8192 (tok/s)
5070 Ti 単独1527.24 ± 53.7242.82 ± 0.393.38 ± 0.23
layer -ts 7/11278.34 ± 24.6232.09 ± 0.5028.88 ± 0.49
layer -ts 3/11048.26 ± 16.7627.27 ± 0.1025.30 ± 0.15
layer -ts 1/1778.77 ± 7.9520.44 ± 0.0619.32 ± 0.11
実測からの推奨は -ts 7/1。浅い深さでも単独の75%(32.09)を維持し、深さ8192では単独の 約8.5倍(28.88)になる。KVをもっと3060に寄せたいなら -ts 3/1 で、KVの約1/4が3060へ行く。裏を返せば、Q3_K_M の単独運用は「浅い文脈専用」と考えるべきで、8k級の文脈を扱うなら 分割が必須級だった。

0496kコンテキストの動作条件

128k(-c 131072)は全構成で失敗した。fp16 KVではレイヤ分割の全比率でKV確保に失敗。q8_0 KVでも、確保が約1.5 GiB 足りないか、確保できても計算バッファの 予約で落ちるかだった。q4_0 KVは計算バッファの予約で失敗し、 Flash Attention と ubatch 128 を併用しても結果は変わらなかった。この2GPU構成では128kは 不可と判断した。96k(-c 98304)は、次の条件で llama-server の起動が成功した(listening到達)。コマンドラインの要点は以下のとおり。
llama-server -m gemma-4-31B-it-ARA-heretic.Q3_K_M.gguf \
  -c 98304 -sm layer -ts 1,1 \
  -ctk q8_0 -ctv q8_0 -fa on -ngl 99
起動時のVRAMは GPU0 12,395 MiB / GPU1 11,621 MiB。GPU1側の残量は約0.7 GiB と際どい。ubatch 128 を併用した構成でも起動し、VRAMは 12,262 / 11,521 MiB とやや余裕が出た。96kは「レイヤ分割 1:1 + KV q8_0 + Flash Attention on」で実用構成として成立する、が結論。

05まとめ

日常運用の形はこうなった。普段は Q3_K_M を 5070 Ti 単独で回す(浅い文脈なら tg 37.54)。長い文脈が要るときだけ、レイヤ分割 1:1 + KV q8_0 + Flash Attention on で 96k を開く。128k はこの構成では諦めた。Q2_K は速度最優先の選択肢として残るが、PPL の崖(Q4の約7倍)を見ると常用はしない。Q4_K_M は PPL でなお約2割優位だが、2GPU分割が前提になり tg は 23.99 まで落ちる。「小さい量子化を速い1枚に載せる」が、この環境での 実測の結論だった。

測定条件と注記

測定日: 2026-11-10。速度は llama-bench(-ngl 99、-r 3)の平均 ± 標準偏差。PPL は llama-perplexity(-c 2048、96チャンク、両条件同一)で、絶対値の注意は §02 の注記のとおり。

Q3_K_M の KLD(対F16ベース分布のKL乖離)は未測定。前回のベース logits がPC上に残っておらず、同一条件での再現には再生成が必要なため、 欠落として扱う。Q2_K / Q4_K_M の KLD は両者ほぼ同値(2.23 / 2.25 nats)だった。

ローカルLLM研究室 — ローカルLLMの実践と、SFT・自作モデルの記録。当サイトの記事にはアフィリエイトリンクを含む場合があります(準備中)。