MEASUREMENT LOG
Gemma 4 31BをデュアルGPUで動かす ― 量子化比較メモ
測定日 2026-11-10 / 対象 gemma-4-31B-it-ARA-heretic(GGUF) / llama.cpp b10970手元のデュアルGPU機で、31B級モデルをどの量子化で回すのが正解かを測った記録。 結論を先に書くと、浅い文脈では Q3_K_M が速度と品質の均衡点だった。ただし文脈を深くすると単独GPUが崩壊し、 レイヤ分割とKV量子化の話になる。
01測定環境
- CPU
- Intel Core i7-13700KF
- GPU 0
- RTX 5070 Ti 16GB(VRAM 16,275 MiB)
- GPU 1
- RTX 3060 12GB(VRAM 12,287 MiB)
- モデル
- gemma-4-31B-it-ARA-heretic(GGUF、実パラメータ数 約30.7B)
- 実行基盤
- llama.cpp b10970(CUDA版)
- 速度測定
- llama-bench(-ngl 99、-r 3)
- 品質測定
- llama-perplexity(wikitext-2 test 先頭800,000バイト、-c 2048、96チャンク)
02量子化ごとの実測
量子化は Q2_K / Q3_K_M / Q4_K_M の3種(static quants)。速度は llama-bench、品質は通常 perplexity(PPL)で測った。Q4_K_M は単独GPUに収まらないため、2GPUのレイヤ分割で測定している。| 量子化 | 配置 | ファイルサイズ | pp512 (tok/s) | tg128 (tok/s) | PPL |
|---|---|---|---|---|---|
| Q2_K | 5070 Ti 単独 | 約12.0 GB | 1116.25 ± 47.71 | 52.55 ± 0.12 | 29,323.87 |
| Q3_K_M | 5070 Ti 単独 | 約15.3 GB | 1329.92 ± 47.50 | 37.54 ± 0.41 | 5,167.71 |
| Q4_K_M | 2GPU レイヤ分割 | 約18.8 GB | 849.59 ± 15.29 | 23.99 ± 0.06 | 4,217.72 |
注記: PPLの絶対値は全モデルとも異常に高い。モデルのチャット用トークナイザと 素のwikitextテキストの相性が原因と考えられ、絶対値ではなく同一条件での 相対比較専用の数字として扱う。
03レイヤ分割と文脈の深さ
当初の狙いは「KVキャッシュだけを RTX 3060 に逃がす」ことだった。だが、そのための row 分割はこの環境では使えなかった。ロード時に 「device CUDA0 does not support split buffers」 で落ちる。KVだけを独立に置くスイッチはなく、KVは層に追随する (3060に割り当てた層の分のKVは3060に載ることを、VRAM配分の実測で確認した)。単独GPUは深い文脈で崩壊する。深さ8192では tg が 42.82 から 3.38 tok/s(約1/13)まで落ちた。このときVRAMは 16,275 MiB 中 15,963 MiB まで飽和している。レイヤ分割では深さ8192でも速度がほぼ維持される。| 構成 | pp512 (tok/s) | tg128 (tok/s) | tg128 @ 深さ8192 (tok/s) |
|---|---|---|---|
| 5070 Ti 単独 | 1527.24 ± 53.72 | 42.82 ± 0.39 | 3.38 ± 0.23 |
| layer -ts 7/1 | 1278.34 ± 24.62 | 32.09 ± 0.50 | 28.88 ± 0.49 |
| layer -ts 3/1 | 1048.26 ± 16.76 | 27.27 ± 0.10 | 25.30 ± 0.15 |
| layer -ts 1/1 | 778.77 ± 7.95 | 20.44 ± 0.06 | 19.32 ± 0.11 |
0496kコンテキストの動作条件
128k(-c 131072)は全構成で失敗した。fp16 KVではレイヤ分割の全比率でKV確保に失敗。q8_0 KVでも、確保が約1.5 GiB 足りないか、確保できても計算バッファの 予約で落ちるかだった。q4_0 KVは計算バッファの予約で失敗し、 Flash Attention と ubatch 128 を併用しても結果は変わらなかった。この2GPU構成では128kは 不可と判断した。96k(-c 98304)は、次の条件で llama-server の起動が成功した(listening到達)。コマンドラインの要点は以下のとおり。llama-server -m gemma-4-31B-it-ARA-heretic.Q3_K_M.gguf \ -c 98304 -sm layer -ts 1,1 \ -ctk q8_0 -ctv q8_0 -fa on -ngl 99起動時のVRAMは GPU0 12,395 MiB / GPU1 11,621 MiB。GPU1側の残量は約0.7 GiB と際どい。ubatch 128 を併用した構成でも起動し、VRAMは 12,262 / 11,521 MiB とやや余裕が出た。96kは「レイヤ分割 1:1 + KV q8_0 + Flash Attention on」で実用構成として成立する、が結論。
05まとめ
日常運用の形はこうなった。普段は Q3_K_M を 5070 Ti 単独で回す(浅い文脈なら tg 37.54)。長い文脈が要るときだけ、レイヤ分割 1:1 + KV q8_0 + Flash Attention on で 96k を開く。128k はこの構成では諦めた。Q2_K は速度最優先の選択肢として残るが、PPL の崖(Q4の約7倍)を見ると常用はしない。Q4_K_M は PPL でなお約2割優位だが、2GPU分割が前提になり tg は 23.99 まで落ちる。「小さい量子化を速い1枚に載せる」が、この環境での 実測の結論だった。測定条件と注記
測定日: 2026-11-10。速度は llama-bench(-ngl 99、-r 3)の平均 ± 標準偏差。PPL は llama-perplexity(-c 2048、96チャンク、両条件同一)で、絶対値の注意は §02 の注記のとおり。
Q3_K_M の KLD(対F16ベース分布のKL乖離)は未測定。前回のベース logits がPC上に残っておらず、同一条件での再現には再生成が必要なため、 欠落として扱う。Q2_K / Q4_K_M の KLD は両者ほぼ同値(2.23 / 2.25 nats)だった。