FIELD NOTES ON LOCAL LLM

ローカルLLM研究室

自分のPCでLLMを動かし、測って、記録する実験ノート。 量子化の実測も、SFTの記録も、自作モデルの開発ログも、 載せる数字は手元の環境で測ったものだけにする。

実験環境

CPU
Intel Core i7-13700KF
GPU 0
RTX 5070 Ti 16GB
GPU 1
RTX 3060 12GB
メモリ
32GB
推論基盤
llama.cpp b10970

測定はすべてこの1台で行う。条件を変えたときは、そのつど記事に併記する。

この研究室でやること

01

ローカルLLM × PC実践ガイド

どのGPUで、どの量子化を、どれくらいの速度で回せるか。GPU選定も設定も、実測の数字を根拠に書く。
02

SFT・自作モデル実践記

GPT-2の時代から続けてきたSFTの実践と、300Mパラメータの言語モデルをスクラッチから作った記録。うまくいかなかった条件も残す。

最新の記録

2026.11.10
ローカルLLM × PC

Gemma 4 31BをデュアルGPUで動かす ― 量子化比較メモ

Q2_K / Q3_K_M / Q4_K_M の速度とPPLを実測した記録。均衡点はQ3_K_M。ただし文脈を深くすると単独GPUが崩壊し、話が変わる。
ローカルLLM研究室 — ローカルLLMの実践と、SFT・自作モデルの記録。当サイトの記事にはアフィリエイトリンクを含む場合があります(準備中)。