ABOUT THIS LAB
このサイトについて
「ローカルLLM研究室」は、個人の実験記録をそのまま公開するサイト。 売り物は考察ではなく実測で、量子化ごとの速度と品質、 分割方法ごとの挙動、起動できた条件とできなかった条件を、 数字とコマンド付きで残していく。運営者
じょーまる。GPT-2の時代からSFT(教師あり微調整)を触り続け、 パラメータ数300Mの言語モデルをスクラッチから構築したことがある。 研究者ではない。いまは手元のデュアルGPU機(i7-13700KF / RTX 5070 Ti 16GB + RTX 3060 12GB)でローカルLLMを回し、量子化や文脈長の限界を実測して 記録するのが、この研究室の実態。記録の方針
R-1載せる数字は、自分の環境で測ったものだけにする
R-2測定条件(llama.cpp のビルド、コマンド、標本数)を必ず併記する
R-3測っていないことは「未測定」、失敗した条件は「失敗」と書く
R-4感想と実測は分けて書く