笔记

一层到底多少参数：我现在只记式子，不记数字

手算大模型参数量的口诀改进版：一层 ≈ (2+2r+3k)·d²，拿 Qwen2.5-7B 和 Llama-2-13B 各验一遍，误差千分之几。