為什麼你的本地大模型用起來比想像中更笨？Why your local LLM feels dumber than it is

📝 本集重點：• 倒也不用悲觀，關鍵在於選擇合適的量化方案，而非盲目壓縮。測試中表現最好的是「TheDude」的 INT8 W8A16 量化版。它是靜態 INT8 權重，但激活值保持 BF16。因為它沒量化關鍵的門控線性注意力投影，配合 Marlin 內核，...• 這也是大迷思。很多人看基準測試覺得 FP4 和 AWQ 分數沒掉多少，那是因為測試大多是短文本。但在接近十萬 Token 的長文本橫向測試中，Nvidia 的 NVFP4 量化版在上下文達八萬八千 Token 時，Token 翻轉率高達近 ...• 微小改變沒差，但誤差累積到一定程度，會發生「Token 翻轉」，也就是原本機率最高的 Token 被擠下去了。有人拿 Qwen-27B 混合架架構模型測試接近十萬 Token 的真實工作流。在前幾千個字時，各後端預測百分之百相同；但隨上下文...• 這還真不是玄學，而是浮點運算在不同硬體和 CUDA 核函數上的精度差異。在處理長文本時，推理引擎會自動選擇不同注意力後端，如 FlashAttention 2 或 Triton Attention。這些後端在執行底層矩陣乘法時，採用的運算順...