简介

Lu.Xing

记录日常所思所想。

• 2026.08.20AWQ 如何通过基于缩放的方法降低量化误差从量化误差的传播路径出发，推导 AWQ 为什么用激活值寻找显著权重、缩放为什么能降低误差，以及缩放系数为什么不能无限大。
• 2026.08.144GB 显存跑 vLLM：三道显存闸门与 12 组实测在 RTX 3050 Ti Laptop 4GB + WSL2 上用 vLLM 跑 Qwen2.5-VL-3B-AWQ，把启动期的显存失败拆成三道闸门，用 12 组扫描量出 non_kv、offload 上限与 batching 的真实收益。
• 2026.05.28你好，世界站点第一篇，说明这里会写些什么。