曦远 (DealiAxy)一份私人的文字刊物

StarBlog
STARBLOG · 一册不断续写的手记页次 03

折页手记

关于技术、实践,以及沿途所想。把走过的路,折进文字里。685 篇 · 随写随记

685 篇
LLM

2GB 显存还能跑大模型吗?我在 MX250 老笔记本上部署 Qwen3.5 2BB

七年前的Matebook14,MX250显存2GB,硬塞Qwen3.5 2B——这届玩家是真的敢。核心思路倒是比模型选择更值得学:先看清楚硬件预算,再决定能跑什么,而不是硬上7B然后等CPU掉帧到怀疑人生。1.81GiB直接顶满2GB显存,KV Cache挤出来的空间里,4K Context刚好够用。至于Agent场景?省省吧,2B让MX250当推理节点做轻量任务已经仁至义尽。

阅读全文