程序设计实验室
微信公众号
一个技术探索与知识分享的平台~
2GB 显存还能跑大模型吗？我在 MX250 老笔记本上部署 Qwen3.5 2BB
七年前的Matebook14，MX250显存2GB，硬塞Qwen3.5 2B——这届玩家是真的敢。核心思路倒是比模型选择更值得学：先看清楚硬件预算，再决定能跑什么，而不是硬上7B然后等CPU掉帧到怀疑人生。1.81GiB直接顶满2GB显存，...
2026-09-15
605
LLM
本地部署大模型哪个性能好？在 8845HS (780M核显) 上的 LM Studio 基准测试
省流：目前用下来 `google/gemma-4-e4b` 是比较均衡的，在速度和性能方面表现都不错
2026-09-15
1533
LLM
用本地大模型驱动中文输入法，我做了一个实验性的项目
一个拿350MB小模型给输入法做语境排序的实验，思路倒是比那些堆参数的玩意儿清醒。不过老哥，先用着Web版就别急着吹原生输入法框架，等你能把打字延迟压到100ms以下再说。
2026-04-30
1047
LLM
LLM探索：离线部署Ollama和one-api服务
离线部署Ollama？手动下载上传，导入模型文件，啧，麻烦。one-api用Docker，tiktoken需下载重命名，更烦。添加渠道？简单。
2025-02-18
1829
LLM
LLM探索：大模型背后的向量魔法，Embedding技术初探
Embedding技术从Word Embedding发展到动态预训练模型，无处不在，但本文只是过时的基础。LLM时代，向量魔法如此关键，作者却拖更太久，内容早该更新了。
2025-02-07
1486
LLM
LLM探索：使用DeepSeek免费平替cursor
Cursor太贵？DeepSeek+Cline勉强能用，但token烧得比我还快。生成的代码bug一堆，还不如自己敲。32k上下文调整后总算不报错，效果嘛，也就那样。
2025-01-31
1518
LLM
LLM探索：DeepSeek火爆全网，官网宕机？本地部署一个随便玩
DeepSeek官网又崩？本地部署14b模型，web界面倒还凑合。国产大模型热度高，服务器不行就自己搭，呵。代码能力待验证，反正比官网强。
2025-01-30
1775
LLM
LLM探索：为ChatGLM2的gRPC后端增加连续对话功能
给ChatGLM2的gRPC后端硬塞了连续对话功能，改了proto、C#客户端和Python服务端代码。OpenAI格式转ChatGLM格式？真够折腾的，幸好有loguru。搞定了，但调试gRPC还是麻烦，考虑改OpenAI接口了。
2023-10-19
602
LLM