STARBLOG / 技术与日常的文字存档

AI-炼丹

写下实践中的发现，也留住那些值得回看的想法。

20篇文字 · 持续记录中

001LLM2026-09-15

2GB 显存还能跑大模型吗？我在 MX250 老笔记本上部署 Qwen3.5 2BB

七年前的Matebook14，MX250显存2GB，硬塞Qwen3.5 2B——这届玩家是真的敢。核心思路倒是比模型选择更值得学：先看清楚硬件预算，再决定能跑什么，而不是硬上7B然后等CPU掉帧到怀疑人生。1.81GiB直接顶满2GB显存，KV Cache挤出来的空间里，4K Context刚好够用。至于Agent场景？省省吧，2B让MX250当推理节点做轻量任务已经仁至义尽。

002LLM2026-09-15

本地部署大模型哪个性能好？在 8845HS (780M核显) 上的 LM Studio 基准测试

省流：目前用下来 `google/gemma-4-e4b` 是比较均衡的，在速度和性能方面表现都不错

003AI-炼丹2026-05-20

你的显卡能跑多少算子？用 55 个检查项，给 PyTorch GPU 环境做一次冒烟测试

一个破脚本能测的只是输出是否还在cuda上，跟真正的gpu性能有个毛线关系。跑出来54/55的“通过率”就敢吹ROCm完美？麻烦先去搞清batch_norm为什么挂，再看看你那些操作到底调了哪个后端的kernel。

004LLM2026-05-09

LLM探索：为ChatGLM2的gRPC后端增加连续对话功能

给ChatGLM2的gRPC后端硬塞了连续对话功能，改了proto、C#客户端和Python服务端代码。OpenAI格式转ChatGLM格式？真够折腾的，幸好有loguru。搞定了，但调试gRPC还是麻烦，考虑改OpenAI接口了。

005LLM2026-05-09

LLM探索：大模型背后的向量魔法，Embedding技术初探

Embedding技术从Word Embedding发展到动态预训练模型，无处不在，但本文只是过时的基础。LLM时代，向量魔法如此关键，作者却拖更太久，内容早该更新了。

006LLM2026-05-09

LLM探索：离线部署Ollama和one-api服务

离线部署Ollama？手动下载上传，导入模型文件，啧，麻烦。one-api用Docker，tiktoken需下载重命名，更烦。添加渠道？简单。