LLM01
2GB 显存还能跑大模型吗？我在 MX250 老笔记本上部署 Qwen3.5 2BB
七年前的Matebook14，MX250显存2GB，硬塞Qwen3.5 2B——这届玩家是真的敢。核心思路倒是比模型选择更值得学：先看清楚硬件预算，再决定能跑什么，而不是硬上7B然后等CPU掉帧到怀疑人生。1.81GiB直接顶满2GB显存，KV Cache挤出来的空间里，4K Context刚好够用。至于Agent场景？省省吧，2B让MX250当推理节点做轻量任务已经仁至义尽。
阅读全文
STARBLOG · 一册不断续写的手记页次 01
AI-炼丹
关于技术、实践，以及沿途所想。把走过的路，折进文字里。20 篇 · 随写随记
20 篇
LLM02
本地部署大模型哪个性能好？在 8845HS (780M核显) 上的 LM Studio 基准测试
省流：目前用下来 `google/gemma-4-e4b` 是比较均衡的，在速度和性能方面表现都不错
阅读全文
AI-炼丹03
你的显卡能跑多少算子？用 55 个检查项，给 PyTorch GPU 环境做一次冒烟测试
一个破脚本能测的只是输出是否还在cuda上，跟真正的gpu性能有个毛线关系。跑出来54/55的“通过率”就敢吹ROCm完美？麻烦先去搞清batch_norm为什么挂，再看看你那些操作到底调了哪个后端的kernel。
阅读全文
LLM04
LLM探索：为ChatGLM2的gRPC后端增加连续对话功能
给ChatGLM2的gRPC后端硬塞了连续对话功能，改了proto、C#客户端和Python服务端代码。OpenAI格式转ChatGLM格式？真够折腾的，幸好有loguru。搞定了，但调试gRPC还是麻烦，考虑改OpenAI接口了。
阅读全文
LLM05
LLM探索：大模型背后的向量魔法，Embedding技术初探
Embedding技术从Word Embedding发展到动态预训练模型，无处不在，但本文只是过时的基础。LLM时代，向量魔法如此关键，作者却拖更太久，内容早该更新了。
阅读全文
LLM06
LLM探索：离线部署Ollama和one-api服务
离线部署Ollama？手动下载上传，导入模型文件，啧，麻烦。one-api用Docker，tiktoken需下载重命名，更烦。添加渠道？简单。
阅读全文
LLM07
ChatGLM-6B本地部署
下载项目代码 git clone https://github.com/THUDM/ChatGLM-6B.git 创建虚拟环境，建议使用 conda 管理 conda create -n chatglm python==3.8 安装依赖 conda activate chatglm pip install -r requirements.txt conda install cudatoolkit=
阅读全文
LLM08
LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature
A recent breakthrough in artificial intelligence (AI) is the introduction of language processing technologies that enable us to build more intelligent systems with a richer understanding of language than ever before. Large pre-trained Transformer language models, or simply large language models, vastly extend the capabilities of what systems are able to do with text.
阅读全文
LLM09
LLM探索：环境搭建与模型本地部署
又来折腾LLM本地部署？ChatGLM-6B在6GB显存下就能跑，MOSS却要显存翻倍，这差距。硬件要求高得离谱，但作者硬是在Ubuntu上搞定，佩服？开源LLM本地部署指南，就这？
阅读全文
LLM10
LLM探索：使用DeepSeek免费平替cursor
Cursor太贵？DeepSeek+Cline勉强能用，但token烧得比我还快。生成的代码bug一堆，还不如自己敲。32k上下文调整后总算不报错，效果嘛，也就那样。
阅读全文
LLM11
用本地大模型驱动中文输入法，我做了一个实验性的项目
一个拿350MB小模型给输入法做语境排序的实验，思路倒是比那些堆参数的玩意儿清醒。不过老哥，先用着Web版就别急着吹原生输入法框架，等你能把打字延迟压到100ms以下再说。
阅读全文
LLM12
LLM探索：DeepSeek火爆全网，官网宕机？本地部署一个随便玩
DeepSeek官网又崩？本地部署14b模型，web界面倒还凑合。国产大模型热度高，服务器不行就自己搭，呵。代码能力待验证，反正比官网强。
阅读全文
ROCm13
Windows + AMD ROCm + PyTorch：debuff拉满的6650xt A卡炼丹折腾经历
用6650XT在Windows上跑PyTorch？AMD官方都不支持这卡，还得自己编译ROCm。折腾一晚上环境变量和编译错误，结果连个wheel都没生成出来。所以为什么非要在Windows上给A卡炼丹？
阅读全文
ROCm14
打包ROCm环境的相关Wheel方便后续使用
呵，折腾半天才发现没法从site-packages直接提取Wheel，还得从官方源重新拖。几个G的ROCm全家桶，预编译好的二进制乐高，省得下次再对着源码干等几小时。
阅读全文
ROCm15
Windows + AMD 显卡，终于能用 PyTorch 炼丹了
Windows+AMD+ROCm+PyTorch这地狱级组合居然跑通了。无非是用了官方ROCm和保守的PyTorch 2.9.1，避开新版本那些破事。下一步？总算能试试炼丹和AI画图了。
阅读全文
ROCm16
告别N卡CUDA垄断，Windows+AMD显卡ROCm跑深度学习：手把手实现 MNIST 手写数字识别
在Windows+AMD的debuff下硬是编译了ROCm版PyTorch，拿MNIST这种“Hello World”来验货。用CNN而不是老掉牙的全连接网络，总算对得起显卡算力。跑完500个batch损失降到0.03，这种基础任务也就测个环境能用罢了。
阅读全文
ROCm17
AMD显卡也能畅玩AI画图！ROCm+ComfyUI部署全指南
用StabilityMatrix在AMD显卡上部署ComfyUI，总算让ROCm派上点正经用场。可视化工作流比早期那堆破烂配置界面强多了，虽然启动时还得手动补依赖。看着GPU利用率拉满生成图像，这才算没白折腾。
阅读全文
ROCm18
ROCm on Windows 性能排查：RX 6650 XT 跑 PyTorch，为什么加速不明显？
自编译折腾半天，加速不到2倍？小模型+Windows+gfx1032非官方支持，能有这个速度算给面子了。别指望生产环境，当实验玩具玩吧。
阅读全文
AI-炼丹19
AI 如何重塑劳动力市场：基于 Claude 数据的深度分析
Anthropic 的报告揭示，AI 主要用于编程和写作，36% 职业至少 25% 任务涉及 AI，增强占 57% 而非自动化。中高薪职业更常见，低薪和超高薪反而少用，真讽刺？数据开源，但分不清工作用途，局限性明显。
阅读全文
AI-炼丹20
AI画图-StableDiffusion
前言 最近AI很火🔥，先是AI画图，然后就ChatGPT，后者我已经用了一段时间了，用来写作文挺不错的，但OpenAI屏蔽了中国IP，加上用户太多啥的，用起来没那么爽，但没办法全球只此一家，只能捏着鼻子用。而AI画图就不一样了，全是开源的，自己部署一下可以玩个爽~ 正好我们这有台2080Ti的工作站，之前用来训练模型的，现在部署个画图应该轻轻松松，于是就开始了折腾之路~ 效果 先看看我生成出来的
阅读全文