STARBLOG / 技术与日常的文字存档

文章索引

写下实践中的发现，也留住那些值得回看的想法。

681篇文字 · 持续记录中

037LLM2026-05-09

LLM探索：离线部署Ollama和one-api服务

离线部署Ollama？手动下载上传，导入模型文件，啧，麻烦。one-api用Docker，tiktoken需下载重命名，更烦。添加渠道？简单。

038LLM2026-05-09

下载项目代码 git clone https://github.com/THUDM/ChatGLM-6B.git 创建虚拟环境，建议使用 conda 管理 conda create -n chatglm python==3.8 安装依赖 conda activate chatglm pip install -r requirements.txt conda install cudatoolkit=

039LLM2026-05-09

LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature

A recent breakthrough in artificial intelligence (AI) is the introduction of language processing technologies that enable us to build more intelligent systems with a richer understanding of language than ever before. Large pre-trained Transformer language models, or simply large language models, vastly extend the capabilities of what systems are able to do with text.

040LLM2026-05-09

LLM探索：环境搭建与模型本地部署

又来折腾LLM本地部署？ChatGLM-6B在6GB显存下就能跑，MOSS却要显存翻倍，这差距。硬件要求高得离谱，但作者硬是在Ubuntu上搞定，佩服？开源LLM本地部署指南，就这？

041LLM2026-05-09

LLM探索：使用DeepSeek免费平替cursor

Cursor太贵？DeepSeek+Cline勉强能用，但token烧得比我还快。生成的代码bug一堆，还不如自己敲。32k上下文调整后总算不报错，效果嘛，也就那样。

042LLM2026-05-09

用本地大模型驱动中文输入法，我做了一个实验性的项目

一个拿350MB小模型给输入法做语境排序的实验，思路倒是比那些堆参数的玩意儿清醒。不过老哥，先用着Web版就别急着吹原生输入法框架，等你能把打字延迟压到100ms以下再说。

043LLM2026-05-09

LLM探索：DeepSeek火爆全网，官网宕机？本地部署一个随便玩

DeepSeek官网又崩？本地部署14b模型，web界面倒还凑合。国产大模型热度高，服务器不行就自己搭，呵。代码能力待验证，反正比官网强。

044ROCm2026-05-09

Windows + AMD ROCm + PyTorch：debuff拉满的6650xt A卡炼丹折腾经历

用6650XT在Windows上跑PyTorch？AMD官方都不支持这卡，还得自己编译ROCm。折腾一晚上环境变量和编译错误，结果连个wheel都没生成出来。所以为什么非要在Windows上给A卡炼丹？

045ROCm2026-05-09

打包ROCm环境的相关Wheel方便后续使用

呵，折腾半天才发现没法从site-packages直接提取Wheel，还得从官方源重新拖。几个G的ROCm全家桶，预编译好的二进制乐高，省得下次再对着源码干等几小时。

046ROCm2026-05-09

Windows + AMD 显卡，终于能用 PyTorch 炼丹了

Windows+AMD+ROCm+PyTorch这地狱级组合居然跑通了。无非是用了官方ROCm和保守的PyTorch 2.9.1，避开新版本那些破事。下一步？总算能试试炼丹和AI画图了。

047ROCm2026-05-09

告别N卡CUDA垄断，Windows+AMD显卡ROCm跑深度学习：手把手实现 MNIST 手写数字识别

在Windows+AMD的debuff下硬是编译了ROCm版PyTorch，拿MNIST这种“Hello World”来验货。用CNN而不是老掉牙的全连接网络，总算对得起显卡算力。跑完500个batch损失降到0.03，这种基础任务也就测个环境能用罢了。

048ROCm2026-05-09

AMD显卡也能畅玩AI画图！ROCm+ComfyUI部署全指南

用StabilityMatrix在AMD显卡上部署ComfyUI，总算让ROCm派上点正经用场。可视化工作流比早期那堆破烂配置界面强多了，虽然启动时还得手动补依赖。看着GPU利用率拉满生成图像，这才算没白折腾。