StarBlog番外37
StarBlog番外(5) 从1.6到1.10，Publisher的半年进化之路
StarBlog Publisher半年从v1.6滚到v1.10.7，核心就三件事：AI塞进去（封面/关键词/标题模板）、图片处理自动化（压缩/正则匹配/画廊）、框架升到.NET 10外加Scoop安装。20多个版本硬是把“能用”磨成了“好用”。别的工具还在手动找图，它已经能抢Prompt工程师的活了。
阅读全文
STARBLOG · 一册不断续写的手记页次 07
折页手记
关于技术、实践，以及沿途所想。把走过的路，折进文字里。685 篇 · 随写随记
685 篇
AI-炼丹38
你的显卡能跑多少算子？用 55 个检查项，给 PyTorch GPU 环境做一次冒烟测试
一个破脚本能测的只是输出是否还在cuda上，跟真正的gpu性能有个毛线关系。跑出来54/55的“通过率”就敢吹ROCm完美？麻烦先去搞清batch_norm为什么挂，再看看你那些操作到底调了哪个后端的kernel。
阅读全文
LLM39
LLM探索：为ChatGLM2的gRPC后端增加连续对话功能
给ChatGLM2的gRPC后端硬塞了连续对话功能，改了proto、C#客户端和Python服务端代码。OpenAI格式转ChatGLM格式？真够折腾的，幸好有loguru。搞定了，但调试gRPC还是麻烦，考虑改OpenAI接口了。
阅读全文
LLM40
LLM探索：大模型背后的向量魔法，Embedding技术初探
Embedding技术从Word Embedding发展到动态预训练模型，无处不在，但本文只是过时的基础。LLM时代，向量魔法如此关键，作者却拖更太久，内容早该更新了。
阅读全文
LLM41
LLM探索：离线部署Ollama和one-api服务
离线部署Ollama？手动下载上传，导入模型文件，啧，麻烦。one-api用Docker，tiktoken需下载重命名，更烦。添加渠道？简单。
阅读全文
LLM42
ChatGLM-6B本地部署
下载项目代码 git clone https://github.com/THUDM/ChatGLM-6B.git 创建虚拟环境，建议使用 conda 管理 conda create -n chatglm python==3.8 安装依赖 conda activate chatglm pip install -r requirements.txt conda install cudatoolkit=
阅读全文