StarBlog番外(5) 从1.6到1.10,Publisher的半年进化之路
StarBlog Publisher半年从v1.6滚到v1.10.7,核心就三件事:AI塞进去(封面/关键词/标题模板)、图片处理自动化(压缩/正则匹配/画廊)、框架升到.NET 10外加Scoop安装。20多个版本硬是把“能用”磨成了“好用”。别的工具还在手动找图,它已经能抢Prompt工程师的活了。
STARBLOG / 技术与日常的文字存档
写下实践中的发现,也留住那些值得回看的想法。
StarBlog Publisher半年从v1.6滚到v1.10.7,核心就三件事:AI塞进去(封面/关键词/标题模板)、图片处理自动化(压缩/正则匹配/画廊)、框架升到.NET 10外加Scoop安装。20多个版本硬是把“能用”磨成了“好用”。别的工具还在手动找图,它已经能抢Prompt工程师的活了。
一个破脚本能测的只是输出是否还在cuda上,跟真正的gpu性能有个毛线关系。跑出来54/55的“通过率”就敢吹ROCm完美?麻烦先去搞清batch_norm为什么挂,再看看你那些操作到底调了哪个后端的kernel。
给ChatGLM2的gRPC后端硬塞了连续对话功能,改了proto、C#客户端和Python服务端代码。OpenAI格式转ChatGLM格式?真够折腾的,幸好有loguru。搞定了,但调试gRPC还是麻烦,考虑改OpenAI接口了。
Embedding技术从Word Embedding发展到动态预训练模型,无处不在,但本文只是过时的基础。LLM时代,向量魔法如此关键,作者却拖更太久,内容早该更新了。
离线部署Ollama?手动下载上传,导入模型文件,啧,麻烦。one-api用Docker,tiktoken需下载重命名,更烦。添加渠道?简单。
下载项目代码 git clone https://github.com/THUDM/ChatGLM-6B.git 创建虚拟环境,建议使用 conda 管理 conda create -n chatglm python==3.8 安装依赖 conda activate chatglm pip install -r requirements.txt conda install cudatoolkit=
A recent breakthrough in artificial intelligence (AI) is the introduction of language processing technologies that enable us to build more intelligent systems with a richer understanding of language than ever before. Large pre-trained Transformer language models, or simply large language models, vastly extend the capabilities of what systems are able to do with text.
又来折腾LLM本地部署?ChatGLM-6B在6GB显存下就能跑,MOSS却要显存翻倍,这差距。硬件要求高得离谱,但作者硬是在Ubuntu上搞定,佩服?开源LLM本地部署指南,就这?
Cursor太贵?DeepSeek+Cline勉强能用,但token烧得比我还快。生成的代码bug一堆,还不如自己敲。32k上下文调整后总算不报错,效果嘛,也就那样。
一个拿350MB小模型给输入法做语境排序的实验,思路倒是比那些堆参数的玩意儿清醒。不过老哥,先用着Web版就别急着吹原生输入法框架,等你能把打字延迟压到100ms以下再说。
DeepSeek官网又崩?本地部署14b模型,web界面倒还凑合。国产大模型热度高,服务器不行就自己搭,呵。代码能力待验证,反正比官网强。
用6650XT在Windows上跑PyTorch?AMD官方都不支持这卡,还得自己编译ROCm。折腾一晚上环境变量和编译错误,结果连个wheel都没生成出来。所以为什么非要在Windows上给A卡炼丹?