STARBLOG / 技术与日常的文字存档
写下实践中的发现，也留住那些值得回看的想法。
A recent breakthrough in artificial intelligence (AI) is the introduction of language processing technologies that enable us to build more intelligent systems with a richer understanding of language than ever before. Large pre-trained Transformer language models, or simply large language models, vastly extend the capabilities of what systems are able to do with text.
又来折腾LLM本地部署？ChatGLM-6B在6GB显存下就能跑，MOSS却要显存翻倍，这差距。硬件要求高得离谱，但作者硬是在Ubuntu上搞定，佩服？开源LLM本地部署指南，就这？
Cursor太贵？DeepSeek+Cline勉强能用，但token烧得比我还快。生成的代码bug一堆，还不如自己敲。32k上下文调整后总算不报错，效果嘛，也就那样。
一个拿350MB小模型给输入法做语境排序的实验，思路倒是比那些堆参数的玩意儿清醒。不过老哥，先用着Web版就别急着吹原生输入法框架，等你能把打字延迟压到100ms以下再说。
DeepSeek官网又崩？本地部署14b模型，web界面倒还凑合。国产大模型热度高，服务器不行就自己搭，呵。代码能力待验证，反正比官网强。
用6650XT在Windows上跑PyTorch？AMD官方都不支持这卡，还得自己编译ROCm。折腾一晚上环境变量和编译错误，结果连个wheel都没生成出来。所以为什么非要在Windows上给A卡炼丹？
