程序设计实验室
微信公众号
一个技术探索与知识分享的平台~
LLM探索：为ChatGLM2的gRPC后端增加连续对话功能
给ChatGLM2的gRPC后端硬塞了连续对话功能，改了proto、C#客户端和Python服务端代码。OpenAI格式转ChatGLM格式？真够折腾的，幸好有loguru。搞定了，但调试gRPC还是麻烦，考虑改OpenAI接口了。
2023-10-19
811
LLM
你的显卡能跑多少算子？用 55 个检查项，给 PyTorch GPU 环境做一次冒烟测试
一个破脚本能测的只是输出是否还在cuda上，跟真正的gpu性能有个毛线关系。跑出来54/55的“通过率”就敢吹ROCm完美？麻烦先去搞清batch_norm为什么挂，再看看你那些操作到底调了哪个后端的kernel。
2026-05-20
1414
AI-炼丹