Search Results "LLM"
10 Posts
LLM探索：环境搭建与模型本地部署
又来折腾LLM本地部署？ChatGLM-6B在6GB显存下就能跑，MOSS却要显存翻倍，这差距。硬件要求高得离谱，但作者硬是在Ubuntu上搞定，佩服？开源LLM本地部署指南，就这？
查看全文LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature
A recent breakthrough in artificial intelligence (AI) is the introduction of language processing technologies that enable us to build more intelligent systems with a richer understanding of language than ever before. Large pre-trained Transformer language models, or simply large language models, vastly extend the capabilities of what systems are able to do with text.
查看全文C#使用iKvm黑科技无缝接入JVM生态
C#开发者用iKVM白嫖JVM生态？省事，但依赖处理还得手动折腾。无缝接入？不过是把JAR转DLL，省了移植代码的麻烦。AI工具缺？直接调用HanLP，但依赖处理，呵呵。
查看全文LLM探索：为ChatGLM2的gRPC后端增加连续对话功能
给ChatGLM2的gRPC后端硬塞了连续对话功能，改了proto、C#客户端和Python服务端代码。OpenAI格式转ChatGLM格式？真够折腾的，幸好有loguru。搞定了，但调试gRPC还是麻烦，考虑改OpenAI接口了。
查看全文使用Django-Channels实现websocket通信+大模型对话
这个只是简单的demo，实际上生产还得考虑很多问题，本文就是为 channels 的应用开了个头，后续有新的研究成果会持续更新博客~
查看全文项目完成小结：使用DjangoStarter v3和Taro开发的微信小程序
后端DjangoStarter v3秒杀开发，ninja API写起来真香。前端Taro做微信小程序？呵呵，微信烂得一坨但居然有护城河？django-filer和tailwindcss还行，分享搞定，就是拖太久没动代码。
查看全文LLM探索：DeepSeek火爆全网，官网宕机？本地部署一个随便玩
DeepSeek官网又崩？本地部署14b模型，web界面倒还凑合。国产大模型热度高，服务器不行就自己搭，呵。代码能力待验证，反正比官网强。
查看全文LLM探索：使用DeepSeek免费平替cursor
Cursor太贵？DeepSeek+Cline勉强能用，但token烧得比我还快。生成的代码bug一堆，还不如自己敲。32k上下文调整后总算不报错，效果嘛，也就那样。
查看全文LLM探索：大模型背后的向量魔法，Embedding技术初探
Embedding技术从Word Embedding发展到动态预训练模型，无处不在，但本文只是过时的基础。LLM时代，向量魔法如此关键，作者却拖更太久，内容早该更新了。
查看全文LLM探索：离线部署Ollama和one-api服务
离线部署Ollama？手动下载上传，导入模型文件，啧，麻烦。one-api用Docker，tiktoken需下载重命名，更烦。添加渠道？简单。
查看全文