本页 12 篇文章
StarBloghttps://blog.deali.cn/blog/llm-exploration-local-deployment
前言 最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了… 上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地部署还是没问题的。 本文将介绍这以下两个国产开源LLM的本地部署 ChatGLM-6B MOSS 本文先简单的把模型跑起来，后续将继续我近期在LLM方向的一些探索记录~ 概念...
StarBloghttps://blog.deali.cn/blog/lllm-ime
...什么话题，用了什么风格，前一句用的哪个词，这些都影响它的预测结果。 那如果我们把这个能力嫁接到输入法里会怎样？ 思路其实很直接：用户输入拼音，拼音作为一个过滤条件，在所有能匹配这个拼音的词里，让 LLM 按当前语境打个分，分最高的排第一。 举个例子：你正在写一篇关于编程的文章，打了 ji 这个拼音。传统输入法可能给你「几」「记」「技」「机」，因为这几个字词频都很高。但如果 LLM 知道你在聊编...
StarBloghttps://blog.deali.cn/blog/llm-gpt-parameters-top-k-top-p-temperature
前言 上一篇文章介绍了几个开源LLM的环境搭建和本地部署，在使用ChatGPT接口或者自己本地部署的LLM大模型的时候，经常会遇到这几个参数，本文简单介绍一下~ temperature top_p top_k 关于LLM 上一篇也有介绍过，这次看到一个不错的图 A recent breakthrough in artificial intelligence (AI...
StarBloghttps://blog.deali.cn/blog/llm-deepseek-website-down-local-play
...多之前 ChatGPT 的遭遇颇为相似。 我已经好久没有本地部署模型了（现在各厂商的模型都便宜量大），这次正好来试试 DeepSeek 开源模型的效果。 关于AI大模型的扩展阅读 LLM探索：环境搭建与模型本地部署 [LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Tem...
StarBloghttps://blog.deali.cn/blog/django-channels-websocket-llm-conversation
... Django 开发者可以在不离开熟悉的环境的情况下，开发出更加丰富和动态的应用。 使用场景 先介绍下使用场景 这个 demo 项目的后端使用 StarAI 和 LangChain 调用 LLM 获取回答，然后通过 WebSocket 与前端通信，前端我选了 React + Tailwind 安装 以 DjangoStarter 项目为例（使用 pdm 作为包管理器） ba...
StarBloghttps://blog.deali.cn/blog/2gb-vram-run-qwen3-5-2bb-mx250-laptop
...了很久，性能也跟不上了，之前想过二手出掉，不过太懒了一直没动，直到最近才想到拿出来重装了 Linux 系统，平时用来部署一些服务，当个 home server 还不错。 这次更进一步，直接部署本地 LLM，后续还可以接入 OpenClaw 或者 Hermes Agent 之类的，看看这个 MX250 显卡能不能来点作用。 先看看这台老机器的配置 先说一下机器配置。 这台 MateBook ...
StarBloghttps://blog.deali.cn/blog/llm-cont-conv-chatglm2-grpc-feat
...用。 主要思路还是用的 OpenAI 接口的那套，降低学习成本，但之前为了快速开发，就只搞了个简单的 gRPC 接口，还差个多轮对话功能没有实现，这次就来完善一下这个功能。 简述 系统分为LLM后端和客户端两部分，LLM后端使用 gRPC 提供接口，客户端就是我用 Blazor 开发的 AIHub 所以这次涉及到这几个地方的修改 proto 客户端 - C# 代码 AIHub...
StarBloghttps://blog.deali.cn/blog/llm-offline-deployment-ollama-one-api
...epseek-r1:32b -f Modelfile 如无意外就导入成功了，可以执行 ollama list 来查看是否已导入。 one-api One API 是一款开源的 LLM（大语言模型）API 管理与分发系统，旨在通过标准的 OpenAI API 格式，统一访问多种大模型，开箱即用。 它支持多种主流大模型，包括 OpenAI ChatGPT 系列、Anthropic C...
StarBloghttps://blog.deali.cn/blog/gpu-operator-coverage-test-tool
...p/rocm-windows-perf-rx6650xt-pytorch-slow) 在 Windows 上用 RX 6650 XT 跑自编译 ROCm + PyTorch 的时候，我遇到一个问题：LLM 推理确实跑在 GPU 上了，但加速比只有 1.7-2.0x，任务管理器里 GPU 利用率也很低。 第一反应是——是不是很多操作没有 GPU 路径，PyTorch 悄悄把计算挪回了 CPU？ 为了...
StarBloghttps://blog.deali.cn/blog/llm-vector-magic-embedding-introduction
本文原本是2022年写的，然而一直没有完善😂，自从LLM火起来之后，NLP领域的技术更新很快，本文只是大概介绍了Embedding相关的基础知识，具体应用接下来会在博客更新发布。 前言 又是很长一段时间没更新博客了，这个暑假非常忙，也稍微做出了一点成果，接下来会继续在博客上分享~ 今年以来，大模型以及相关的应用很火，其中就有一种叫「向量数据库」的东西，向量数据库主要用来存储向量和提供向量查...
StarBloghttps://blog.deali.cn/blog/deepseek-cursor-free-alternative
前言 去年下半年 cursor 非常火，让很多一行代码都不懂的小白，也可以做自己的网站和搭 App，当时一下子就引爆了独立开发的热潮。 不过每月20dollar的价格也不算便宜，这时候可以使用 cline , aider composer + continue 之类的插件搭配其他大模型后端来实现，也能实现类似的效果。 关于AI编程 AI编程现在主要有两种玩法，简单介绍下： ...
StarBloghttps://blog.deali.cn/blog/rocm-windows-perf-rx6650xt-pytorch-slow
...素叠加： **自回归 decode 天生吃不满 GPU。** 每次只生成一个 token，batch=1 的时候 kernel 粒度很小，launch latency 和调度开销占比就上去了。这是 LLM 推理的通病，不独属于 ROCm。 **Qwen3-0.6B 太小了。** 600M 参数，fp16 权重才 1.2GB。小模型在 batch=1 的 decode 阶段，瓶颈往往在内存访问和框架开...