以前开源小参数模型基本是玩具，但今年情况有所不同，qwen3.5, gemma4, lfm2.5 这些表现其实都可圈可点了。

我最近在鸡哥无界14x上部署了一些小参数的模型进行测试，主要场景是生成 Git Commit Message，本地模型可以不错的完成这个任务。

我好奇不同模型的速度和效果，目前用下来 google/gemma-4-e4b 是比较均衡的，在速度和性能方面表现都不错，不过由于时间有限，本文先测一下速度。

以下是用工具测试的输出报告，后续我会把用到的工具开源（实际上也是大模型爷爷开发的）

LM Studio 文本生成模型基准报告

测试条件

• 开始时间：2026-08-18T23:02:40+08:00
• API：http://localhost:1234（模型列表来源：api_v1）
• 提示词版本：2026.08.18
• 采样：temperature=0.0, max_tokens=512, top_p=1.0, seed=42
• 轮次：每个模型 × 场景预热 1 次，正式 3 次
• 独占加载：开启（同时只保留当前模型，测完即卸载）
• 超时：180s
• 输出目录：C:\code\1\land-go\data\benchmarks\20260818-230240
• 显存 / 内存：本阶段不测。LM Studio 未提供稳定可读的占用数据时，不做不可靠估算。

场景

• short_answer（短问答）：一两句知识问答，主要观察首字延迟。 主要看 ttft_ms。
• long_generation（长文本生成）：要求约 800 字的说明文，主要观察持续生成速度。 主要看 tokens_per_second。
• reasoning（推理题）：固定难度的算术应用题，主要观察总耗时与稳定性。 主要看 total_ms。
• code_generation（代码生成）：编写带说明的短 Python 函数，观察实用输出速度。 主要看 tokens_per_second。
• long_context（长上下文问答）：先读长文再提问，观察长上下文下的首字延迟和吞吐。 主要看 ttft_ms。

参与测试的模型

• qwen3.5-4b (Q4_K_M)，架构 qwen35
• lfm2.5-8b-a1b (Q4_K_M)，架构 lfm2moe
• liquidai/lfm2.5-2.6b (Q5_K_M)，架构 lfm2
• lmstudio-community/lfm2.5-2.6b (Q4_K_M)，架构 lfm2
• google/gemma-4-e4b (Q4_K_M)，架构 gemma4
• qwen/qwen3.5-2b (Q4_K_M)，架构 qwen35

已跳过模型

运行概况

• 正式请求：90，成功 90，失败 0
• 预热请求：30

按首字延迟（TTFT）排序

越低越好。日常对话、补全输入更看这项，不要只看 tokens/s。

按持续生成速度（tokens/s）排序

越高越好。长文写作更看这项。无法从 API 拿到 completion_tokens 的行不会出现在这里。

按稳定性（总耗时变异系数）排序

越低越好。用正式成功轮的总耗时标准差 / 均值；样本少于 2 次的组合不参与。

综合推荐

• 日常交互更看低 TTFT：优先看 lmstudio-community/lfm2.5-2.6b (Q4_K_M)（场景 long_context，中位 TTFT 2132.39 ms）。
• 长文 / 代码更看持续 tokens/s：优先看 lfm2.5-8b-a1b (Q4_K_M)（场景 code_generation，中位 44.96 tok/s）。
• 稳定性：qwen/qwen3.5-2b (Q4_K_M)（场景 reasoning，总耗时 CV 0.000）波动较小。

明细摘要

如何读结论

• 不要只按单一 tokens/s 决定「最快」。
• 实际选型还要看生成质量、显存占用和失败率，这些不在本报告的速度排名里。
• 修改提示词后应提升 PROMPT_VERSION，把新结果当成新的基准版本。