大模型吐 JSON

关键字搜索「结构化输出」。需要定义 json schema

就是模型能力问题. 我最近也是大量这种长文本的生成. 豆包 1.6 错误率非常高. qwen, ds3.1, gemini 要好一些. 但是要多样化, 几个模型都要使用. json_schema 也依赖模型能力, 使用了 json_schema,返回非 json 也是很常见的. 后面直接改成返回非 json 了(适用于返回的字段比较少的情况)

1. 换更强大的模型 能极大的降低 json 幻觉的概率。 之前 qwen 2.5 几乎每天都有，切到 qwen3 就基本上很少见到了。
2. 重试。一般都是偶发的，出现问题的时候 重试一下就可以了。
3. 代码兜底处理。

@luoyou1014 遇到了楼主说的 JSON 多半个花括号的问题，用了 langchain 的那个 output schema 什么的好多了

最近几天刷到 pydantic AI ，这东西好用么
刚才随手试了下，光切换成百炼模型就折腾了好一会（直接看源码还是太菜）

确实。有时候还给我在 json 里加上``` ```这种 markdown 语法，想骂人。

没事，gemini 2.5 pro 都会有这种问题。

这个似乎无解，多了总会有一些出错

用 json_repair

更复杂的情况可以用 LLM 进行二次修正

写个启发式的 json parser ，不难的

大模型就是会出错，所以工具侧要有纠错机制。

上次 v2 有个人说什么掌握了 Claude Code 核心机制，然后说别人纠错代码那么多根本没用，真是惹我发笑。

就我自己测试来看，结构化输出比起什么限制都不加容易降智，不如解析 markdown 代码块

function call 然后重试

模型能力问题。
1. 如果现在 Zero-shot ，就换成 Few-shot ，看看效果；
2. 如果只是很少的情况会这样，那就重试一下就可以了。或者直接把 json 部分丢到 小模型里，让他纠错。
3. 实在不行就换模型呗。