国内哪个大模型支持结构化输出(JSON schema, 不是 JSON mode)

11 天前
 matrix1010

看了几个似乎都不支持,比如千问的 [https://www.alibabacloud.com/help/zh/model-studio/json-mode#cedc170c4dlts] OpenAI 这个功能应该出了快一年了,不知道为什么国内大模型没跟进

2835 次点击
所在节点    程序员
22 条回复
nno
10 天前
@LeslieLeung 事实上,这种大模型的格式化输出方案,并不是 openai 提出来的;最早是来自于这两个社区
https://github.com/dottxt-ai/outlines
https://github.com/guidance-ai/guidance
iyaozhen
10 天前
@neteroster #12 感谢感谢,学到了。
我们最近有个场景,使用的 agent 框架( ReAct Agent 模式),本身无法设置 output format (模型支持 纯工程上没有支持)
导致又另外加了一个 chat 节点,把 agent 的返回和原始的输入,又过一遍模型,只是为了输出格式满足 json (靠提示词还是不稳定)。但最后这一步其实拿不到中间 tool 调用的上下文。langchain 也是这样搞的,不过他是在原始 chain 加的 node ,能有上下文。
整体感觉怪怪的,看来还是得再研究研究

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1152314

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX