请教一个大模型生成错误 markdown 内容前端检测的问题

15 天前
 NakanoAzure
  1. 接手的第一个需求，大模型会生成错误的 markdown 内容，然后经过组内的 markdownSDK 解析之后，现有的处理逻辑是在用户侧提取渲染的 innerHTML ，然后策略给了几种错误匹配的样例，然后前端用正则去做粗粒度的匹配；
  2. 但是现在这样做有一个问题，就是数量级比较大，用户侧会收集大量的错误例子，然后让策略不好去一个一个找问题，因为有很大部分就是会有误报的内容（就是你没法定义大模型生成的 markdown 语法什么叫对什么叫不对）
  3. 策略现在想提出来大模型生成内容的时候就直接做检测，相当于把检测的这个环节前置，然后 mt 问我有什么好的思路去解决这个问题，原话是“怎么把策略数据通过前端现有的这种方式 渲染出来 看看是否有问题” 想请教下大家有什么好的思路吗，主要是数量级很大，得考虑性能和稳定性吧
543 次点击
所在节点    前端开发
4 条回复
spike0100
15 天前
可以考虑用其他模型来对这个模型的输出做校验。
NakanoAzure
15 天前
@spike0100 这个好像不太行，因为公司说调大模型要钱。。。每天的数量级 1.2 亿，我现在想的是用 Express 或者 KOA 去写个 api 然后给策略他们调，返回对错
NakanoAzure
15 天前
跟 mt 交流了下，应该是前端用 nodejs 写个 api 接口，但是 qps1400 不知道算不算多。。。。之前完全没写过 nodejs 啊不知道这块算不算难
TimePPT
15 天前
https://developer.chrome.com/docs/ai/render-llm-responses?hl=zh-cn

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1141286

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX