Gemini 2.5 Pro / Sonnet 4.5 ，有耐心可以等 Gemini 3 ，大概率强 SOTA

注意 Deepseek 的推理模式不兼容工具调用，出现工具调用后应该是会自动回退到 chat 模型

目前原生视频多模态做的还行的也就 Gemini

有的，通知还会出现去不掉的情况，如 @eagleoflqj 所说。解决方法也很简单

1. 先去设置，开发者设置那里生成一个 classic 的 token

2.
读通知

curl -L \
-H "Accept: application/vnd.github+json" \
-H "Authorization: Bearer <YOUR-TOKEN>" \
-H "X-GitHub-Api-Version: 2022-11-28" \
https://api.github.com/notifications

记下垃圾未读通知的 ID

3. 把他删掉

curl -L \
-X DELETE \
-H "Accept: application/vnd.github+json" \
-H "Authorization: Bearer <YOUR-TOKEN>" \
-H "X-GitHub-Api-Version: 2022-11-28" \
https://api.github.com/notifications/threads/THREAD_ID

CC 一早火出圈，影响力自然大，这就跟一开始很多人听到 AI 听到 LLM 就是 ChatGPT 类似。

而且 codex cli 现在还相对没那么成熟，前段时间才重构到 rust ，现在还在快速迭代的阶段，不过已经算是能用

@aur3l14no 确实，其实 new-api 也有提供透传模式，但是中转用的不多；普通模式这一段时间的改动都是往通用化发展，减少了很多严格的参数限制，除了一些计费强相关的和边缘情况（有一些功能需要重写请求的部分参数）。所以看起来还是往好的方向发展的，不过像 Responses API 这样有状态的 API 中转由于是号池估计还是不太好处理，要单独维护状态，可能要一些更先进的方案了。

---

这个我也不懂了，大概是要赚钱吧（

@aur3l14no 特性这方面考虑到 new-api 所做的努力反而国内很多站支持更好，只要用 new-api 新版+渠道没问题特性支持都很好（基本和官方 API 体验差不多，除非一些 edge case ，比如 Gemini 的大视频上传 Files API 就大都不支持）。推荐的话，非广告且不负责任的推荐个 aihubmix 吧，他家在新特性方面相对前卫，但还是随用随充防止跑路

1. 稳定性没什么问题
2. 一般吧，充值手续费不低

还有一个就是 OpenRouter 特性不太好，OpenAI 模型不支持 Responses API ，也没有 Claude 和 Gemini 原生接口，能接受用用还行

Mistral... 别说和 Qwen GLM 什么的比，之前随手试过几次他们所谓的 SOTA 级别推理模型，我也没上什么难题，输出结果还是令人让忍俊不禁

chat 版，也就是非推理版，进步不大，不过比 4.1 还是强一点，但不多，日常简单问题可以用，其他都推荐推理版

@iyaozhen

> 不是给一个 schema 让模型去生成一个 json 再修语法。而是使用已有的数据（非 json 的 output ），往 schema 上填。

可以很明确的说并不是这样的，各大开源推理引擎都有相关实现可以参考。

---

来具体捋一下：

guided decode 可以确保模型生成的内容满足 json schema （前提是生成会终止），但是“让模型知道我要按某个 schema 输出 json” 是提示词（或者说上下文）做的事。

有的厂商，例如 OpenAI 和火山，他会告诉你：你直接在参数里给我传 schema 就行了，prompt 里不用说我要这个 json ，关注业务就好。这里，它们实际做的事是：在你的 prompt 后面或者在系统提示词里，按一定格式（可能有针对训练固定格式，也可能是直接拼接 prompt ）告诉模型：下面这个是 schema ，你要按照这个生成，最后在 decode 时候由采样器强制规范，完成整个过程。实际上输入给模型的大多是这样的东西（示意）

<|user|>{你的 prompt} <|output_format|>JSON: {schema} <|assistant>

也可以参考 OpenAI 最近的开源模型，它的聊天模板里明确说了

Structured output

To control the output behavior of the model, you can define a response format at the end of the developer message with the following structure:

```
# Response Formats
## {format name}
// {description or context}
{schema}<|end|>
```

是加在系统提示里面的。最后结合推理引擎的 guided decode 生成。

@matrix1010 这里其实比较微妙，实际上现在绝大多数的大模型都或多或少接受过“给定一个 json schema ，生成满足这个 schema 的 json” 这种训练（或者由其他类似的训练泛化得到相同能力）——你可以纯纯的使用 prompt 给模型 schema 要求它生成，他不至于完全做不了，顶多是有些地方会有语法/语义错误，然后 guided decode 就可以强制解决语法错误，至于内容和语义上，最终还是看模型的能力。

@musi #8 ，这里的 decode 是指 LLM 生成的最后一个阶段——从概率分布中采样，不是说 decode json string

这个其实不难，就是推理引擎加个约束采样，感觉更多是不重视，火山引擎就可以

https://www.volcengine.com/docs/82379/1568221

也可以用一些第三方平台提供的推理服务，都有这些功能

https://fireworks.ai/docs/structured-responses/structured-response-formatting

https://docs.nebius.com/studio/inference/json

回复一下附言：PoE 本质上来源还是 API ，但是如果每个月用完他给的点数是比直接买 API 划算；缺点就是没有 c 端的一些特色功能了（例如 ChatGPT 的 o3 各种搜索/代码执行能力；又例如 Gemini APP 的 Deep Research ；又例如 Claude 客户端的 MCP 之类的）

2c
-----------
- ChatGPT Plus / 有限推荐（仅环境满足不降智要求），o3 检索汇总能力独一档
- Gemini APP Pro / 弱推荐（仅有 Deep Research 需求），只有 DR 算是亮点，其他阉割上下文+提示词降智不如用 API
- Claude.ai (Web) / 不推荐（环境要求高，容易封号； Claude 除编程能力外都很一般，有需求建议直接在 AI IDE ，各种 cli 下用）
- Grok / 没用过，看反馈做的还可以，可以考虑充

API
-----------
充中转，很多模型都能用，一般就 Gemini 2.5 Pro / o3 / claude 4 sonnet 这几个看需求用吧，御三家来着。

@frankyzf 有的，比如 openrouter 不支持 responses api

https://github.com/NEKOparapa/AiNiee
https://github.com/neavo/LinguaGacha (不支持 PDF)

术语表生成： https://github.com/neavo/KeywordGacha

其实感觉起来先从 PDF 提文本再给工具翻比较好，比如 doc2x 之类（不想用也可以自己写脚本扔给 Gemini API ），竖排日文不确定能不能做。不行的话单独处理，用类似 https://github.com/kha-white/manga-ocr 的东西

支持！

单从提出的问题数量来看，其实早就在走下坡路了，LLM 可能只是最后一根稻草罢了。这里有更多相关讨论：

https://gist.github.com/hopeseekr/f522e380e35745bd5bdc3269a9f0b132

https://www.reddit.com/r/programming/comments/1i5miw0/stackoverflow_has_lost_77_of_new_questions/