最近自己折腾了一个项目，叫 TokenCut：
起因其实挺简单。
前段时间一直在做 AI 相关的东西，接的模型越来越多，OpenAI 、Claude 、Gemini ，还有一些便宜的小模型。
用久了之后有一个感觉：
很多请求其实根本没必要用那么贵的模型。
比如翻译一句话、提取 JSON 、做个分类、改一下标题、总结一小段文本。
这些事情用便宜模型基本都能做。
但实际写项目的时候，为了省事，通常还是会固定一个模型。
比如整个项目默认都走某个比较强的模型。
这样写起来最简单，也不用管那么多。
问题就是账单也会比较简单粗暴。
用户问一个很复杂的代码问题，用这个模型。
用户只发一句“hello”，还是这个模型。
慢慢我就在想，能不能在真正调用模型之前，先判断一下这个请求到底难不难。
简单的就交给便宜模型。
复杂的再上强模型。
所以就做了 TokenCut 。
现在的思路是，在用户请求和真正的模型之间加一层。
请求进来以后，先让 Jev 判断这是个什么任务，大概需要什么能力，然后再决定后面调用哪个模型。
比如简单的翻译、分类、信息提取，可能就没必要上特别贵的模型。
如果是复杂代码、长上下文或者 reasoning 比较重的任务，再切到更强的模型。
大概就是：
Prompt
↓
Jev
↓
判断任务
↓
选择模型
↓
实际模型返回结果
我自己比较在意的一点是，这个项目不是为了“永远选最便宜的模型”。
因为那样很容易把体验搞坏。
我想做的是：
不要为一个只需要 60 分能力的任务，付 100 分模型的钱。
当然这里最难的也正是这一点。
到底怎么判断一个任务需要多强的模型？
一开始很容易想到按照 Prompt 长度判断，但后来发现基本不靠谱。
比如：
证明黎曼猜想
没几个字，但显然不是简单任务。
反过来一篇几千字的文章，让模型做个摘要，可能并不需要特别强的 reasoning 。
所以现在更多还是从任务类型、复杂度、上下文、是否需要代码能力、是否需要推理这些维度去判断。
这部分我还在不断调。
另外我也不太想把它做成另一个单纯的模型聚合平台。
现在已经有很多平台解决“我要调用某个模型”的问题了。
我更想解决的是：
我根本不想天天研究这个请求应该用哪个模型。
开发者只管正常调接口，后面具体选谁，让 Router 自己决定。
理想情况下，接入以后你不需要每隔几个月重新研究一遍：
这个模型现在是不是降价了？
那个 mini 模型是不是已经够用了？
这个任务应该走 Claude 还是 GPT ？
哪些请求可以降级？
这些东西如果能自动化，我觉得还是能省不少事情的。
目前项目已经能用了，接口也尽量做成 OpenAI Compatible 的方式，减少接入成本。
地址还是这个：
现在项目还比较早期，所以发出来主要也是想看看有没有人真的有这类需求。
我自己目前最关心的是一个问题：
自动路由模型这件事，大家能接受到什么程度？
比如为了省 30%～ 50% 的模型成本，如果偶尔会出现模型选择没那么理想，你能接受吗？
还是说稳定性比成本重要得多，宁愿固定用一个强模型？
另外如果大家自己也在做 AI 产品，也挺想知道你们现在是怎么处理模型选择的。
是固定一个模型用到底，还是已经自己做了一套路由？
欢迎拍砖。
Select Language