主要场景
私有化大模型产品，用的大模型也是私有化部署
对网关的基础功能需求：
- 模型的负载均衡
- 模型切换时能够平滑切换
- 管理模型的 APIKEY
- LLM ，embedding ，rerank 都支持
- 各种模型的各种来源的使用统计
加分项：
- 比较轻量，资源占用少
- 负载均衡的时候能够兼顾 KV cache
- 能够做提示词的审计或者黑名单
- 能够区分提示词的业务（比如通过关键词），针对业务进行统计
看到有不少做大模型网关的，我没具体用过
求助有用过的推荐推荐
主要场景
私有化大模型产品，用的大模型也是私有化部署
对网关的基础功能需求：
加分项：
看到有不少做大模型网关的，我没具体用过
求助有用过的推荐推荐
Select Language