• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zealinux
V2EX  ›  程序员

有没有反向代理 Azure OpenAI 的 Proxy 推荐?

  •  
  •   zealinux · Jan 13, 2025 · 2070 views
    This topic created in 661 days ago, the information mentioned may be changed or developed.

    其实未来,单个 Azure OpenAI 的接口并发量不够,

    是否可以有什么反向代理,类似 Nginx ,

    可以后端可以指向多个 Azure OpenAI 的 endpoint ? 然后对前端供统一的 AK/SK

    wind1986
    wind1986
    Jan 13, 2025
    1
    这请求不是无状态的么, 要么通过代码随机选一个
    要么 nginx 配也可以, 直接修改 http 头
    Tink
    Tink
    Jan 13, 2025
    2
    自建一个呗,几分钟 的事
    ysicing
    ysicing
    Jan 13, 2025
    3
    oneapi 不就可以么
    ydirel
    ydirel
    Jan 14, 2025
    4
    ohmygpt 了解一下
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2967 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 11:19 · PVG 19:19 · LAX 03:19 · JFK 06:19
    ♥ Do have faith in what you're doing.