我们在做一个面向海外用户的产品,现在在用 gpt-3.5-turbo ,服务器在新加坡,经常要 10 秒才响应,想问下可以怎么优化?
我们在做一个面向海外用户的产品,现在在用 gpt-3.5-turbo ,服务器在新加坡,经常要 10 秒才响应,想问下可以怎么优化?
|
chuck1inNov 20, 2023
1
务器在放在日本也有这个问题,用的 gpt4 ,还是很慢。还以为是网络问题,原来大家都有这个问题吗?
|
|
tool2dNov 20, 2023
2
gtp4 无可替代,但是 3.5 改用国内的替代大模型,基本回复都能达到相同水准,并且响应速度飞快。
|
|
3
想问下大家 3.5 的响应速度一般是多久
|
|
TinkNov 20, 2023 via iPhone
4
10 秒?不可能吧...我的 1 秒左右(国内服务器挂梯子)
|
|
wujiang007Nov 20, 2023
7
你说的是非 stream 模式吧? GPT4 只会更慢,用 stream 边出字边显示,看起来会快一点。
|
|
braderNov 20, 2023
9
大家知道哪个地方的服务器,访问情况会最好吗
|
|
yinminNov 21, 2023 via iPhone
11
以前注册的后付费账户的 api 速度快,最近注册的预付费的 api 速度慢很多。
|