目前提供线上 AI 服务的成本居高不下，如果能把 AI 模型集成到客户端中，这块的服务成本省了，用户也得到了方便。
This topic created in 919 days ago, the information mentioned may be changed or developed.
 |
zcf0508Apr 28, 2024
1
用户：我只有核显可以做到 100t/s 吗？
|
 |
lurenjiauserApr 28, 2024
2
TensorFlow js....
|
 |
malusamaApr 28, 2024
3
用户： 这个客户端怎么好几个 G ？ 里面到底塞了啥
|
 |
ysc3839Apr 28, 2024 via Android
4
libtorch 跑 torchscript ，或者干脆弄个 embedded Python
|
 |
nickfox5880Apr 28, 2024
5
你们自己做的 ai 模型吗？
|
 |
jianchang512Apr 28, 2024
6
如果不在意体积，可以用 python 包下，提供个 api 给 electron 用
|
 |
wxxxcxxApr 28, 2024
7
Mozilla 好像开源了一个可以以单文件分发大模型的工具
|
|
wxxxcxxApr 28, 2024
8
|
 |
shadowyueApr 28, 2024
9
你的 AI 模型如果核显的性能都带的动，那可以试试
|
 |
AKAUPApr 28, 2024
10
1. 模型逆向泄露风险
2. 适配多端平台的开发难度评估 3. 用户客户端算力、处理芯片的不统一，可能会带来使用体验的降低 4. 客户端体积包增大 这是我想到的四个缺点叭，不知道合不合理 |
 |
JirajineApr 28, 2024
11
能跑是能跑，但这可不能像 electron 每个应用都带一个 chromium 一样每个应用都带一个 llama 。
|
 |
kneoApr 28, 2024 via Android
12
可以用 ollama 本地部署，然后你用 http api 调用本地服务就可以了。
你的 electron 实现端只需要负责调 API ，可以配置为使用云端的（比如 openai ）或者本地的。类似实现一大把，自己找找吧。可以搜索 local llm 之类的。 |
 |
yolee599Apr 28, 2024 via Android
13
线上服务都嫌成本高，那本地部署成本更高了
|
 |
CurtionApr 28, 2024
14
看什么模型，一般可以使用 onnxruntime 来做
|
 |
horizonApr 28, 2024
15
当然可以，本地大模型才是未来
|
 |
GarphyApr 29, 2024
16
用 ollama 可以提供模型 api ，可以命令行导入第三方模型 gguf 文件
|
 |
knightgao2Apr 29, 2024
18
3.5 应该成本很低呀，你可以考虑限制免费用户的频次，根据二八原则，选个大多数人可以接受的就行
|
 |
jones2000Apr 29, 2024
19
直接卖给客户一个计算盒子，模型计算直接在盒子里计算。
|
Select Language