• 请不要在回答技术问题时复制粘贴 AI 生成的内容
lesismal
V2EX  ›  程序员

发布个 AI 用 Golang 造的 Nginx/Caddy 的替代品: fit

  •  
  •   lesismal ·
    lesismal · 9 days ago · 970 views

    地址:

    https://github.com/lesismal/fit

    fit 的功能结合 Nginx/Caddy/Traefik 的功能以及更多其他协议和功能,包括流媒体、BT 、隧道等,自带 web 管理页面,skills 、agent 插件、集群管理等在持续建设优化中。

    性能: 7800x3D 测试环境中多项测试跑分。 fit 的综合性能分数高于 Nginx 。 fit 的综合性能分数远大于 Caddy/Traefik 等 golang 方案。 fit 的内存占用更低,甚至一些场景远低于 Nginx 。

    fit 的视频介绍: fit:nginx / Caddy / Traefik 的替代品——功能、性能与开销,8 分钟讲清楚

    这里是完整的性能测试报告:

    https://github.com/lesismal/fit/blob/main/bench/results/plan-2026-11-06/report.zh-CN.md

    这里是测试项的说明:

    https://github.com/lesismal/fit/blob/main/bench/README.zh-CN.md

    这里是每一项测试的数据:

    https://github.com/lesismal/fit/blob/main/bench/results/plan-2026-11-06/tables.md

    不同软硬件环境、测试参数可能结果不同,欢迎感兴趣的各位自己跑测试数据。

    fit 使用的 golang 网络库也是 AI 造的: https://github.com/lesismal/fib

    因为 TechEmpower 已经归档、无法提交,所以 fib 网络库提交到了 HTTPArena (上个版本其实综合排名第一,近期大幅优化了 H2 、H3 ,而且把压缩降级了导致新提交的 HTTP 1.1 总分不如 fiber ,因为 fiber 用的是一个优化版本,后续会再提交上去):

    https://http-arena.com/frameworks/lang/go

    这个网络库在 7800x3D 分配 8CPU 的环境下,Websocket 百万连接 Echo 测试数据可以跑到 60w 以上 TPS/s 、只占用不到 500M 内存:

    Framework Lang TPS Min Avg Max TP99 Success Failed CPU Avg MEM Avg
    fib go 631548 73.20us 31.22ms 84.47ms 61.44ms 5000000 0 793.82 467.95M
    xinyu391
    xinyu391
    3 days ago
    1
    golang web 服务 cpu 占用 要高 吧
    FabricPath
    FabricPath
    2 days ago
    2
    作为学习的项目还是可以的,要推广到生产用的话很难。
    一个是接入层的性能没那么重要,加机器就行了,即使放到字节这么大流量,算上自建的 CDN 和边缘,接入层的机器占比也不到全公司的 1%。
    还有生态和周边配套的组件,一个已经搭建起来接入层的公司,发布系统如果已经和 nginx/caddy/envoy 耦合的话,几乎没有动力因为“性能”去更换到另外一个技术栈。
    lesismal
    lesismal
    OP
    2 days ago❤️1
    3
    @xinyu391 已经把 golang 的性能推到接近 golang 的极限了。没有一个 conn 一个协程,很多测事项抛满 cpu 然后内存比 nginx、envoy 的还低,可以看这里的测试报告:https://github.com/lesismal/fit/blob/main/bench/results/plan-2026-11-06/tables.md


    @FabricPath 跟学习无关,而是生产为目标,至于推广,随缘。主要是出于爱好把 go 性能往前推,caddy 是在太慢了,很多测试 fit 是它几倍性能。基础协议也是,go 标准库方案,太慢了,慢得令人无法忍受。
    CI 集成和性能测试都很多,覆盖度很高。我就个人开发,推广没有大厂背书、很难。gateway/proxy http1 接近 nginx,其他多数协议和场景比 nginx 强,但 go 的极限也就这样了,能比 nginx 它们强的点是因为 nginx 那些优化太差了,这个场景 rust 更适合,能比 go 版本更强一大截。旧时代人们手搓的基础设施,还有很大优化空间。
    别只看学习和推广有没有用,把代码搞到极致,这是 geeker 的乐趣所在,格局大一些。
    FabricPath
    FabricPath
    1 day ago
    4
    @lesismal 代码搞到极致就应该用 C 系列的静态语言,带 gc 的语言就注定是高不成低不就。在部分场景下比 nginx 好纯粹是因为你牺牲了扩展性以及针对固定场景专门优化过罢了,比如各家根据自己业务特性造的 xxxnginx 轮子。

    跑实际业务的时候,大多公司都是传统的集中式部署 nginx,几万行的 conf,乱七八糟的配置往上堆,长连接短链接混合跑,你也没法保证所有流程都是零分配,所以当能达到 nginx 一样的扩展性的时候,性能一定不会比 nginx 好。

    与其在这些细枝末节的地方追求性能,不如考虑一下,比如 ktls+mlnx 之类的 offload 方案。
    vopsoft
    vopsoft
    1 day ago
    5
    lesismal
    lesismal
    OP
    1 day ago
    6
    > 代码搞到极致就应该用 C 系列的静态语言

    @FabricPath 已经在搞 rust 版一两周了,功能挺多的,先从网络库开始,需要时间。

    我 20 多年前搞 c/cpp,性能高但是开发效率太低,所以搞了十几年 go。
    现在 AI 强了,顺便把 go 推进一下。
    实际上,fit 是基于网络库 fib,最初搞 fib 是想从 c 开始搞,但是只搞了个 epoll 的开头、想了想,内存安全重要,尤其最近几个月、各种高危漏洞被 AI 搞得凶,所以 c/cpp 都没必要了,c 开头后就放弃了、只完成了 go 的。
    然后,go 的版本性能怎么都达不到最强,所以已经 rust 搞了一段时间了,网络库的部分已经差不多了,网络库搞定后再继续对表 fit 的 rust 版本。

    > 与其在这些细枝末节的地方追求性能,不如考虑一下,比如 ktls+mlnx 之类的 offload 方案。

    ktls 之前已经支持了。
    Mellanox 要超大流量专业场景有效、普通场景的包达不到那么大量级而且相对小包场景达不到优化效果。最重要的,我受伤没有专业的这类网卡,没法去测试,所以至少目前自己不会考虑支持。


    > 几万行的 conf,乱七八糟的配置往上堆,长连接短链接混合跑,你也没法保证所有流程都是零分配

    从没追求过零分配。而是为了提高性能的同时尽量降低开销,例如提高内存复用率避免重复分配。
    削内存占用,主要几个大的方面,go 里面:避免单个连接持续占用协程、避免因为在线量导致的协程数量爆炸,避免大 body 对应的大 buffer,避免同步阻塞的方式处理大 buffer、能 streaming/分段的就分段异步去处理。
    这里是一些基础原则,你可以先看下:
    https://github.com/lesismal/fit/blob/main/docs/rules.zh-CN.md


    > 在部分场景下比 nginx 好纯粹是因为你牺牲了扩展性以及针对固定场景专门优化过罢了,比如各家根据自己业务特性造的 xxxnginx 轮子。

    我建议你先看下上面的 rules 内容,以及 fib 和 fit 的功能列表有哪些东西,以及 fit 自带的测试有多少项,然后再来评价是不是专用场景的优化。

    不要靠盲目猜测就否定,你都没搞清楚你否定的内容是不是你猜测的那个样子——这种方法是不严谨的。
    lesismal
    lesismal
    OP
    1 day ago
    7
    @vopsoft 谢谢测试。

    反代我这测通常 nginx 更快一些。
    4.6MB 主包是上传文件还是普通协议响应+gzip 还是什么?
    另外,fit 自带的测试项更多更丰富,如果方便,可以跑更多看看效果。
    lesismal
    lesismal
    OP
    1 day ago
    8
    @FabricPath 这里是别人三方的基础测试,你也可以看一下,都不只是测试某个专用场景。

    fit:https://http-arena.com/#scope=all&type=infrastructure

    fib 也在里面,有兴趣也可以找找看下。当然比不过 c/cpp/rust/zig 那几个,而且他们中的很多框架确实是适合打榜,例如无锁非阻塞直接在 eventloop 里回包、没有逻辑线程。conn 自己无锁,没法并发 write/close,一旦涉及复杂业务需要逻辑线程池,或者哪怕广播,就需要靠 epoll 上单独的 io 操作去给挨个 eventloop 各自对所有 conn 发包,但是逻辑很不友好因为无法判断成功失败也无法判断哪些连接是需要的,如果要做就得额外去增加判断,或者加上逻辑线程池,然后性能就拉了。比如 uWebsockets,常年霸榜各种 websocket benchmark,但是一旦加上逻辑线程池,它的 zero copy、无锁之类的全没用了,然后性能不如我和几个朋友的 go 版本的库。但我们的库都支持通用场景,而不是像他们一样只适合做 gateway/proxy 或者给 client-side 做网络层、反正这些场景都不需要 conn 之间交互、client-side 也不需要那么多连接数和超高的性能。

    即便如此,我仍然对 go 不满意,所以前面也给你讲过了,rust。
    另外,都什么时代了,你竟然还建议 C 系列啊。。。最近 AI 安全的新闻看得还不够多吗。。。
    lesismal
    lesismal
    OP
    1 day ago
    9
    @FabricPath 我正文里有测试项的说明,在这里,这都涵盖很多测试项,从来都不是为了某个专用场景的优化:https://github.com/lesismal/fit/blob/main/bench/README.zh-CN.md


    rust 有 rust 得好,但毕竟有些厂仍然想定制、需要人工,go 的可读性可维护性仍然是高于 rust 的。
    就像你说的:几乎没有动力因为“性能”去更换到另外一个技术栈。
    同样有另外一些场景:一些公司不会为了性能就去用 rust。
    尤其是 nginx 的 lua 改造、扩展并不友好,所以即使 caddy 性能和开销那么拉胯,仍然有不少人用 caddy。
    也是因为考虑到这些,所以我没有中途放弃 go 版本直接去搞 rust 的。

    别盲目就否定一切可能性。
    你不需要的东西,不代表别人没有需要:
    https://github.com/lesismal/fib/issues/1#issuecomment-6948673685
    FabricPath
    FabricPath
    1 day ago
    10
    https://imgur.com/T1D61i2


    你别这么急,既然都开源出来了,总得允许有人质疑吧,又不是那位大人。

    nginx 有大量的周边生态,以及靠 lua 获得的极强的扩展性,在大量生产环境跑了多年,稳定,高性能,高扩展性;
    caddy 主打易用性在小型环境和个人用户中脱颖而出,性能一般,但易用性极强;
    envoy 靠着 k8s 生态捆绑,基本成为了 mesh 的数据面和下一代 gateway-api 的主流实现,性能和扩展性都不如 nginx,但生态绑定。

    那你的定位是什么呢?如果只是个人兴趣,考虑闲鱼 1000 块钱买个 cx6 dx 搞搞 golang 的 tls offload。
    lesismal
    lesismal
    OP
    1 day ago
    11
    @FabricPath

    > 你别这么急,既然都开源出来了,总得允许有人质疑吧,又不是那位大人。

    你贴的图的压测,只是一个短链接场景,20 核跑 640 并发也不高,我也没说 fit 任何场景都领先吧?
    因为自己实现 eventloop、epoll wait 期间会占用一个 P,影响整个 runtime 的调度 cpu 可利用率,调度的亲和性也不如 runtime,HTTP1.x 只有 640 短链接这种本来就是 fit 弱项。

    但实际业务又不是只有 HTTP1 短链接,你只拿某个最弱的项来对比,然后想表达什么,整体不行吗?
    那 fit 还有比 nginx 强的呢,要不我挑一个比 nginx 强的来跟你比?
    而且实际业务,难道都是还在跑 HTTP1 短链接为主吗?连个 keepalive 都不开?pipeline 也没有,HTTP 2/3 mutiplex 也都不用?那即使你用 nginx 或者随便什么,你们业务它就是应该还有优化空间啊。

    不是不允许人质疑,而是你全靠猜测或者专盯着弱项来聊整体这样不合适吧?这样聊的话,相当于找茬。
    我如果也用找茬的方式,只说 nginx 不行的点、caddy 不行的点,是不是就该直接告诉所有人都不要用 nginx、caddy 了?


    > nginx 有大量的周边生态,以及靠 lua 获得的极强的扩展性,在大量生产环境跑了多年,稳定,高性能,高扩展性;

    那请你回答下,为啥别人要搞 caddy,为啥别人要搞 traefik,为啥别人要搞 pingora?
    照你这么说,caddy 是不是该删库?traefik 是不是该删库?
    还有其他的公司内自实现的专用的优化的各种,为啥不都直接用 nginx?


    > caddy 主打易用性在小型环境和个人用户中脱颖而出,性能一般,但易用性极强;

    fit 易用性不必 caddy 差啊,支持的功能比 caddy 还多啊,性能还比 caddy 强呢,所以 caddy 能搞,fit 不能搞?要我说,你先去 caddy 官方建议他们删库,他们钥匙删了,你再来建议我不要搞了


    > envoy 靠着 k8s 生态捆绑,基本成为了 mesh 的数据面和下一代 gateway-api 的主流实现,性能和扩展性都不如 nginx,但生态绑定。

    service mesh 相关的,我早就有规划到 fit 的后续功能中、文档中早都放到那了,但是暂时没那么大动力,因为摊子太大,而且最主要的是未必有用户,而且,go 的性能太让我失望了
    https://github.com/lesismal/fit/blob/main/docs/mesh-roadmap.zh-CN.md

    另外,别说什么生态绑定、下一代主流了,它 cpp 实现还性能这么拉,早晚会有其他替代品的。
    而且,这种重量级的,按照使用的厂商来算,只有少量的厂在用。绝大多数中大厂仍然是自己折腾为主。
    或者,它的 API 可能成为一种标准化,但是实现上,就应该有替代品去优化性能,内存那么贵的,以后 AI 更爆发、各种算力和电力开销都超大,性能提升哪怕一个百分点,都是巨大的节约。
    所以我才开始放弃 go。


    > 那你的定位是什么呢?

    说过了,性能比 caddy 强,易用性比 nginx 强,后续如果做 service mesh k8s 那些,性能和易用性可能都比 envoy 都强,你说定位是什么?
    但是,其实做到一半的时候,我就已经开始后悔了,后悔没直接 rust,因为性能怎么都达不到极致优化的 c/cpp/rust 那些。go 太让人失望了。

    fit 别管别人用不用、我自己已经在用了。
    之前一个自己单独仓库的隧道功能,在外面访问自己家里设备,然后隧道也合并到 fit 里了。
    我猜你是不是要说:隧道、vpn 也有成熟的其他方案,你自己搞没用。
    但是为啥不用别人的?比如 tailscale,前阵子刚暴出高危漏洞,我只能说幸亏我没用。


    > 如果只是个人兴趣,考虑闲鱼 1000 块钱买个 cx6 dx 搞搞 golang 的 tls offload。

    fit 默认 ktls 有一部分可以自动实现、但没有全部支持,看你内核配置、ktls 自动,nginx 也一样只是支持更全。
    如果有设备,确实可以考虑支持,但我没兴趣为了这个单独去买个设备来搞。
    你要是有兴趣而且有设备,欢迎来个 PR,或者咱俩合作,我这边搞代码,你帮我测试,也可以,这种我欢迎。

    即使不加,多数场景也够用了:
    1. 小包请求/响应的瓶颈多数不在加密,用了也提升不明显。
    2. 然后像你上面这种短链接测试,offload 本身成本也未必划算,装密钥到网卡开销大,能承载的连接数有限,即使不是短链接、业务量大的连接数也可以很高。而且如果丢包、网卡数据流重新同步未必整体更强。
    3. 大流量的类型,既然 nginx 成熟,完全也可以用 nginx,我也没说不让别人用。而且,为了保证 API 的稳定,很多部署静态资源通常是和动态 API 分开部署的,这并不影响和 nginx 混用,视频流的本来 go 性能就一般,大项目的即使我自己我也不想用 go 的方案。


    另外,搞不搞这个,不是人的自由吗?我又不指望这个卖钱,我为爱发电好歹也是推动 go 更强,总比那些搞一堆 java、php 风格的 go 框架的人强吧?
    还有就是,我平时不上班的,我搞这个,还有其他几个小伙伴一块玩 go 这些技术、优化性能,我们很有乐趣啊,即使没人用,大家也获得了开心啊。为爱发电图的不是别的,首先是热爱啊!

    所以我再建议一下:你或者其他人(因为我遇到很多这样的情况,包括很多老外)在建议别人别急之前,可不可以先劝劝自己、先不要要求别人如何活着?

    我觉得,咱们还是聊聊,要不要合作把 ktls offload 这块搞了,这个最实在,搞的话来单独开个 PR 或者 issue 里面咱们一块都行
    FabricPath
    FabricPath
    18h 30m ago
    12
    nginx、caddy、envoy 都有各自的特色和生态,才导致他们脱颖而出,问你一句你怎么规划你的产品的定位,你就这么急。还说不得缺点,容不得质疑,一说优点就是我自己厉害,一说缺点就是个人兴趣项目,也不知道哪家少爷跑出来了。
    一说性能就对标 caddy,一说易用性就对标 nginx🤷‍♂️

    为什么用短链接,因为长连接基本就是纯计算和 memcpy,短链接才能看出你怎么优化连接管理,怎么做规则引擎的优化,此外边缘接入点的 http 类型的业务的连接生命周期本来就不长。

    你想要的长连接测试:https://imgur.com/4NdF9ok
    还有你那比 nginx 强的的 h2:https://imgur.com/KOMaxUx (为什么一模拟真实业务就露馅了?)
    都不用模拟真实场景下巨量的规则和各种 rewrite 的情况了。

    过去这些年公司里面动不动就有人跳出来吊打 nginx,这种自嗨项目看多了早就麻木了。现在 AI 几句话就能做对抗性审查,要想吹比可不比几年前容易了。
    FabricPath
    FabricPath
    17h 1m ago
    13
    https://imgur.com/8QoO5hi

    所谓的超越 nginx 的性能原来是靠 64MB 内存把文件加载到内存中啊🤷‍♂️加大文件数量这不就露馅了吗,一个反代服务竟然带全局锁,这像话吗?!
    lesismal
    lesismal
    OP
    16h 34m ago
    14
    > 所谓的超越 nginx 的性能原来是靠 64MB 内存把文件加载到内存中啊🤷‍♂️加大文件数量这不就露馅了吗,一个反代服务竟然带全局锁,这像话吗?!

    所以说你是找茬吧。

    fit 这块的缓存的目的本身就是内存里小文件提高性能的,为了本地文件更新及时性所以有全局锁,而且准确地说它不是全局锁,而是每个 static handler 各有一把,而且是 RWMutex,多数时候并发读、性能影响可以忽略,只有本地文件更新、需要更新缓存的时候才短暂写锁。
    绝大多数场景,小文件,这个是给多数场景热路径的优化。
    而且,缓存的 size 不是固定的,而是可配置的,可以根据需要调整缓存值、而不是像你这种找茬方式的测试、只增加数量和 size 而不修改缓存本身的配置然后让性能拉,因为本身就先走一道缓存再 sendfile、逻辑上浪费一些。
    然后我也想知道,你都是单个 80G 这种日常场景是吧?你只盯着一个特殊场景来说别人不行是吧?那总 size 足够内存缓存的小文件场景 fit 更强你咋不说呢?

    我感谢你测到这个场景,我可以去优化这种数量多并且总量尺寸大的。
    罗马不是一天建成的,我这才搞了两三个月的,没指望一上来就啥都满分,随便有啥不足的你指出来,我刚好去优化,挺好。

    但是,建议你别老阴阳怪气的,好的地方不提然后盯着落后的点就全盘否定的阴阳人语气,你这样交流技术有意思吗?

    既然你用局部否定整体,那同样的盯着少量点的方式比如你自己测出来的 256 并发就是比 nginx 强对吧?
    那我就说我 256 并发小文件缓存就是比 nginx 强,有问题吗?都是按照你的逻辑,是不是没问题?回答我!
    lesismal
    lesismal
    OP
    16h 27m ago
    15
    > 问你一句你怎么规划你的产品的定位,你就这么急。

    @FabricPath 我没回答你定位吗?你是视力不好看不见还是逻辑不好看不懂?


    > 还说不得缺点,容不得质疑

    拜托,你自己看看你是怎么说话的,一上来就 “作为学习的项目还是可以的,要推广到生产用的话很难。”,你这是说缺点和质疑吗?再看看你测试、对比和评价的方法,你这是简单的质疑吗?

    你这是直接否定,并且逻辑不严谨的方式的否定,说白了就是找茬。你找茬,还怪别人喷你?

    另外,前面我不是告诉过你了吗?建议别人别急之前,先自己提高下修养学学怎么做人,别上来就登味十足教别人做人,自己都不会说话,还教别人做人,你有什么资格去教别人不要做这个不要做那个啊?你这是干涉别人自由是你冒犯在先知道吗?


    > 一说优点就是我自己厉害,一说缺点就是个人兴趣项目

    如果有优点,那确实是厉害,有什么问题吗?
    我说个人兴趣的原话拜托你认真阅读理解一下:
    “另外,搞不搞这个,不是人的自由吗?我又不指望这个卖钱,我为爱发电好歹也是推动 go 更强,总比那些搞一堆 java、php 风格的 go 框架的人强吧?
    还有就是,我平时不上班的,我搞这个,还有其他几个小伙伴一块玩 go 这些技术、优化性能,我们很有乐趣啊,即使没人用,大家也获得了开心啊。为爱发电图的不是别的,首先是热爱啊!”

    我有否认你说到的 fit 的缺点吗?
    我是反驳你不要上来就教别人怎么活着,跟否定 fit 缺点有半毛钱关系吗?
    fit 缺点的地方我都照收、能优化的去优化。

    阅读理解都不及格的话,就更建议你,少说话吧。
    lesismal
    lesismal
    OP
    16h 14m ago
    16
    > 你想要的长连接测试:https://imgur.com/4NdF9ok
    > 还有你那比 nginx 强的的 h2:https://imgur.com/KOMaxUx (为什么一模拟真实业务就露馅了?)

    @FabricPath

    第一,你可以把测试代码/流程/脚本发出来,我也自己跑一下,可以优化的地方就优化。
    第二,我正文里有写的你是不是也都不看啊:
    “性能: 7800x3D 测试环境中多项测试跑分。”
    “不同软硬件环境、测试参数可能结果不同,欢迎感兴趣的各位自己跑测试数据。“
    第三,即使同一个协议的测试,不同连接数、payload、并发度各种不同的参数,都有可能排名不同。我测的数据全程让 claude 跑的、没修改过、都是真实数据,我又没撒谎,而且上面说了不同参数可能结果不同,你非要盯着自己测到的 fit 不好的数据说,然后又只对比 nginx,不对比 caddy 了不提跟 caddy 和 nginx 各种综合对比的定位和优劣势了?

    找茬挑刺当然容易了,角度那么多,随便都能找到劣势的点。
    即使不是跟 nginx 对比,我们几个小伙伴都是 go 网络库,不同连接数、payload、并发度,或者在不同的硬件上,排名都会变化。
    而且不是说了吗,为啥有人用 caddy?你 nginx 不够好用啊,合着现在你又只盯着性能不如 nginx 的测试参数全盘否定了?

    每次都只用一只眼看一个点,夏侯惇吗?
    lesismal
    lesismal
    OP
    16h 12m ago
    17
    @FabricPath 所以为啥我自己都放弃 go 了,因为性能肯定干不过 c/cpp/rust 那几个,能做到比标准库方案的那些提高很多、接近性能第一梯队的已经是很难了。
    还有很多额外的易用性,配置动态修改,各种协议、工具,你是都不看的。反正你不敢去建议 caddy 不要搞了,就只擅长拿出你用 nginx 赢了的测试参数在这找茬挑刺,那随便你喽
    lesismal
    lesismal
    OP
    16h 1m ago
    18
    @FabricPath
    还有啊,你倒是把测试的硬件比如 CPU 型号、系统、测试代码/脚本/流程给出完整可用的啊。

    我的测试环境、测试脚本都完整给出了、就在 github 仓库里,我的数据也都是 claude 总结的真实数据,不同硬件可能结果不同,但是你可以在你硬件跑来看看。
    你的测试,我啥都没见到,也没法在我环境跑跑看。

    另外,HTTPArena 是别人三方的软硬件环境,也是各自有高有低的:
    https://http-arena.com/compare/all/#nginx-vs-fit

    我和三方都是测很多项,你就拿少量项而且见不到测试代码/流程/脚本,有意思?
    lesismal
    lesismal
    OP
    15h 56m ago
    19
    @FabricPath 欢迎质疑和找茬,不足的地方能优化尽量优化,但是请你用科学的方法、客观的态度,而不是直接居高临下上来就让人不要做这不要那、这没意义那没意义的。技术交流本来是很有乐趣的东西,都被你们这种否定型人格的上来这么聊的话,你们不只是冒犯、无礼、干扰别人自由,而且你们的方法根本不够客观公正。


    @vopsoft 在 #5 也有测试,也不是 fit 就全输啊,而且大包 gzip 压缩还可能跟默认的压缩级别配置之类的有关,有可能调优配置可以较大提升、至少能缩小一些差距呢,@FabricPath 就只有你,专门拿出 fit 输的来阴阳怪气的全盘否定的态度
    lesismal
    lesismal
    OP
    15h 51m ago
    20
    @FabricPath 还有啊,吵归吵,如果可以,希望兄台来个 PR,把你认为的重要的测试项,提交到 fit 的 benchmark 测试中,我后续持续做更多测试内容、覆盖更多场景,这是好事情。
    而且 rust 版本的网络库,我在收尾,rust 版本的 fit 我还没开始,等 rust 的搞来,还可以 go 版本和 rust 版本一块都再继续跟 nginx pk。
    lesismal
    lesismal
    OP
    15h 50m ago
    21
    @FabricPath 还有啊,可不可以也把你的测试,跑一份 nginx、fit、caddy 一块 pk 的,如果可以,把 traefik、envoy 也都带上更好,我自己的 benchmark 都是这几个一块 pk 的
    lesismal
    lesismal
    OP
    15h 44m ago
    22
    @FabricPath
    全局锁的已经在做 trylock、分片、锁外处理的一些优化了,claude 预估至少 2.5x 以上的提升,等优化完了再说。


    罗马不是一日建成的,fit 的功能点已经太多了,我自己想到的和让 claude 总结的测试项也没那么足够丰富,不可能覆盖所有场景、不可能做到全都优化到 golang 极致,肯定还有不少优化空间。
    所以,吵归吵,你提的落后多的、能优化的点,我都照单全收,并且,真心感谢,欢迎挑更多刺出来。
    要是能来 issue、pr 就更好了,谢谢 🙏
    FabricPath
    FabricPath
    14h 39m ago
    23
    @lesismal 被 claude 哄的开心吧?甚至没发现是架构设计的问题还认为是语言问题?连最基础的按核心水平近线性扩展都做不到,放到现在主流 256、384 核的服务器上,被自己的锁先玩死了。

    此外我根本没有去特挑测试用例,你这些几倍几倍的测试都是为了跑性能测试单独特挑的例子,我只是按照你的 W0 和 W1 和 W2 随便选了个真实场景模拟了一下而已(反代个 echo api 没毛病吧?你那测试靠着预生成响应体吊打 nginx,难道大家用代理服务都是静态 return hello world?)。静态文件服务器开个内存缓存,这对吗?这不就是为了碾压 nginx 临时加个 64M 缓存?边缘的单机基本都是 18 块 18T 的盘,是有多大的内存?

    还有你那些测试脚本,随便让 AI 扫一下你就能发现,一不关睿频,二不关 rps,三不关超线程,连重复测试的变量都对不齐;中断也不绑,靠着 rps/rss 在其他核心偷 softirq 去吊打这吊打哪儿,说不定还开着 irqbalance 呢🤷‍♂️

    我对这些朝 AI 许愿的项目没有兴趣,在这行业干这么多年,这种项目不用想都是定制化场景跑跑性能测试,一上线就爆炸,放到之前古法手搓时代还能说“故意为专门为该场景设计”,放到现在朝 AI 许愿,也就是 AI 给你定制的代码加上定制的测试去哄你开心罢了。
    也就怪 L7 门槛太低了,加上可操作空间大,是个人就能出来屌打 nginx 拳打 envoy,看隔壁爱奇艺的 dpvs 和 meta katran 在 L4 霸榜这么多年也没人跳出来对他们拳打脚踢的。
    lesismal
    lesismal
    OP
    13h 58m ago
    24
    @FabricPath

    > 被 claude 哄的开心吧?甚至没发现是架构设计的问题还认为是语言问题?连最基础的按核心水平近线性扩展都做不到,放到现在主流 256、384 核的服务器上,被自己的锁先玩死了。

    要不你再跟 golang 标准库跑一跑看看?

    > 你那测试靠着预生成响应体吊打 nginx

    各个框架这个是公平的,测的是除了响应体生成之外的基础框架的开销。另外,httparena 里有 json 的项有 db 的项,你自己不跑啊,然后就说别人也不跑?


    > 静态文件服务器开个内存缓存

    场景优化,有效果提升就是真的服务于业务,按你这个说法,你家场景就全用别人开源的固定东西、即使瓶颈了也不能自己定制优化是吧?
    内存缓存不让用是吧?那当年也不应该有 memcache、redis 和业务自己的内存缓存啊,都应该直接请求数据库啊是不是?甚至,ktls 这些你也别用啊,你为啥要用这些高级优化啊?
    64M 可配置,业务有需要我配 1G、2G 能提高业务性能就是好事情,到你这就不行了?然后 ktls 你又要用,怎么,不同层不同技术优化在你这就是不同标准是吧?阴阳人双标评价你不过分吧?


    > 还有你那些测试脚本,随便让 AI 扫一下你就能发现,一不关睿频,二不关 rps,三不关超线程,连重复测试的变量都对不齐;中断也不绑,靠着 rps/rss 在其他核心偷 softirq 去吊打这吊打哪儿,说不定还开着 irqbalance 呢🤷‍♂️

    第一:不关这个不关那个,但是所有框架环境相同,没有开任何作弊和干扰
    第二:测试过程 claude 经常是跑多轮排除噪音干扰的
    第三,合着你家服务为了公平,把睿频之类的都关掉是吧?生产环境也关闭是吧?真是大开眼界!intel 那些动辄基础频率 2 开头睿频 3、4 的,我倒是真想看看,哪些公司真把睿频关了只保留 2 或者 3 开头的基础频率,你们硬件成本都不叫钱随便买是吧?我建议你们最好别买带睿频的 CPU 好了,免得万一忘记关了你岂不要气死?哦哦哦,好像还真难找到不带睿频的 CPU 啊,哎哎哎,这帮 CPU 厂商啊,真弱智,竟然不向您这位大人看齐、竟然制造带睿频这些垃圾参数的东西出来,这帮 CPU 设计师的水平简直是令人发指、死不足惜!
    lesismal
    lesismal
    OP
    13h 49m ago
    25
    @FabricPath

    > 也就怪 L7 门槛太低了,加上可操作空间大,是个人就能出来屌打 nginx 拳打 envoy,看隔壁爱奇艺的 dpvs 和 meta katran 在 L4 霸榜这么多年也没人跳出来对他们拳打脚踢的。

    没人拦着你自己玩 L4,但是我们做的本来就是 L7,拿 L4 来举例子个啥?而且爱奇艺的性能强也不是唯一最强甚至不是最强啊,Google Maglev 的人家也有但是没开源啊,meta katran 不还是抄人家 google 的吗?
    我不是搞运维和网络的,这方面没你熟,搜一下,还有硬件或卸载方案、高一个量级,你要是纯玩 L4 还非要最高性能,那你跑这爱奇艺干嘛,你直接硬件或卸载方案啊。

    聊 L7,你评价方法都不客观,测试硬件软件环境和流程不可见,有啥好说的。
    lesismal
    lesismal
    OP
    13h 44m ago
    26
    @FabricPath 同行相轻,居高临下,自以为是,跑这冒犯,显得自己技术高是吗?有本事你也搞啊,别只是用别人 nginx 啊,至少 cloudflare 的 rust 的 pingora 就比 nginx 强啊,而且 nginx 的多 worker fd 分配不均匀是不用测就知道的客观存在的问题,你都不想想能不能给社区贡献下吗?如果只是用、不想贡献,那就别 BB 别人贡献,吃饱了撑的?

    另外,AI 许愿怎么了,那么多大项目都在用 AI 许愿搞出来、大幅提高性能并且稳定了,而且越来越多的人都在越来越拥抱 AI,重点不是用不用 AI 造东西,而是用 AI 造出来的东西够不够好。
    fit 是 go 版的,不代表我用 AI 的极限,golang 本身就这样,自带 runtime 有 gc 的语言,如果都优化到极致、go 版本的性能肯定比第一梯队的差一截,这还用想?说语言问题你还要 battle,怎么,了解那么多网络知识,纯网络、运维方向啊?编程语言知识完全不懂吗?
    lesismal
    lesismal
    OP
    13h 40m ago
    27
    @FabricPath 抠字眼,钻牛角尖,学了一堆技术知识,就像华山论剑各大门派那帮老掌门似的,掌握的东西非常多,然后最多也就会用,但是连基本的分析问题讨论问题的逻辑、客观性都搞不清楚,让你把测试的软硬件环境代码流程发出来也不发,躲躲闪闪的只知道用不客观的方式嘴炮,我工程代码都放明面上了给你看,你这不就相当于在那暗地里放冷箭然后出来嘲讽吗?可真是会玩呢
    lesismal
    lesismal
    OP
    13h 27m ago
    28
    @FabricPath

    > 中断也不绑,靠着 rps/rss 在其他核心偷 softirq 去吊打这吊打哪儿,说不定还开着 irqbalance 呢🤷‍♂️

    我建议你直接去 go 官方给 golang 判死刑,go runtime 就一个 eventloop 处理所有 event、不在 eventloop 这个线程进行读写,而是派发给线程池之上去调度给协程处理,fit 基于 fib 也是这样、只不过非阻塞的接口和 size 有限的协程池。别人很多高频高性能场景本身就想绑定提高性能、golang 因为语言本身不适合绑定 cpu 和线程(绑定意味着阻塞的系统调用意味着占用一个 P、runtime 少 P 了其他效率就下降了)已经损失了一部分亲和性和优化的可能性、加上 runtime 自己额外还有一层调度损失本来就应该比那几个 top 语言慢,然后你还要叫不公平,真是厉害啊!

    进程内你要限制人家怎么使用系统资源,否则就叫不公平。
    论坛上你要教人家这没用那没用不要搞这不要搞那。
    怎么的,地球非得围着你转,你是太阳啊还是上帝啊?
    lesismal
    lesismal
    OP
    13h 24m ago
    29
    > 连最基础的按核心水平近线性扩展都做不到,放到现在主流 256、384 核的服务器上,被自己的锁先玩死了。

    这个前面说过了,罗马不是一天建成的。
    那么多功能,你当我直接测试覆盖所有场景吗?
    你当我一个版本发完了以后都不更新了吗?
    你当 claude 真强到我说个需求它就直接优化到 100%了?

    局部和整体的眼光看问题不会是吧?
    发展的眼光看问题也不会是吧?
    FabricPath
    FabricPath
    11h 9m ago
    30
    @lesismal 还要怎么说测试环境?上面那几张图说的还不够详细吗,还要怎么说?你难道还要关心 CPU 型号,网卡型号?中断该怎么绑,rps/rfs 怎么关,网卡队列怎么亲和,netns、ip 怎么配置,怎么控制变量,怎么模拟后端服务,怎么构建随机文件模拟静态文件服务,这几张图已经说的很清楚了。
    你先去问问 AI 协议栈和网卡中断的工作原理,我说你去偷 softirq 和 golang 没有任何关系,nginx 一样偷,这不是在说语言,是在说你变量控制太烂。关睿频是让你控制变量做测试,我甚至都不知道你怎么能联想到要去线上关睿频🤷‍♂️

    能被 AI 忽悠成这样,大概率你是连 nginx/caddy/envoy 也没深入使用过,不然你一定能设计出符合实际情况的测试用例。动动脑子也能想到一个 IO 没瓶颈的纯计算逻辑,还带着 runtime,竟然能打出成倍于竞品的 qps,这可能吗?你也知道 golang 性能不如 c,那你这些测试结果你怎么好意思发出来的呢?还是说 AI 写完你压根就不看?

    我从工作以来一直用 go,这 golang 是什么性能我心里有数,你心里没数,我不会用 go 写的服务去碰瓷 c 的性能,我甚至都不会说这 go 写出来的服务计算性能比得过预热后的 java,更何况这高度优化过的 c。
    lesismal
    lesismal
    OP
    8h 59m ago
    31
    @FabricPath

    > 关睿频是让你控制变量做测试

    不要总是觉得你自己的方式就是正确的方式。这么多天梯测试,那么多人做 benchmark,你是我听说的第一个要关闭睿频的。
    TechEmpower 遵循“贴近真实生产环境部署(Simulating production environments)”原则,物理机和云端测试环境均保持标准服务器配置,不会为了测试而特意禁用睿频。
    HttpArena 也不关闭,其他的 benchmark 也没听说谁关闭的,只有你,非要关闭。
    我前面已经说过了,不关闭是贴近生产,你非要关闭、不符合生产环境的方式去压测——我说你生产环境也关闭睿频是嘲讽,真的抱歉,我不装了,我快笑出声了,我真的忍不住嘲讽了,因为你好像连测试的逻辑、客观公平性标准都不考虑,你就只考虑你自己懂的知识点,就要用上,至于符不符合实际需要、你不 care——那还聊什么呢?
    lesismal
    lesismal
    OP
    8h 40m ago
    32
    @FabricPath

    你可能对网络、运维很熟悉,但是抱歉,你并不了解语言和进程内架构的一切。

    > 动动脑子也能想到一个 IO 没瓶颈的纯计算逻辑,还带着 runtime,竟然能打出成倍于竞品的 qps,这可能吗?

    如果都是 HTTP 1x,每个 request id,只能挨个按顺序处理按顺序响应,那当然 golang 很难赢 top 那几个 native 语言。
    但是,HTTP /2,单个 TCP 连接可以 multiplex,每个 stream 带标识,不需要按照读到的包的顺序挨个处理、挨个响应——这个 RPC 是类似的。这就意味着什么你知道吗?多并发处理单个 Conn 的多个请求,在回包时有概率同时并发带锁写入单个 Conn,这意味着可以起到批次优化的效果,比如应用层发送可以先写入发送 buffer 然后 flush,多个并发流一块写、flush 的时候,有可能多个包都被写到 buffer 了然后才 flush,这就是批次合并、减少了 write/send 的 syscall 次数,类似于你如果开了 nagle、延迟发送,他们批次合并、减少了小包高频对网卡效率的浪费,只是一个 L7 一个 L4。一般内核是默认关闭延迟发送的、各种语言多数也如此、因为响应速度友好,但是 L7 fib 有做,所以能起到这个效果,因为 HTTP /2 本来就是这样子。HTTP /3,也不受 HTTP /1 那种单连接的按顺序的限制。
    而 nginx 这种 worker 逻辑单线程没有逻辑线程池不擅长并发回包的,所以可能就没这种批次优化的效果来提高效率了。
    这种简单逻辑的代码,syscall 的消耗占比蛮大的。
    问了 claude 一下 nginx 的:
    nginx 的 HTTP/2 既不是真正并发处理请求,也没有刻意攒一批响应再统一 writev。合并只是 socket 写不动时的副作用。下面是读 nginx master 源码确认的结果。
    这就是为什么我和 HTTPArena 的测试中,fit 在 HTTP /2 能领先的原因。但是你的测试中好像是 HTTP /2 仍然是 nginx 领先?——这是为什么我希望你提供测试代码、环境、流程,因为理论上来讲 fit 跟 nginx 在 HTTP /2 上如果是单 Conn 多并发的测试、有输有赢或者 fit 赢的时候多应该是正常的,我确实不知道怎么办,所以希望你能提供、然后我去复现和优化。

    我不在乎你怎么否定和不讲道理,我只希望把我自己没覆盖到的测试场景、去优化得更好。


    我得承认,网络、运维这个层面,你比我专业,我本来就不是专门干这个,我主要是 L7 的。跟你吵这么多,你的这些关键字,我顺带着搜索和问 claude 也学到一些。但是并不代表你说的有道理。
    就关睿频这个事,我都不知道怎么吐槽你了,我说的你如果不信,你自己搜一下或者看下别人官方表述或者你问 AI 让它帮你总结嘛。。。
    技术这玩意,聊着多有意思啊,人又不是神,有错就认,有好的就骄傲,真实一点简简单单的不好吗?反正我不会的我就认,有啥嘛,脸面重要还是真理重要?没必要为了坚持正确非得绷着脸硬解释。
    lesismal
    lesismal
    OP
    8h 39m ago
    33
    @FabricPath #32

    如果都是 HTTP 1x,每个 request id -> 如果都是 HTTP 1x,每个 request 没有 id/标识
    lesismal
    lesismal
    OP
    8h 35m ago
    34
    @FabricPath 还有,不关睿频,前面也说过了,我再单独强调一次:所有测试框架都不关闭、也是公平的,而且会跑多轮、每个框架多轮浮动比例低才作数、浮动太大的结果会丢弃重跑、排除噪音。而且压测机器上有任务锁,这些任务同时只有一个跑,这个是 claude 自己就这么设计的。
    我也没有开任何作弊、干扰项。
    lesismal
    lesismal
    OP
    8h 16m ago
    35
    @FabricPath

    > 还是说 AI 写完你压根就不看?

    这个你说对了,我基本不看,我只要求它做更多场景测试服盖、CI 流程 lint 和 coverage、还有我要求的提高性能降低开销的这些 rules(前面有贴给你)。


    > 我从工作以来一直用 go,这 golang 是什么性能我心里有数,你心里没数,我不会用 go 写的服务去碰瓷 c 的性能,我甚至都不会说这 go 写出来的服务计算性能比得过预热后的 java,更何况这高度优化过的 c。

    我知道 go 很慢,这也是为什么要搞 fib、fit 这些的原因。
    你如果非要用 go 标准库,那它活该比优化过的 java 慢,netty 就比 go 标准库强的多。

    至于跟 c 比,#32 我已经给你解释过为什么 fib/fit 在我和 HTTPArena 的测试中比 nginx HTTP/2 快了,如果你能看懂拿就请你清醒点,不是每个 c/cpp/rust 都在每个场景最快的,这几个语言像 nginx 这种单线程无锁的有很多,他们很多在 HTTP/2 都有优化空间。
    你能得出前面 go 的一定比 c 的慢的结论、完全不考虑协议和架构流程,说明你对这几种语言不同框架在并发网络编程架构和各种协议上的区别并不像你对网络/运维知识那么了解。
    我问了下 claude,也让它跑了下简单压测,syscall 占比大概在 70-80%,HTTP/2 这种 multiplex 场景,批次合包节省很多 syscall、对应着也提高挺多吞吐的。除非都是大包直接写满了都等着都应用层的待发送 buffer 合并,但是大包基本就不用 HTTP/2 了,大包比如文件这些都走 HTTP/1 了,这种肯定是 HTTP/1 多连接或者 HTTP/3 更好,避免 HTTP/2 单个 Conn 线头阻塞问题。
    lesismal
    lesismal
    OP
    8h 6m ago
    36
    @FabricPath

    既然你用 go,你知道标准库慢,欢迎你试试 fib 啊。

    有兄弟人家识货、跟我一块优化呢:
    https://github.com/lesismal/fib/issues/1#issuecomment-6948673685

    另外,我手搓的 arpc 本来也非常快啊。这也是别人鸟窝老师做的三方测试,相对公平:
    https://colobu.com/2022/07/31/2022-rpc-frameworks-benchmarks/

    你前面有提到字节,那我也提一句:字节也有 kitex-benchmark,但是他们自己给自家的定制 2 连接数、其他框架用 10 连接。这种对轰,连接数少、并发度高、批次合包的效率可能更高,他们精心调校的 2 连接最佳平衡点跑得高正常。
    但是首先如果不做更多连接测试,如果 server 只有 2 连接、那不如不要用 RPC 了、直接逻辑内嵌在调用的进程里就好了,压测本来也要考虑 server 多连接的嘛。
    第二,他们定制 2 连接,我也有试过,确实比我 10 连接快,但是如果我也定制连接数比如不同软硬件环境 2-5 连接调校个最优的连接数,仍然领先他们快百分之十几个点。而且那只是基于标准库的 arpc,基于 fib 的 arpc、比基于标准库的更快的多。内存开销也比他们的更是少很多。
    而且我的 arpc 功能还更多、场景更丰富,支持 server-side push、支持 client-side call,做推送、聊天、游戏各种都可以,哪像他们传统 RPC 那么难用。
    lesismal
    lesismal
    OP
    8h 3m ago
    37
    @FabricPath #36

    支持 server-side push、支持 client-side call
    ->
    支持 server-side/client-side call
    支持 server-side/client-side notify/push(不需要 response)
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2009 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 02:19 · PVG 10:19 · LAX 18:19 · JFK 21:19
    ♥ Do have faith in what you're doing.