makeitwork
V2EX  ›  数据库

没想到 clickhouse 这么牛逼,比 es 强太多了,搞 quant 适合吗

  •  
  •   makeitwork · Jul 11, 2022 · 6142 views
    This topic created in 1576 days ago, the information mentioned may be changed or developed.

    最近跟朋友讨论一起搞搞 quant ,技术面是看了某 git ( https://github.com/thuquant/awesome-quant )

    数据库和硬件层面不知道用 clickhouse 作为数据库,p5510 ,pm9a3 作为存储,适不适合? 拿 clickhouse 的 500w 数据试验了一下,结合 metabase 牛逼极了,没想到超越了 es 这么多

    当然目前正处于脑暴 bb 阶段,离最后去创业还差得远

    现在互联网不容易,年纪大了随时毕业, 我是搞数据算法的,朋友是搞金融风控的, 君子不器,如果被行业淘汰,总得找找新出路

    27 replies  •  2022-08-24 00:15:25 +08:00
    cweijan
    cweijan
    Jul 11, 2022❤️3
    1
    clickhouse 和 es 的应用场景不同啊大哥
    yang2yang
    yang2yang
    Jul 11, 2022
    2
    并发不行把
    Agdhfdjh
    Agdhfdjh
    Jul 11, 2022
    3
    我也用 ch 做回测数据的存储,加载比 mysql 快太多
    tramm
    tramm
    Jul 11, 2022
    4
    感觉不适合, 并发太低, 除非你的业务展示的数据大家都一样的话, 还有可能.
    28Sv0ngQfIE7Yloe
    28Sv0ngQfIE7Yloe
    Jul 11, 2022
    5
    模拟 30 个用户一起聚合查询就能看出问题了,感觉做业务的话 CH 不适合直查,用物化视图输出聚合报表方便些
    dzdh
    dzdh
    Jul 11, 2022
    6
    ch 不支持更新哦~~
    vvtf
    vvtf
    Jul 11, 2022
    7
    1. ck 对硬件有要求;内存要求高;
    2. 集群副本的话数据量太大 zk 又是一个炸弹; (推荐单节点 zk;)
    3. qps 不会很高;
    4. 不支持事务;不支持更新删除;(虽然有 update 和 delete 的 dml, 但是这个 ck 离线处理的;)
    但是做 olap 报表分析确实不错;
    1988chg
    1988chg
    Jul 11, 2022
    8
    个人觉得 CK 适合做分析,不适合实时的业务。
    dqzcwxb
    dqzcwxb
    Jul 11, 2022
    9
    觉得 clickhouse 比 es 强,只能说明你的业务逻辑足够简单
    Leviathann
    Leviathann
    Jul 11, 2022
    10
    @dzdh replacemergingtree 相当于更新了,不过是异步的
    suixn
    suixn
    Jul 11, 2022
    11
    测一下 Doris 或者 starrocks ,并发会好一些
    PhA
    PhA
    Jul 11, 2022
    12
    clickhouse 我直接限制 5 用户登录,单连接查询最大 100G 内存,百亿 10 多秒就能汇聚好,
    dzdh
    dzdh
    Jul 11, 2022
    13
    @Leviathann insert 走 maxversion 其实也可。
    hush3
    hush3
    Jul 11, 2022
    14
    一直有个疑问。。。clickhouse 的简称到底是 ck 还是 ch 比较好? 好像这两种都有很多人用
    wittyfans
    wittyfans
    Jul 11, 2022
    15
    最近也在研究 clickhouse 配合 metabase 用,但可能没办法申请到集群去部署,不知道 clickhourse 部署在单机上效果怎么样?
    rapperx2
    rapperx2
    Jul 11, 2022
    16
    并发是个大问题
    gabon
    gabon
    Jul 11, 2022 via iPhone
    18
    我们公司日志系统从 es 换到了 ck ,感觉查询语法更丰富,性能更强。估计每天就得上百 tb 的日志数据。
    hush3
    hush3
    Jul 11, 2022
    19
    @xh3ccc 感谢🙏 学习的时候这个页面都没仔细看过 这下明白了
    lxc404
    lxc404
    Jul 11, 2022 via Android
    20
    上周测试环境 zk 炸了连带 ck 全崩了,重建数据搞得怀疑人生
    makeitwork
    makeitwork
    OP
    Jul 12, 2022
    21
    @wittyfans 目前单机实验状态,稳得很!
    zhygkx
    zhygkx
    Jul 12, 2022
    22
    @gabon 你们有日志全文检索需求吗?切换到 ck 是怎么解决的?
    gabon
    gabon
    Jul 12, 2022 via iPhone
    23
    @zhygkx 我们这边是运维直接切的,平时查询是在 kibana 上,页面没变,底层数据源从 es 换到了 ck ,切换流程我不太清楚。
    ivvei
    ivvei
    Jul 12, 2022
    24
    这帖子看得我莫名其妙,人家搞 quant 要并发干嘛?
    t2jk4000
    t2jk4000
    Jul 18, 2022
    25
    @ivvei 一切向互联网看齐(狗头)
    yjhatfdu2
    yjhatfdu2
    Aug 8, 2022
    26
    @zhygkx ch 使用 ngram bloomfilter 做 skip index ,也可以一定程度满足全文索引的需求,效果也是很不错的
    victorc
    victorc
    Aug 24, 2022
    27
    这对 quant 来说,根本无关要紧的事,别误入歧途了,搞半天,最后还是在操练编程开发
    量化最重要的是实盘能稳定赚钱

    我回测也好,实盘也好,啥数据库都不用,全部存文件
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3076 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 11:40 · PVG 19:40 · LAX 03:40 · JFK 06:40
    ♥ Do have faith in what you're doing.