dw2693734d
V2EX  ›  以太坊

用 PostgreSQL 来存储以太坊上的所有交易 transaction,如何分表分库?

  •  
  •   dw2693734d · Feb 27, 2023 · 4500 views
    This topic created in 1350 days ago, the information mentioned may be changed or developed.

    第一,是硬盘存储空间,大概需要多大

    第二,能够快速返回某一个 token 的 transaction 记录,不到 1s

    虽然有第三方的服务,比如 dune.com ,但是用着始终不方便。

    15 replies  •  2023-03-08 13:39:53 +08:00
    unnamedhao
    unnamedhao
    Feb 27, 2023 via iPhone
    1
    几年前全节点数据就大几百 G 了,存库应该只多不少吧。
    另外为了把数据灌到库里,除了库还得部署一套节点?
    stabc
    stabc
    Feb 27, 2023
    2
    这种场景 NOSQL 更适合
    cxh116
    cxh116
    Feb 27, 2023❤️1
    3
    erc20 token 的 transaction 与 eth 本身的 transaction 不是同一个东西.

    token 的 transfers transaction 是合约调用,直接在 eth node 查不出来的,只能查 Transfer event log https://docs.openzeppelin.com/contracts/2.x/api/token/erc20#IERC20-Transfer-address-address-uint256-

    1. 如果只存 token transfers transaction 应该几百 G 差不多了,没存过,所以只能做几简单的估计,之前个人处理 eth transaction ,是把 input 等大字段也存起来了.
    2. eth transaction 目前已经是 10 亿级别了,如果按照每个 eth transaction 有 100 条 token transaction,初步估计数据库有 1000 亿左右. 数据分库分区不熟悉,就不瞎建议了,可以尝试先单表存下来,看有没有瓶颈.
    dw2693734d
    dw2693734d
    OP
    Feb 27, 2023
    4
    @unnamedhao 对,还要节点
    litguy
    litguy
    Feb 28, 2023
    5
    其实你这种场景,NOSQL 更好,Cassandra 之类的 CQL 语言也很好用
    14v45mJPBYJW8dT7
    14v45mJPBYJW8dT7
    Feb 28, 2023
    6
    我们用的 tidb
    dw2693734d
    dw2693734d
    OP
    Feb 28, 2023
    7
    @litguy NOSQL 的性能更好吗,不太懂😂
    litguy
    litguy
    Feb 28, 2023
    8
    @dw2693734d 类似 Cassandra 这样的 NOSQL 又不需要分布式事务支持,性能要好得多,而且不用考虑分库分表这些,至少 10 亿条记录前,不用太在意
    dw2693734d
    dw2693734d
    OP
    Feb 28, 2023
    9
    @litguy 略微懂了,谢谢!
    huadaonan
    huadaonan
    Feb 28, 2023
    10
    @dw2693734d 要不要组个队
    dw2693734d
    dw2693734d
    OP
    Feb 28, 2023
    11
    @huadaonan 要要要
    huadaonan
    huadaonan
    Mar 2, 2023
    12
    @dw2693734d 好啊,加我 tg ,先初步沟通下
    dw2693734d
    dw2693734d
    OP
    Mar 5, 2023
    13
    @huadaonan 你 tg 多少
    sicssss
    sicssss
    Mar 7, 2023
    14
    我在做 nft 聚合订单簿, 可以加个 tg 吗 佬 @maxcute
    huadaonan
    huadaonan
    Mar 8, 2023
    15
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   547 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 19:28 · PVG 03:28 · LAX 11:28 · JFK 14:28
    ♥ Do have faith in what you're doing.