• 请不要在回答技术问题时复制粘贴 AI 生成的内容
xiyangyang
V2EX  ›  程序员

做爬虫,大批量已搜索 url 链接,如何保存和查询

  •  
  •   xiyangyang · Mar 29, 2016 · 3268 views
    This topic created in 3873 days ago, the information mentioned may be changed or developed.

    几年前,流行 bloomfilter ,现在有什么新的技术吗?

    5 replies  •  2016-03-31 11:20:17 +08:00
    firstway
    firstway
    Mar 29, 2016 via Android
    1
    Hbase,呵呵
    SlipStupig
    SlipStupig
    Mar 29, 2016
    2
    bloomfilter 只是个算法.......
    murmur
    murmur
    Mar 30, 2016
    3
    我其实是好奇关键字可以用倒排索引 那么 site:xxx.xxx.com 这个是怎么实现的呢
    knightdf
    knightdf
    Mar 30, 2016
    4
    为啥要用新的。。。 bloomfilter 不能满足你?
    xiyangyang
    xiyangyang
    OP
    Mar 31, 2016
    5
    考虑要做几亿条 url 连接记录,不知道 bloomfilter 合适不?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1463 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 99ms · UTC 23:16 · PVG 07:16 · LAX 15:16 · JFK 18:16
    ♥ Do have faith in what you're doing.