WinG
V2EX  ›  问与答

Selenium 怎么异步抓数据?

  •  
  •   WinG · Mar 20, 2020 · 1367 views
    This topic created in 2418 days ago, the information mentioned may be changed or developed.
    假设页面 A,

    此时我要对页面 A 做 B-C-D 操作,此时页面 A 的数据不停变化,

    在我不暂停 B-C-D 操作的情况下,怎么保持持续去抓取页面 A 变化的数据?

    在搜寻器搜了一大轮,没找到答案,请大神指教,感激。
    3 replies  •  2020-03-21 09:25:11 +08:00
    WinG
    WinG
    OP
    Mar 20, 2020
    1
    自己小推一下。没人帮助 :(
    gou7ma7
    gou7ma7
    Mar 21, 2020 via Android
    2
    首先用单例起一个 webdriver,然后开启很多个标签页,用 queue 维护一个标签页池,然后用一个上面说到的单例锁。之后每次都是从池子里面去标签页对象处理,和页面交互的时候锁上。
    WinG
    WinG
    OP
    Mar 21, 2020
    3
    @gou7ma7 谢谢回复,没看懂,我的页面 A 极度耗资源,只能打开一个,怎么办?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5041 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 07:53 · PVG 15:53 · LAX 23:53 · JFK 02:53
    ♥ Do have faith in what you're doing.