ling516

Python 如何获取网页下滑分类的所有链接地址

  •  
  •   ling516 · Jan 22, 2022 · 1816 views
    This topic created in 1648 days ago, the information mentioned may be changed or developed.

    https://opensea.io/0x88f9782286b8fe9c03a7e3ddae3a006826fc1ac8?search[sortBy]=LAST_TRANSFER_DATE&search[resultModel]=ASSETS&search[query]=ccc 这个网站 想要根据关键词搜索到所有图片链接 但是这个是下拉模式 下拉才会显示后面的图片 每次页面只显示 27 个链接 实际搜索出来有 100 多个 如何获取搜索结果的所有链接

    3 replies    2022-01-27 17:29:47 +08:00
    christopheredwar
        1
    christopheredwar  
       Jan 22, 2022
    我看刑
    Telegram
        2
    Telegram  
       Jan 23, 2022
    @christopheredwar #1 国外的,不刑。

    F12 ,往下拉,看请求。
    VagabondH
        3
    VagabondH  
       Jan 27, 2022
    1. 用 selenium 库,启一个无头浏览器;
    2. 判断滚动条是否可往下滚动,可以往下滚动的时候利用脚本改变滚动条高度触发加载;
    3. 不能往下滚动隔一段时间间隔之后,断言为搜索完成,返回所有链接。

    或者也可以直接伪造请求头,直接请求列表接口拿数据拼出来链接
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3920 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 05:16 · PVG 13:16 · LAX 22:16 · JFK 01:16
    ♥ Do have faith in what you're doing.