请教一个关于爬虫的思路

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 1677 days ago, the information mentioned may be changed or developed.

我想采集 app 里面的图片，这个 app 是类似一个机器人通过按钮点击就直接返回一张图片，但是这个图片地址每天都会更新一次，这种情况有什么好的解决办法

图片 url 示例:http://xxxxx.com/spic_data/20220405/7EB2D469A634CAAD683B7334E2D387A5.jpg

图片

App

钮点击

URL

10 replies • 2022-04-14 12:07:01 +08:00

4rfv5tgb

Apr 5, 2022

简单点可以直接用 requests 请求整个网页下来，复杂点你就用 selenium+chrome driver,直接模拟人的点击，然后分析网页 page_source

EgT

Apr 5, 2022

@4rfv5tgb 是手机 app 就是因为抓包没看到其他请求，只有点击按钮的时候会返回一条图片的 url

cnbattle

Apr 5, 2022 via Android

可以参考下我抓抖音的方式 github.com/cnbattle/douyin 🙈

EgT

Apr 5, 2022

@cnbattle 好的谢谢我去看看

zoranz

Apr 6, 2022

可以考虑 appnium 思路最快肯定还是抓到接口

Skiro

Apr 6, 2022 via Android

抓包+逆向通常可以解决你遇到的 90%以上的问题。

EgT

Apr 6, 2022

@zoranz 就是因为抓包没看到其他请求，只有点击按钮的时候会返回一条图片的 url ，现在换了个思路看看他图片命名规则是什么加密的

EgT

Apr 6, 2022

@Skiro 好的，抓包没有看到请求，等会儿学学逆向看看

zoranz

Apr 14, 2022

解决了吗抓包没看到请求是因为现在大部分 app 弄了个啥东西你用 fiddler 挂了代理之后他就不给你访问了吧好像

EgT

Apr 14, 2022 via Android

@zoranz 没有换了其他方式来做了，这个机器人走的 tcp 协议