做爬虫时碰到了问题,求老司机
做爬虫时碰到了问题,求老司机
|
1
这个站点的 JS 还会 writeln 来引入其他的 JS ,有点厉害
|
|
C0VNJan 11, 2016
2
? |
|
halfcrazyJan 11, 2016
3
单纯 http client 请求到的 content 内容是原始的页面,(浏览器、 phantomjs )渲染解析之后多出来的东西就是 js 弄出来的。我是这么理解的,可以试着做一些下 diff 。
|
|
4
@halfcrazy 是的,但渲染一花资源(时间、 CPU ),二是没有很易用的库( python 下)
|
|
5
@xavierskip 可以解决最后获得了哪些 JS 的问题,但分析页面还是得花不少时间
|
|
bdbaiJan 11, 2016 via iPhone
6
直接研究请求好了,会比分析页面更快一些。
|
|
FrankFang128Jan 11, 2016 via Android
7
关系页面干啥
|
|
FrankFang128Jan 11, 2016 via Android
8
关心页面干啥
|
|
zhenzhen37Jan 11, 2016
9
f12
|