实验室有项目需要豆瓣电影的数据，所以写了一个爬虫爬了一下。
目前抓到了约 12.5W 个条目，不知道这个数目是否靠谱？
目前抓到了约 12.5W 个条目，不知道这个数目是否靠谱？
This topic created in 3968 days ago, the information mentioned may be changed or developed.
Supplement 1 · Dec 24, 2015
目前已经抓到 16w 条目，来源有两部分：
1. 热门标签
2. 观影量较多的用户
目前来看第二种方法能够收集到更多的数据，因为很多影片是无法通过标签页查看到的（一个极端的例子： http://movie.douban.com/subject/11598908/）
最后有大神要是抓到更多，可以在本帖留言告诉我！
1. 热门标签
2. 观影量较多的用户
目前来看第二种方法能够收集到更多的数据，因为很多影片是无法通过标签页查看到的（一个极端的例子： http://movie.douban.com/subject/11598908/）
最后有大神要是抓到更多，可以在本帖留言告诉我！
 |
OrzplsDec 22, 2015 via Android
1
应该不止，如果豆瓣收录全了，每年全球电影有几千部吧。
|
 |
ieliwbDec 22, 2015
2
估计要 x10 吧,哈哈
|
 |
undeflifeDec 22, 2015
3
你居然能爬豆瓣 12 万多条目？我浏览器开电影详情页开快了就让我输验证码了,死循环的输...
|
 |
trepwqDec 22, 2015 via iPhone
5
不止吧，豆瓣有不少 imdb 没有的分级电影，还有些根据政策不与显示的
|
 |
qian19876025Dec 22, 2015
6
这就不是盗版 ？
|
 |
ceoimonDec 22, 2015
7
|
 |
wibileDec 22, 2015
8
豆瓣有好多电影不显示了，不清楚为什么。能搜索到，点详情就提示不存在。我也爬过。。。
|
Select Language