如果你有关于爬虫的使用创意，需求。 如果你使用中感到哪里不够合。 如果你操作中发现 bug 。 请一定要告诉我。
热切期待新需求，和反馈问题的造数团队：
[email protected]
www.zaoshu.io
 |
1
会推出一些 side project 方便需求，如果想试用也可以联系我。
|
 |
2
对标的是这个网站吗？ [https://www.import.io/]( https://www.import.io/)
|
|
3
@crayonyi 目标不一样，我们期待第一阶段做他们的功能，接下来做一些有意思的扩展。
|
 |
4
不错
|
|
5
@wjm2038 有什么问题，或者有什么想法一定要告诉我。
|
 |
6
赞一个
|
 |
7
|
 |
strweiNov 10, 2016
9
不错哦
|
 |
10
上次就说过的，数据行都没有对其，图片价格张冠李戴，这怎么用啊。
给个例子： http://www.ikea.com/gb/en/search/?k=chair |
 |
11
安卓手机下有严重的错位。。
|
|
12
@lhx2008 现在刚开始做，手机适配还不行。
|
|
13
@binux 这个问题下周会上一个新版解决。
谢谢上次提出来。这两周 bug 比较多。 |
|
14
@GrahamCloud 如果升级下，感觉就和 https://scrapinghub.com/ 这个差不多。我也一直在做这个， 目前只完成通用爬虫部分： https://github.com/yijingping/unicrawler
|
 |
15
和 import.io 简单对比了一下，在页面异步加载数据的采集效果上还有待改进：
例如 https://item.taobao.com/item.htm?id=529572785771 淘宝商品详情页面的价格数据， 造数目前是没法采集到的，但是 import.io 是可以准确采集到的。 |
|
16
@Magic347 说得对，现在对这类支持的还是不够。
|
 |
17
|
|
18
@chendajun 目前只有勾选，没有提取正文。
|
|
19
@chendajun 目前只有自动勾选，没有提取正文。
|
|
20
@GrahamCloud 现在支持翻页吗？我在平台商没有找到，另外 a 链接地址也没有识别出来
|
|
21
@crayonyi 今天刚挂了，有的功能要以后上。
|
 |
22
访问知乎的时候 CSS 和 JS 都没有加载出来 (知乎的 css 和 js 请求好像都需要 cookie. 我也不造为毛)
|
 |
23
我希望提供 json 的数据接口，而不要 excel 。
|
|
24
|
|
25
现在大家所有的需求和发现的问题都会被感谢，也会被认真处理。
啧啧，谢谢大家。 |
|
26
@crayonyi 现在翻页是可以的
|
 |
27
别的不说
你发在这里 几天以后你会发现爬了一堆奇怪的东东 |
 |
28
在爬淘宝的一个商品页面一直在转...
|
 |
29
一直 loading ，所以采集一个页面需要这么慢？
|
|
30
|
|
31
@wyntergreg 现在爬的数据，确实很奇怪。
|
 |
billyellowNov 11, 2016
32
赞~~~~
|
 |
33
多爬几次会出验证码的网站怎么办呢？
|
|
34
目前没有这个问题。非定时任务是直接爬取，定时任务不妨试试看。
|
 |
35
爬取到的页面能生成 RSS 地址吗
|
 |
36
出现 500 状态码
|
 |
37
创建任务的时候没有问题，但是进入到账户页面进行爬取得时候就总是执行出错了。
|
|
38
@byuc 爬取的页面是？
|
|
39
@tumbzzc 哪个阶段出现的 500 状态？
|
|
40
@GrahamCloud 输入网址之后点“点击试试”
|
|
41
@GrahamCloud 无论是什么页面，在创建完任务进行执行的时候都是提示执行出错，而删除数据的按钮也失效了。我测试过单单抓取百度首页的 LOGO ，也失效。
|
 |
42
一直在分析页面中
|
 |
mythhackNov 13, 2016
43
一直在分析页面中
|
 |
44
呵呵，上次进去随便输入一个 url 无限等待中，这次又进去输入一个简单的 url ，又是无限循环等待。。。
这都能放出来？ |
|
45
|
|
46
首页的那个“点击试试”还是 500 。
注册后提交网址一直是“造数正在为你分析页面” |
|
47
@tumbzzc 因为硬盘满了，已经修复。
|
|
48
准备上新的 Ui 界面，欢迎批评和试用。
|
 |
49
猴
|
 |
50
字体闪瞎我了，首页也就算了，控制台能不能别用 Heiti SC Medium ？
|
|
51
@yh7gdiaYW 现在弄得确实不太好，首页在测试，估计明天马上要上新的了。字体也会更新，求意见求批评。
|
 |
52
手机上首页不匹配，不是自响应？
|
|
53
@zijikai 确实啊，现在只对网页端 URL 功能做了很多尝试。
手机端我们会在周五上一版 UI 。 |
 |
54
最近类似的云爬虫平台很多 我记得还有一个什么 神箭手来着
|
|
55
@wujunze 好用不
|
 |
56
还停留在 “分析页面” 这里。
|
|
57
@est 我这里显示没问题，不知道我们是不是对浏览器适配没做好，求发浏览器和系统概况。
|
|
58
@GrahamCloud 又好了。你们可以上一个 mixpanel 了。
|
|
59
@est 现在在完善分析用户行为的后台。 trace 的方法还不够好
|
 |
60
抓了个淘宝页面玩玩，一直分析中。。。
|
|
61
@alfer 准备周末推新 ui 在各种 测试，实在不好意思。
|
 |
62
输入了一个贴吧地址怎么输出页面和输入差不多
|
|
63
@reticentfat 输出页面是你点一下，就帮你自动识别、勾选同类数据。
|
 |
64
|
|
65
@honkew 目前这样的还不支持，在需求队列中。
|
 |
66
似乎对 Ajax 加载支持不好。例： http://shop.m.jd.com/search/search?shopId=1000010404
|
|
67
@zluyuer 可以期待一下我们这几天马上要出的新版。
|
 |
68
为何我无法爬取到 http://news.163.com/16/1119/09/C67NPATB000187V5.html 上的正文，选中了正文那一个 div 之后爬出来的是一张迷之图片… 有的新闻网站有不同的历史版本，每个历史版本的界面不一样，爬起来就很麻烦。
|
 |
69
注意下 File 协议的问题 容易造成任意文件读取 虽然在 Container 里 我们小伙伴友情测试了下 →_→
|
 |
70
注册时出现邮件 TOKEN 非法
|
|
71
@csx163 求告知细节。
|
|
72
@incrediblink 正文我测试了两次还可以运行，求告知具体配置。
争取周一解决。 |
|
73
@GrahamCloud QQ 邮箱，注册时复制邮箱收到的链接到地址栏，打开地址填写资料到输入密码后出现该提示。我 QQ 邮箱为 cs-x 。
|
|
74
@csx163 现在注册还有问题是么
|
|
75
@jmp2x 感谢小伙伴，强烈感谢。
|
|
76
|
 |
77
我目前想到的，对于”下一页“的解析不是那么的完善，可以考虑增加开发者模式，如果当前的选中单位不符合自己的预期的话，可以自己去编辑。总的来说，和 pyspider ，以及 portia 一样，都是很不错的东东，需要更加的打磨一下就是一个好产品了。
|
|
78
@brucedone 目前可能确实有个开发者模式能更好的服务客户。
|
 |
79
|
|
80
新 UI 不错
|
|
81
@crayonyi 马上还有更多新功能
|
 |
82
希望可以添加将图片或文章自动发送到邮箱， Post 到 G+、 Twitter 、 Tumblr 等。
|
|
83
@cc55555 这三个估计短期内还上不了，图片在考虑
|
|
84
|
|
85
http://www.infosec-wiki.com/?p=308
看到了这篇文章，或许对于你有用处 |
|
86
@cc55555 可以转发到邮箱， rss 和 dropbox 还暂时在排期开靠后的部分，求加团队微信： Zaoshuio
|
 |
87
@GrahamCloud https://www.howbuy.com/fundtool/filter.htm 这个网站的产品如何怕呢，发现翻页的话网址也没有变化。
|
|
88
@Limius 好问题
|
 |
figofutureMar 13, 2017
89
收藏了
|
 |
90
感觉和 import.io 还有些差距，加油
|
|
91
@ospider 感谢！
|
 |
92
您好,目前我们公司爬某东和某宝的数据,但是被封了 IP.不知道你们的服务会不会有这样风险?可否先试用一下.
|
|
93
@ZernonHuang 您是手机看了下吧， web 端免费试用，我们的反爬比较专业，使用后可以多提意见和需求。
|
 |
yangxin0Apr 6, 2017
94
噗。。。明明一个简单页面提取工具，这不叫爬虫啊
|
2
Select Language