加什么标识可以让它不爬取特定连接吗？话说为啥百度一个页面都不收录？
This topic created in 2717 days ago, the information mentioned may be changed or developed.
 |
1
nofollow?
|
1 |
vinsonyMay 29, 2019
2
百度现在废物一个，蜘蛛都不怎么爬的
|
 |
3
在 robots.txt 里 disallow，在 webmaster 里可以临时移除收录。
|
 |
hoyixiMay 29, 2019
4
G 喜欢新站，给你机会，然后就看你内容水平怎么样了
B 是存量大佬的世界，增量如果不是土豪，基本歇菜 |
|
5
某链接不爬：
你模板里该链接加个属性：<a ref="nofollow" 生成站点 sitemap （自己开发，or 找工具生成，最后 sitemap 里面的链接，通常都是你网站文章的 url ），向谷歌提交 |
 |
ningfengMay 29, 2019 via Android
6
百度爬虫太懒了
|
 |
7
百毒不需要爬虫，百家号自己内部数据库搜索
|
Select Language