这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
woshishuia

大家敢不敢在 robots 里面屏蔽百度?

  •  
  •   woshishuia · May 31, 2019 · 10440 views
    This topic created in 2712 days ago, the information mentioned may be changed or developed.

    这里好像没有不骂百度,既然如此,为何不直接在自己的网站屏蔽掉它呢,加速他的衰亡(虽然就算不屏蔽百度也未必来收录你)?

    Supplement 1  ·  May 31, 2019
    唉,不知道李彦宏看到一群有价值的内容创造者,对百度的如此态度,心里会有什么想法……
    百度明明可以做的很好,偏偏选择了歪门邪道……
    38 replies  •  2019-06-04 20:59:52 +08:00
    woshishuia
    woshishuia
    OP
    May 31, 2019
    1
    很多站长苦百度久矣,可是就是不会一起变被动为主动。
    sanshiliu
    sanshiliu
    May 31, 2019
    2
    屏蔽很久了,但是百度依然抓取。
    9151
    9151
    May 31, 2019
    3
    员工能代替老板做这种决定?
    hack
    hack
    May 31, 2019
    4
    屏蔽也无视的
    devtk
    devtk
    May 31, 2019❤️1
    5
    君子协定 百度是不会遵守的 。要真想屏蔽 直接在 nginx 上 block 掉
    kindjeff
    kindjeff
    May 31, 2019❤️1
    6
    imkuang
    imkuang
    May 31, 2019 via Android❤️2
    7
    博客放在 Github Pages 上,不用我去屏蔽,Github 帮我屏蔽了🐶
    passerbytiny
    passerbytiny
    May 31, 2019
    8
    君子协定,屏蔽无用。倒不如在你的页面上加一个类似于“不欢迎百度”的提示。
    lzxgh621
    lzxgh621
    May 31, 2019 via Android
    9
    因为他根本不收
    Tink
    Tink
    May 31, 2019
    10
    屏蔽有用??
    est
    est
    May 31, 2019❤️1
    11
    blog.est.im/robots.txt

    路过一下。
    msg7086
    msg7086
    May 31, 2019❤️3
    12
    我根本不关心度娘的死活,为何要特地在 robots 里为他加上一段?

    (然后每次打开 robots 或者 nginx 文件的时候还要特地被恶心一次……
    mason961125
    mason961125
    May 31, 2019 via iPhone❤️1
    13
    nginx 里配置百度的 referrer 直接 403
    kingfalse
    kingfalse
    May 31, 2019 via Android
    14
    想起了当年 360 强行抓某网站,
    lycc
    lycc
    May 31, 2019 via Android
    15
    早已屏蔽
    looking0truth
    looking0truth
    May 31, 2019❤️1
    16
    个人站应该很多都屏蔽了吧 上次见过更狠的,百度跳过去弹窗数落百度的罪证
    sheeta
    sheeta
    May 31, 2019
    17
    @looking0truth coolshell 是这样的,哈哈
    trait
    trait
    May 31, 2019 via iPhone
    18
    实不相瞒,我把 Google 在内的所有爬虫全屏蔽了
    auin
    auin
    May 31, 2019
    19
    403 好评
    Lpl
    Lpl
    May 31, 2019 via iPhone
    20
    @mason961125 你这太暴力了,还不如跳到一个页面说明下更好
    zhttty
    zhttty
    May 31, 2019
    21
    @looking0truth 还不如把这个数落罪证的搞成开源页面(持续更新),后续凡是讨厌百度的开发者,都可以简单引入这个弹窗页,想想就爽。
    waterboy
    waterboy
    May 31, 2019
    22
    鄙人博客屏蔽一切搜索引擎
    haozi1986
    haozi1986
    May 31, 2019
    23
    早就用防火墙把我能找到的百度的 IDC 机房 IP 屏蔽了,可能有误杀,但我觉得可以接受
    为什么这么做,因为 nginx 日志里经常是几百行持续且相同的记录,来源全部是百度的 IP,耗我流量,不能忍
    jisibencom
    jisibencom
    May 31, 2019 via Android
    24
    我就屏蔽几年了。。。。
    turi
    turi
    May 31, 2019
    25
    当年就是遵守君子协议,然后淘宝壮大了。
    elfive
    elfive
    May 31, 2019 via iPhone
    26
    Robot 只是一个约定的规范而已,不一定要强制遵守,你觉得当百度要爬你的时候,你搞个 Robot 就够了??

    另外说一句,百度喜欢在国内时间凌晨 3 点爬我的站。后来我直接给他屏蔽了 ip
    leon0318
    leon0318
    May 31, 2019 via Android
    27
    不用百度都有优越感了,真是服~
    sparkssssssss
    sparkssssssss
    May 31, 2019 via iPhone
    28
    屏蔽掉百度等垃圾爬虫的 ua 啊
    shuirong1997
    shuirong1997
    May 31, 2019
    29
    @looking0truth #16
    @sheeta #17
    @zhttty #21
    https://i.loli.net/2019/05/31/5cf137a891b3a18730.jpg
    coolshell is cool

    搞事情!如果没人做的话,我来搞一个(这就搞)
    shuirong1997
    shuirong1997
    May 31, 2019
    30
    @shuirong1997 #30 原来 CoolShell 已经把那段代码放出来了,在这里: https://coolshell.cn/articles/9308.html 需要的同学自取
    shuirong1997
    shuirong1997
    May 31, 2019
    31
    arens
    arens
    May 31, 2019
    32
    多年前 3Q 大战还不少人罢用呢,现在不还活的好好的,网站和搜索引擎就是水和鱼,对产品平台有看法,可技术又没什么错
    JmmBite
    JmmBite
    May 31, 2019 via iPhone
    33
    别说 robots,IP 都 block 叻
    est
    est
    Jun 2, 2019
    35
    @Spcek 已知。 多谢
    Sapp
    Sapp
    Jun 4, 2019
    36
    不敢,我还要拿他测网速和搜贴吧游戏攻略呢
    Sapp
    Sapp
    Jun 4, 2019
    37
    哦,rebots 啊,那个都不用屏蔽了,反正我博客我自己都不看
    Ayersneo
    Ayersneo
    Jun 4, 2019
    38
    试了,屏蔽了一次,百度权重貌似下降很多
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3742 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 77ms · UTC 00:46 · PVG 08:46 · LAX 16:46 · JFK 19:46
    ♥ Do have faith in what you're doing.