ifake
V2EX  ›  问与答

网站 robots

  •  
  •   ifake · Mar 9, 2016 · 2231 views
    This topic created in 3892 days ago, the information mentioned may be changed or developed.

    为禁止搜索引擎爬虫,之前写了个 robots.txt 文件放在网站根目录下

    记得以前用站长工具测下来, robots.txt 怎么写的,那么测出来的就是相应内容

    然而小于等于 1 个月前,开始发现测出来的 robots.txt 内容,不再是自己写的内容

    前几天干脆删了 robots 文件,然后今天经工具测试,说是 robots.txt 依旧有效

    顿时我莫名了……

    异想天开的问题是: robots.txt 这文件,记得必须是上传在网站根目录下的?

    既然我没加,别人应该不可能通过其他方式“替我”设置了 robots.txt 这玩意儿吧?

    4 replies  •  2016-03-09 22:20:52 +08:00
    Sn0wM4n
    Sn0wM4n
    Mar 9, 2016
    1
    .htaccess 文件呢?
    ifake
    ifake
    OP
    Mar 9, 2016
    2
    @Sn0wM4n .htaccess 从一开始就没有动过,这次问题出来后,也还是特地去看了下,内容就还是原来默认的。
    pi1ot
    pi1ot
    Mar 9, 2016
    4
    可能是你使用的测试工具自己的问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5348 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 03:25 · PVG 11:25 · LAX 19:25 · JFK 22:25
    ♥ Do have faith in what you're doing.