lFOqSK
V2EX  ›  问与答

Bing 爬虫怎么会爬到我网站的后台管理地址的?

  •  
  •   lFOqSK · Jun 5, 2023 · 1771 views
    This topic created in 1262 days ago, the information mentioned may be changed or developed.
    发现 Bing 的爬虫竟然直接爬取我的用户后台一个特定的管理地址。

    要访问到这个地址,用户必须登录后在后台主页点击按钮跳转。

    而 Bing 的爬虫竟然直接就爬取这个地址了。我检查了日志,我的网站对这个请求至始至终只返回 404 给 Bing ,但是它就是锲而不舍地定期爬取这个地址。

    我的网站没有提供任何 sitemap 给搜索引擎。公开页面也不存在跳转到这个页面的超链接。不知道它到底是怎么获得这个地址的。

    非常奇怪。好奇问下,Bing 会收集 Edge 用户的访问记录来爬取网站吗?
    8 replies  •  2024-09-18 16:09:10 +08:00
    DTCPSS
    DTCPSS
    Jun 5, 2023
    1
    难道这就是传说中的分布式爬虫
    opengps
    opengps
    Jun 5, 2023
    2
    可能有人把这个地址发在公网了
    zenxds
    zenxds
    Jun 5, 2023❤️2
    3
    可能是有人或者什么漏洞扫描器伪造 Bing 的爬虫在爬?
    Lentin
    Lentin
    Jun 5, 2023
    4
    会。
    terence4444
    terence4444
    Jun 5, 2023 via iPhone
    5
    你用 edge 刚问过这个地址吗?
    tf2
    tf2
    Jun 5, 2023
    6
    如果你是通用建站程序,估计 bing 有智能。
    googlefans
    googlefans
    Jun 5, 2023
    7
    大概率是伪造 bing 的爬虫 扫你服务器
    salmon5
    salmon5
    Sep 18, 2024
    8
    通过 Edge 的访问记录,微软这是作大恶
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3151 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 00:53 · PVG 08:53 · LAX 16:53 · JFK 19:53
    ♥ Do have faith in what you're doing.