V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fbqk2008
V2EX  ›  搜索引擎优化

请问我的网站上有些页面并没有显示出来过,为什么 google 可以收录呢?

  •  
  •   fbqk2008 · 2018-12-17 05:03:02 +08:00 · 3845 次点击
    这是一个创建于 2188 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我确定也没有发布到别的地方。

    难道出了奇了吗?

    对单独目录学个禁爬声明有用吗?

    9 条回复    2018-12-18 03:07:30 +08:00
    soha
        1
    soha  
       2018-12-17 07:43:50 +08:00 via Android
    /robots.txt ,请。这个文件就是给蜘蛛 /爬虫看的。

    搜索引擎肯定会严格按照你写的 robots.txt 来爬,有良心的造爬虫的人也会按照它的限制来做。
    zmj1316
        2
    zmj1316  
       2018-12-17 09:00:24 +08:00 via Android
    问你的 chrome🤣
    fbqk2008
        3
    fbqk2008  
    OP
       2018-12-17 09:15:13 +08:00
    @zmj1316 我还真的在用 chrome。谷歌都把访问记录同步的么。
    fbqk2008
        4
    fbqk2008  
    OP
       2018-12-17 09:15:33 +08:00
    @soha 好的,谢谢
    Wincer
        5
    Wincer  
       2018-12-17 09:35:11 +08:00 via Android
    设置一下 noindex
    fbqk2008
        6
    fbqk2008  
    OP
       2018-12-17 09:47:35 +08:00
    @Wincer 好的,原来这个有关系呀? google 怎么知道的呢
    Wincer
        7
    Wincer  
       2018-12-17 10:02:37 +08:00 via Android
    @fbqk2008 我不确定是 chrome 记录还是有其他被抓取过的页面有指向你某些未被抓取页面的链接
    dobelee
        8
    dobelee  
       2018-12-17 10:06:09 +08:00 via Android
    没显示出来过是什么意思?有链接能进去就能爬到啊。
    fbqk2008
        9
    fbqk2008  
    OP
       2018-12-18 03:07:30 +08:00
    @dobelee 我确定没有链接进去
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3385 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 00:54 · PVG 08:54 · LAX 16:54 · JFK 19:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.