V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
boyso
V2EX  ›  程序员

为什么导航站,搜索引擎收录不了你的站?

  •  
  •   boyso · 117 天前 · 1200 次点击
    这是一个创建于 117 天前的主题,其中的信息可能已经有所发展或是发生改变。

    辛苦做好的站,提交各种导航站免费收录时,明明已经加了对方反链但检测不出来,分享最近整理的小经验,按这几招试试排除法:

    1 、一般是首页代码里要有对方反链(常识礼仪);

    2 、检测自己首页代码是不是服务端渲染输出的(可以页面右键看源码),代码里 Ctrl+F / command+F 能 找到对方域名则是服务端渲染的,没有就排查是前端动态加载了,类似 js 输出,打印之类,搜索爬虫都不好这口。|

    3 、如果域名托管的是 Cloudflare (划重点来了,我就栽在这了),需要检查有没有关闭爬虫阻止程序 bot flight ,其他服务商应该也类似。

    4 、检查自己 robot.txt 里有没有有禁止爬虫(基础也再讲一次)

    5 、建议不浪费时间同时也给对方管理员发邮件(两手准备,真诚搞好关系)


    Respact /'_'

    我是 All in AI 的 BOYSO ,如果我的经验帮到您了,非常开心。

    我还搞了一个 AI 工具导航站,就叫 All in AI ,欢迎来换换链子。 https://AllinAI.tools

    7 条回复    2024-08-19 17:41:17 +08:00
    SenseHu
        1
    SenseHu  
       117 天前
    什么框架搭的,我也去整个
    littlejackyxu
        2
    littlejackyxu  
       117 天前
    学到了
    villivateur
        3
    villivateur  
       117 天前
    respect 是不是拼错了
    johnwilson
        4
    johnwilson  
       116 天前
    收录一下我呗: https://tempmail100.com
    boyso
        5
    boyso  
    OP
       113 天前
    @SenseHu NextJs
    boyso
        6
    boyso  
    OP
       113 天前
    @villivateur 哈哈哈是的....
    boyso
        7
    boyso  
    OP
       113 天前
    @johnwilson 安排
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4994 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 08:59 · PVG 16:59 · LAX 00:59 · JFK 03:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.