V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
OrangeDark
V2EX  ›  程序员

Google Analytics 相关 数据加载慢导致爬虫获取错误的 page title

  •  
  •   OrangeDark · 2022-07-27 09:13:55 +08:00 · 1550 次点击
    这是一个创建于 858 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有没有大哥用过 Google Analytics (谷歌分析)啊,有个问题想问下,就是现在详情页的接口调的太慢了,导致 google 的爬虫爬的时候数据还没全加载出来,它就获取不到正确的 page title (后端大哥说是因为这个问题),这种情况应该怎么解决啊。由于服务器在美国,在国内调接口确实慢。

    10 条回复    2022-07-28 10:52:14 +08:00
    xcsoft
        1
    xcsoft  
       2022-07-27 09:44:04 +08:00
    服务端渲染? 但是页面整体打开速度会慢
    Te11UA
        2
    Te11UA  
       2022-07-27 09:46:09 +08:00
    优化不好的单页面就是这样,建议做服务端渲染。服务器在美国那谷歌爬也在美国啊,服务器不背锅。
    OrangeDark
        3
    OrangeDark  
    OP
       2022-07-27 10:20:10 +08:00
    @xcsoft 现在是进行了前后端分离,然后当时选了客户端渲染...现在再想改会很麻烦,唉。
    OrangeDark
        4
    OrangeDark  
    OP
       2022-07-27 10:21:09 +08:00
    @Te11UA 那只能再跟后端讨论下了,当时后端大哥就是要弄客户端渲染,争不过,现在又来问我们有什么办法了,麻了属于是
    unicloud
        5
    unicloud  
       2022-07-27 11:02:35 +08:00   ❤️ 1
    建议 Google 提升爬虫技术,不要犯这种低级错误 [:doge]
    jymsy
        6
    jymsy  
       2022-07-27 15:18:24 +08:00
    OrangeDark
        7
    OrangeDark  
    OP
       2022-07-27 15:48:13 +08:00
    @jymsy 这个可能用不到,我们是请求太慢了,数据还没出来,所以 google 的那个爬虫直接没获取到真实的具体数据
    24owls
        8
    24owls  
       2022-07-27 22:03:08 +08:00
    题主好可怜啊, 自己不看文档,问问题又没人回答。GA 自动发送的 pageview 是可以关掉的,具体方法去翻 UA/GA4 的 gtag/GTM 文档吧
    jymsy
        9
    jymsy  
       2022-07-28 10:50:57 +08:00
    @OrangeDark 这个针对 SPA 网站做的动态渲染,爬虫访问时是后端渲染,普通浏览器访问是前端渲染
    jymsy
        10
    jymsy  
       2022-07-28 10:52:14 +08:00
    @jymsy 自己做也行,判断 UA 加上 puppteer
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2952 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:45 · PVG 20:45 · LAX 04:45 · JFK 07:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.