V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
onice
V2EX  ›  程序员

必须用微信浏览器打开的网页怎么爬?

  •  
  •   onice · 2019-08-09 17:15:30 +08:00 · 3751 次点击
    这是一个创建于 1953 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位 V 友,大家好。

    我想做一个自动挂号的脚本,但挂号的网页必须用微信浏览器打开才能正常登陆。

    如果不用微信浏览器打开,输入用户名和密码后,网页提示微信号为空,登陆失败。

    我猜测网页中有代码获取了微信号,但是本人没做过微信开发,不知道原理。

    请教大家这种网页该怎么去爬?谢谢~

    补充一下链接: http://cfywx.zwjk.com/weixin/login.htm?loginType=userLogin

    第 1 条附言  ·  2019-08-10 18:27:20 +08:00
    感谢大家的解答。我伪造了浏览器 UA,携带了登陆后的 cookies 就行了。主要是抓包抓到登录的 url,而不是登录失败跳转后的 url
    14 条回复    2019-08-10 22:29:04 +08:00
    337136897
        1
    337136897  
       2019-08-09 17:41:28 +08:00
    顶一下同求这些的方法
    nigelvon
        2
    nigelvon  
       2019-08-09 17:44:06 +08:00
    用自己的微信打开一下然后把 Cookie 复制出来,爬的时候改一下 UA 设置上 Cookie 就可以了
    luckyswag
        3
    luckyswag  
       2019-08-09 18:09:09 +08:00 via Android
    同问
    moonkiller
        4
    moonkiller  
       2019-08-09 18:11:03 +08:00
    抓包??
    lxrmido
        5
    lxrmido  
       2019-08-09 18:11:27 +08:00 via iPhone
    用手机爬
    NicholasYX
        6
    NicholasYX  
       2019-08-09 18:12:29 +08:00 via iPhone   ❤️ 1
    抓包看一下 openid
    tikazyq
        7
    tikazyq  
       2019-08-09 18:35:31 +08:00 via iPhone
    UA 更改一下,顺便打一波广告,Crawlab 爬虫管理平台,支持任何一种编程语言的爬虫

    https://github.com/tikazyq/crawlab
    airyland
        8
    airyland  
       2019-08-09 19:07:53 +08:00
    抓包看 cookie(也有可能是 jwt 等其他鉴权方式)
    zjiecode
        9
    zjiecode  
       2019-08-09 19:36:17 +08:00
    实现有 2 种:
    1、判断 UA,这种修改一下 UA 就 OK 了
    2、微信登录获取 openid 以后,在进行后续操作,这种看你爬多大数量,数量小,,就自己搞几个 openid 轮流访问,数量大,基本无解,除非网站有漏洞。
    mokeyjay
        10
    mokeyjay  
       2019-08-09 19:39:39 +08:00
    医院黄牛比一般黄牛可耻得多
    pdfgo
        11
    pdfgo  
       2019-08-10 12:06:00 +08:00 via Android
    下载微信开发者工具,然后选择 web 开发,就可以搞起来了。
    unclemcz
        12
    unclemcz  
       2019-08-10 12:15:18 +08:00
    先抓包,再模拟环境。
    当然诚如 @mokeyjay 所说,如果只是自用还倒好,如果是靠这个倒号,缺德事不作为好。
    dalieba
        13
    dalieba  
       2019-08-10 19:28:55 +08:00 via Android
    搜狗自己就能爬,不知道他们是怎么做到的
    win7pro
        14
    win7pro  
       2019-08-10 22:29:04 +08:00
    Fiddler
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1620 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 16:16 · PVG 00:16 · LAX 08:16 · JFK 11:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.