V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
golmic
V2EX  ›  分享创造

全员接单时代! IP 代理池项目完善中!

  •  
  •   golmic · 2017-11-18 12:52:23 +08:00 · 5856 次点击
    这是一个创建于 2573 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这是一个 ip 代理池项目

    https://github.com/lujqme/proxy_pool

    还有一个 Python 数据交流社群,数百名小伙伴们在这里交流数据抓取数据分析以及数据挖掘的内容,如果你有兴趣,也欢迎你加入!

    http://pyanalysis.org/

    微信群现有用户数百人,考虑增开分群。

    为鼓励群里小伙伴动手写代码,让小伙伴们学习数据抓取的内容,群主会为每个成功贡献代码的小伙伴发红包,现在群昵称为 @指间沙、 @Vincent--LC 等数名小伙伴已经获得了近百元的红包奖励~~

    如果你也对数据感兴趣,或者闲来无聊想写点代码,又有钱赚何乐而不为呢?

    群早已超 100 人不能扫码进入,请加微信拉你入群,方式见

    http://pyanalysis.org/

    29 条回复    2017-11-27 21:50:33 +08:00
    jjc27017
        1
    jjc27017  
       2017-11-18 13:11:40 +08:00
    实测,群员之一,努力在学习,表示群里都是大神,群主也比较好耐心哈哈哈哈哈用¥来鼓励我们学习
    ljhygh
        2
    ljhygh  
       2017-11-18 13:13:44 +08:00
    本人目前群里一只小菜鸡,努力学习当中
    zhijiansha
        3
    zhijiansha  
       2017-11-18 13:14:08 +08:00
    可以的,练手挺好,坐等楼主项目完成
    smileghost
        4
    smileghost  
       2017-11-18 13:19:26 +08:00
    超好玩的呀,群主大神带着我们飞,还有红包拿,美滋滋~(~ ̄▽ ̄)~
    dlsflh
        5
    dlsflh  
       2017-11-18 13:21:39 +08:00 via Android
    这楼上的回复我都觉得是机器人。点开除了第一个又好像没啥问题…
    jjc27017
        6
    jjc27017  
       2017-11-18 13:23:00 +08:00
    @dlsflh 我只是注册时间短了一点而已。。。。别这样
    golmic
        7
    golmic  
    OP
       2017-11-18 13:23:28 +08:00
    @dlsflh #5 这都是群里的真实朋友。
    xuyl
        8
    xuyl  
       2017-11-18 13:27:29 +08:00
    粗略看了下项目, 用 scrapy 做爬虫,pipelines 里数据持久化到 mongodb,只不过 process_items 方法有点小问题,没有去重。改成这样也许更好:

    ```
    def process_item(self, item, spider):
    self.db['proxys'].update({'ip': item['ip']}, dict(item), True)
    return item
    ```
    golmic
        9
    golmic  
    OP
       2017-11-18 13:31:48 +08:00
    @xuyl #8 谢谢,去重肯定 要做的,其实这个项目背后还有一个代理打分系统没有开源出来。欢迎一起来交流啊~
    gamecreating
        10
    gamecreating  
       2017-11-18 15:48:20 +08:00
    网站跪了
    sunchen
        11
    sunchen  
       2017-11-18 16:25:42 +08:00
    爬的买的代理 IP 都是垃圾,ADSL 才是王道
    cyancat0525
        12
    cyancat0525  
       2017-11-18 17:19:32 +08:00 via Android
    你确定这个是"池"吗
    golmic
        13
    golmic  
    OP
       2017-11-18 18:08:13 +08:00
    @gamecreating #10 没有啊,一直正常
    golmic
        14
    golmic  
    OP
       2017-11-18 18:08:24 +08:00
    @cyancat0525 #12 确定,后面还有一个打分系统
    steveway
        15
    steveway  
       2017-11-18 19:31:59 +08:00 via Android
    微信群并加不进去
    golmic
        16
    golmic  
    OP
       2017-11-19 08:25:59 +08:00
    @steveway #15 因为人满了,加我微信我拉你。
    steveway
        17
    steveway  
       2017-11-19 10:26:30 +08:00 via Android
    @golmic 就是加你微信没反应呀
    golmic
        18
    golmic  
    OP
       2017-11-19 11:42:41 +08:00 via Android
    @steveway 再加一下,或者我加你,我网站上有各种联系方式
    gamecreating
        19
    gamecreating  
       2017-11-20 09:57:13 +08:00
    @golmic 北京电信 无法链接
    YMB
        20
    YMB  
       2017-11-20 10:42:07 +08:00
    = =
    golmic
        21
    golmic  
    OP
       2017-11-20 12:26:09 +08:00
    @gamecreating #19 其他小伙伴没有反馈。我北京联通正常
    Soar360
        22
    Soar360  
       2017-11-21 11:28:48 +08:00
    爬虫工程师的自(。・∀・)ノ゙嗨
    https://proxy.coderbusy.com/
    naiba
        23
    naiba  
       2017-11-22 09:15:35 +08:00 via Android
    @Soar360 666 啊,ip 是哪里来的
    golmic
        24
    golmic  
    OP
       2017-11-22 12:13:06 +08:00 via Android
    @naiba 互联网采集
    beshe
        25
    beshe  
       2017-11-23 15:14:43 +08:00
    github 上得星较多的一个相似项目

    https://github.com/jhao104/proxy_pool
    golmic
        26
    golmic  
    OP
       2017-11-23 16:24:31 +08:00
    @beshe #25 这个项目我读过源码,存在多线程异步锁未释放问题,排查起来异常复杂,并且现在你去看看 issue 很多人提这个问题。所以自己基于 Scrapy 重写了一套,我也写了一套更完善的打分系统,后续也会开源出来。
    doun
        27
    doun  
       2017-11-25 08:21:47 +08:00 via Android
    不是用 TOR 来做 IP 池比较好吗?
    sangmong
        28
    sangmong  
       2017-11-27 21:50:09 +08:00
    如何区分雌性雄性?
    sangmong
        29
    sangmong  
       2017-11-27 21:50:33 +08:00
    回复错了,尴尬。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3682 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 04:17 · PVG 12:17 · LAX 20:17 · JFK 23:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.