V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
adrianyoung
V2EX  ›  分享创造

写了一个 celery 爬虫监控 demo

  •  1
     
  •   adrianyoung ·
    adrianyoung · 2019-03-27 21:26:13 +08:00 · 3607 次点击
    这是一个创建于 2079 天前的主题,其中的信息可能已经有所发展或是发生改变。
    花了一两周在摸 celery 的坑

    然后用 Python 写了个监控脚本针对 celery task 和 worker

    主要靠 Prometheus + Grafana, 简单粗暴, 甚至感觉有点爽 ?

    跟 flower 比的话, 还能更灵活点,外加有个报警功能

    顺手贴下 grafana dashboard 对应模板: https://grafana.com/dashboards/9970

    顺手贴下 github: https://github.com/adrianyoung/CrawlerMonitor

    相关安装、配置、用法都在 wiki 后面写了备忘

    单独监控 rabbitmq 有个比较火的模板 https://grafana.com/dashboards/2121

    还有很多可以完善的地方, 后面会慢慢补足
    第 1 条附言  ·  2019-03-27 22:41:54 +08:00
    觉得有用的 v 友可以顺手给个 star~~~
    4 条回复    2019-03-31 20:27:42 +08:00
    pandachow
        1
    pandachow  
       2019-03-28 01:09:08 +08:00
    真是有缘...
    adrianyoung
        2
    adrianyoung  
    OP
       2019-03-28 12:31:49 +08:00
    @pandachow 哈哈哈哈都是路人
    6d6f33
        3
    6d6f33  
       2019-03-31 19:55:34 +08:00
    感谢。
    不过 celery 4 不知道你会不会遇到一个神坑,定时任务的服务会莫名其妙的随机很多天后死亡(停止)。如果遇到了,也解决不了的话,记得去看看 RQ,这个简单点,可定制程度也很高。
    adrianyoung
        4
    adrianyoung  
    OP
       2019-03-31 20:27:42 +08:00
    @6d6f33 我想吐槽一下的是我现在也没搞懂 celery 到底哪个版本是真正稳定的,定时任务的话肯定就跟时区问题挂钩我还没实际碰到过,如果有问题的话应该上去找找 issue,rq 没用过我了解下。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4837 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 04:00 · PVG 12:00 · LAX 20:00 · JFK 23:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.