V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Latin
V2EX  ›  Python

Celery 的疑问

  •  
  •   Latin · 2019-11-06 15:43:03 +08:00 · 2302 次点击
    这是一个创建于 1863 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 问题来源:迫于业务需求,需要持续性消费队列中的数据。
    • 自身想法:如果在任务中分段取,感觉实时性会受到影响。异步开独立线程又不稳定
    • 疑问:如果在 Celery 中执行一个死循环任务会发生什么
    • 还有无更好的方案推 jian。
    Aether
        1
    Aether  
       2019-11-06 15:49:00 +08:00
    你就说一句”业务需求“?你的整个问题最应该详细说明逻辑的,不就是这几个字么……
    Latin
        2
    Latin  
    OP
       2019-11-06 15:57:51 +08:00
    @Aether 看出来了,你就是个 etc
    locoz
        3
    locoz  
       2019-11-06 16:00:55 +08:00
    前面业务相关的描述太简单了点...

    执行死循环任务是指?消费者消费这个任务的时候会一直处于处理状态而不 ack ?还是说是同一个任务做完一次之后又扔回队列?这两种情况都是:如果生产者一直在发同样的任务,就会导致队列被塞爆。但如果生产者只发一次任务的话,不会怎么样,后者会更好监控状态一些而已。
    littlespider89
        4
    littlespider89  
       2019-11-06 16:02:47 +08:00
    上 kafka
    GoLand
        5
    GoLand  
       2019-11-06 16:04:02 +08:00
    开个独立进程去拉队列里的消息,拉到消息就直接放进 celery 消费。不用担心进程不稳定,消费速度也没有瓶颈了。celery 不是你这么用的。
    Aether
        6
    Aether  
       2019-11-06 16:45:11 +08:00
    @Latin 解决问题的核心不是技术。解决问题的核心是了解需求。不了解需求,其他都是多余或者不到点。比如,看得人都不明白,一定要用 celery ?万一用其他的办法就可以了呢?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   879 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 20:40 · PVG 04:40 · LAX 12:40 · JFK 15:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.