RQ kafka 都太大了，有没有轻量一点的管道啊

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2210 天前的主题，其中的信息可能已经有所发展或是发生改变。

就是一个爬虫用，抓了数据进管道，然后另一端清洗归类存 SQL。但抓的东西会分类，有没有可以分类，可以像 KAFKA 那样搞好几个主题分类，不同的数据进不同的管道，另一端也是不同的处理类模块接收处理？

其实 kafka 看上去极好，就是这种要单独运行一个服务的东西，真的不喜欢，又不是多大的项目，没必要啊。

8 条回复 • 2018-11-25 20:04:57 +08:00

feverzsj

2018-11-24 23:23:52 +08:00

你建个表做消息队列不就好了

fsneak

2018-11-24 23:28:41 +08:00 via Android

用 Redis 的 channel，够轻量吧

ericls

2018-11-24 23:32:53 +08:00 via iPhone

Elixir/Erlang 自带的消息？

julyclyde

2018-11-25 08:45:34 +08:00

抗拒“独立运行一个服务”
试试 zeromq ？

CodeCore

2018-11-25 12:06:29 +08:00 via iPhone

NSQ，NATS，推荐用有赞自己 Fork 的 NSQ。。。

CodeCore

2018-11-25 12:07:27 +08:00 via iPhone

@CodeCore 都是 Go 写的，很轻量。。。性能屌。NATS 更屌。。。

endoffight

2018-11-25 12:31:09 +08:00 via Android

beanstalk

BingoXuan

2018-11-25 20:04:57 +08:00

zmq ？