V2EX › gouchaoer 的所有回复 › 第 12 页 / 共 61 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 8 9 10 11 12 13 14 15 16 17 ... 61

❮

❯

2018-02-24 11:52:52 +08:00

回复了 blue7wings 创建的主题 › PHP › PHP 如何更好的方式调用其他服务？

http、grpc、thrift 都没区别。。。重要的是这个服务的返回时间，时间快还行

2018-02-24 11:51:56 +08:00

回复了 blue7wings 创建的主题 › PHP › PHP 如何更好的方式调用其他服务？

如果你在 fpm 里面跑的话用 http 去调用别人的服务就阻塞了，流量一大就会死得很惨

2018-02-24 10:57:54 +08:00

回复了 gouchaoer 创建的主题 › 问与答 › 现在哪家还在做验证码识别？

顶一下，真的不想自己搞啊

2018-02-23 22:37:30 +08:00

回复了 wohsj110 创建的主题 › 2018 › 请问有什么办法让 gitlab 只通知我，我写的文件被修改了，或者我订阅的文件被修改了，而不是整个项目？

文件修改可以有 inotify 来做

2018-02-23 22:36:41 +08:00

回复了 wohsj110 创建的主题 › 2018 › 请问有什么办法让 gitlab 只通知我，我写的文件被修改了，或者我订阅的文件被修改了，而不是整个项目？

这样，你写一个脚本当 webhook 来的时候去 git pull 回来，然后脚本 git log 查看改了哪些文件，解析出你的提交文件，git blame 之，有别人改了就通知你

2018-02-23 21:56:16 +08:00

回复了 gouchaoer 创建的主题 › 分享发现 › 成都移动宽带是不是把 github 的 https 强奸了

http://blog.csdn.net/red_sheeps/article/details/79353964

2018-02-22 12:39:38 +08:00

回复了 Zhuozhuo 创建的主题 › 酷工作 › [成都-卓拙科技] 安卓、高级研发工程师招聘（11-25k）

拿了这么多投资为何不开高点

2018-02-21 15:39:49 +08:00

回复了 gouchaoer 创建的主题 › PHP › 关于 cache 的 expire 问题

@sagaxu 用一个命令行程序去刷新可以啊，可是逻辑写在一起比较好吧，而且增加运维复杂度。。

2018-02-20 11:57:47 +08:00

回复了 gouchaoer 创建的主题 › PHP › 关于 cache 的 expire 问题

实际上 apcu 也有原子的设置一个 expire 的缓存的 apcu_add，用这个就可以实现只有一个请求去更新缓存的策略，而这一切完全可以封装到原来的缓存中不用改一行逻辑代码

2018-02-20 11:50:55 +08:00

回复了 gouchaoer 创建的主题 › PHP › 关于 cache 的 expire 问题

@chenxytw 搜到这篇文章讲了这个问题： https://huoding.com/2015/09/14/463

2018-02-20 11:18:25 +08:00

回复了 drroot 创建的主题 › 问与答 › 爬虫： asyncio+aiohttp 比 scrapy 还快吗？

🙄看来我干了 2 年全职爬虫还是有积累的

2018-02-20 10:39:52 +08:00

回复了 drroot 创建的主题 › 问与答 › 爬虫： asyncio+aiohttp 比 scrapy 还快吗？

@drroot 你不考虑爬虫只是考虑代理和带宽的话，用异步或者半协程的确能提高速度，go 和 php 甚至有 fullstack 的协程 httpclient，在低 cpu 下打满带宽，但是一般情况下搞爬虫的精力还在和反爬搏斗，你这种瓶颈在代理 ip 上，直接堆机器吧

2018-02-20 10:32:15 +08:00

回复了 drroot 创建的主题 › 问与答 › 爬虫： asyncio+aiohttp 比 scrapy 还快吗？

@swirling
不是我太聪明，是大家把问题复杂化了，爬东西本身就是个简单的问题，scrapy 封装太厉害了，比如实现 lz 这个更换代理 3 次你 scrapy 怎么搞？去读文档写 hook 么？我手写的直接写逻辑就 ok 了。。。算了，反正你用起来爽就行

2018-02-20 00:03:14 +08:00

回复了 gouchaoer 创建的主题 › PHP › 关于 cache 的 expire 问题

@jhdxr php 的一堆框架的 cache 组建里都没考虑这种情况好吧

2018-02-20 00:01:05 +08:00

回复了 drroot 创建的主题 › 问与答 › 爬虫： asyncio+aiohttp 比 scrapy 还快吗？

你输出到 csv 如何去重？结果需要保存到数据库，并且爬数据的时候去数据库看是否重复

2018-02-19 23:58:25 +08:00

回复了 drroot 创建的主题 › 问与答 › 爬虫： asyncio+aiohttp 比 scrapy 还快吗？

首先 100w 数据量并不大，每个爬虫每 5s 访问一次的话只需要 65 个爬虫进程一天就能爬完 100w，假设我拿 200 个爬虫来爬，那这种程度的单机就能扛住，就阻塞的 requests 就 ok 了。。。so 大部分定制爬虫瓶颈不在 cpu

2018-02-18 21:39:09 +08:00

回复了 ChenJinluo 创建的主题 › 问与答 › Scrapy 里的 job 是指的什么东西呢？

@ila 用 requests+bs4 就完了

2018-02-18 18:34:15 +08:00

回复了 ChenJinluo 创建的主题 › 问与答 › Scrapy 里的 job 是指的什么东西呢？

要想自己定制就别用 scrapy

2018-02-18 14:14:31 +08:00

回复了 yuzenan888 创建的主题 › 云计算 › 好奇很久的问题：云主机提供商能不能读取到用户放在主机中的数据？

@tadtung 假的吧，怎么可能删用户数据

2018-02-17 12:45:06 +08:00

回复了 GooMS 创建的主题 › 问与答 › 现在 MySQL5.7 json 类型是否性能较高的环境了？

试试阿里云的 mysql5.7 吧，不过只有单机版

1 ... 8 9 10 11 12 13 14 15 16 17 ... 61

❮

❯