botsonar 最近的时间轴更新 botsonar 最近的时间轴更新 |
botsonarV2EX 第 409685 号会员，加入于 2019-05-07 11:36:52 +08:00 |
| 在线检测爬虫更新
1 Python • botsonar • 2019-07-11 10:46:43 AM • 最后回复来自 myquestions
|
1 |
| 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 程序员 • botsonar • 2019-06-21 10:06:45 AM • 最后回复来自 botsonar | 30 |
botsonar 最近回复了
2019-06-21 10:06:45 +08:00 回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
这边大家有空多关注下 github 部分新功能和改动会在 github 进行跟踪，如果有特别的需求或者规划，也可以在 issue 中提出来，因为有很多用户接入了，这个版本会持续开发
2019-06-20 14:09:22 +08:00 回复了 xzYao 创建的主题 › 程序员 › 请教一个后端获取用户真实 IP 的问题 |
@AndroidEngineer 没办法追查源 IP 有 tor 的情况基本上都没有办法，只能监测出来有没有用 tor
2019-06-20 11:52:15 +08:00 回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@opengps 关于 UA 中的 IMEI 写的很好，另外一篇知乎的写的也不错，然后我发现很多 UA parser 没法解析像 appname 和 organization 这些信息
2019-06-20 11:50:23 +08:00 回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@uqf0663 如果 IP 误封率比较高，也可以使用 webrtc 内外网结合的方式实现 IP 策略
2019-06-20 11:48:42 +08:00 回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@uqf0663 试一试另一个策略，看看同一个用户在不通 IP 和 UA 下的频率，如果没有登录，你可以通过服务端下发 cookie 的形式标记用户，由于 pupeteer 这种工具其模拟效果是很好，但是效率比较低下，那些大规模占用带宽的可能是那些脚本爬虫；即使是 pupeteer 也是使用 chrome 的 cdp 协议，可以通过协议检测识别这种工具
2019-06-20 09:49:32 +08:00 回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@opengps 好的
2019-06-19 23:00:14 +08:00 回复了 xzYao 创建的主题 › 程序员 › 请教一个后端获取用户真实 IP 的问题 |
@hasoidhaio 嗯 这是一个好办法
2019-06-19 21:59:00 +08:00 回复了 botsonar 创建的主题 › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@uqf0663 看起来你遇到了一些问题，如果可以的话，可以私下交流，我给你提供一点思路
Select Language