V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  terryxuwen  ›  全部回复第 1 页 / 共 2 页
回复总数  35
1  2  
2021-10-29 16:30:40 +08:00
回复了 terryxuwen 创建的主题 微博 新浪微博反爬 封掉 huginn 的问题
@malagebidi 你试试普通的脚本下载,应该能下载看到网页内容。
2021-10-29 16:30:04 +08:00
回复了 terryxuwen 创建的主题 微博 新浪微博反爬 封掉 huginn 的问题
@ch2 匿名能看到微博的搜索结果呀。 现在情况是不知道为什么 普通下载脚本能下到内容页,而 huginn 不行,唉
2021-10-28 21:29:07 +08:00
回复了 terryxuwen 创建的主题 微博 新浪微博反爬 封掉 huginn 的问题
补充一下,我是不登录爬取,不存在用户名被封的情况
算了,怀疑老外说的不是 huginn 的配置,而是 centos 的全局代理。所以才会有 http_proxy 这东西。不知道设置了全局代理后,爬网是代理了,访问服务器不会也变成了代理了吧?汗
谢谢 fanshaohua,我打算用 docker 的命令修改镜像文件。但是现在奇怪,进入镜像后,没看见 huginn 的 env 文件,这是什么情况,晕。
心累,发现谷歌翻译竟然是不断变化的,刚才测试完,重新用 cn 域名的谷歌翻译加句号,结果得到的结果竟然变化了!
我靠。
用新的一句话做了一个完整测试:
It is too early to draw robust conclusions on the sandbox ’ s overall impact on competition given its relatively small scale to date and the time we expect changes to embed in the market.

谷歌中国( cn 域名)翻译网页端-加句号:现在就沙盒对竞争的总体影响得出有力的结论为时尚早,因为迄今为止规模相对较小,而且我们预计这种变化将会嵌入市场。

谷歌中国( cn 域名)翻译网页端-不加句号:现在就沙盒对竞争的总体影响得出有力的结论为时尚早,因为迄今为止规模相对较小,而且我们预计这种变化将会在市场上形成

谷歌外国( com 域名)翻译网页端-加句号:现在就沙盒对竞争的总体影响得出有力的结论还为时尚早,因为迄今为止规模相对较小,而且我们预计这些时间会有所变化。

谷歌外国( com 域名)翻译网页端-不加句号:现在就沙盒对竞争的总体影响得出有力的结论为时尚早,因为迄今为止规模相对较小,而且我们预计这种变化将会在市场上形成

谷歌翻译手机客户端或 chrome 谷歌翻译插件-加句号:现在就沙盒对竞争的总体影响得出有力的结论为时尚早,因为迄今为止规模相对较小,而且我们预计这种变化将会嵌入市场。

谷歌翻译手机客户端或 chrome 谷歌翻译插件-不加句号:现在就沙盒对竞争的总体影响得出有力的结论为时尚早,因为迄今为止规模相对较小,而且我们预计这种变化将会在市场上形成

以上测试均为简体
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4006 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 04:04 · PVG 12:04 · LAX 20:04 · JFK 23:04
Developed with CodeLauncher
♥ Do have faith in what you're doing.