求教转发本地应用网络请求的方法

    url ='http://down.domain.com/Download/中文文件名示例.zip'
    #中文文件名编码问题,参见https://github.com/Pylons/waitress/issues/318
    resp.downloadable_as = '中文文件名示例.zip'.encode("utf-8").decode("latin1") 
    #设置响应Headers: 'Content-Length', 'Content-Type'
    resp.set_headers(dict(list(requests.head(url).headers.items())[:2])) 
    chunk = lambda u: (yield from requests.get(u,stream=True).iter_content(chunk_size=8192))
    resp.stream = chunk(url)

Python

文件

请求

第三方

26 条回复 • 2022-04-17 16:51:59 +08:00

lizenghui

2022-03-31 19:50:15 +08:00

nginx 可以啊。

lon91ong

2022-03-31 19:53:23 +08:00

@lizenghui 有没有相近的应用实例呢？ nginx 似乎时个网站后台框架吧？只玩过 RESTful 类的简单的

seakingii

2022-03-31 19:57:01 +08:00

@lon91ong 搜索 nginx 反向代理

cheng6563

2022-03-31 20:02:56 +08:00

你收到请求后直接改下地址然后 urllib.request 发请求出去就行了啊，把收到的数据直接返回或者临时存盘再返回都行。HTTP 文件下载有几个特殊 Header 表示文件名什么的，你响应的时候填上就行。

cheng6563

2022-03-31 20:04:49 +08:00

你先试试写一个提供文件下载接口，随便返回点数据就行。
再写一个用 urllib.request 下载远程文件的用例。
最后把两个方法整合下就行了。

Puteulanus

2022-03-31 20:17:38 +08:00

听起来像个 cache proxy ，squid transparent proxy 是不是就能做

xuxuxu123

2022-03-31 20:26:54 +08:00

如果远程文件的真实地址是确定的，那么 nginx 反向代理就可以了

ClericPy

2022-03-31 20:43:07 +08:00

这说的是 gost 么... https://github.com/ginuerzh/gost

或者用 Python 随手写个端口转发? https://github.com/ClericPy/ichrome/issues/84

如果我理解错了, 就当没看到我

lon91ong

2022-03-31 21:00:04 +08:00 via Android

@seakingii 有点牛刀杀鸡的赶脚

lon91ong

2022-03-31 21:02:51 +08:00 via Android

@cheng6563 这就是我想要的思路, 还需要找例程实验一番,多谢指点迷津

lon91ong

2022-03-31 21:33:31 +08:00 via Android

@cheng6563 遇到资源文件比较大的情况,四五十 M 的大小, 没法等下载完了再响应, 这种情况怎么处理呢？

lon91ong

2022-03-31 21:52:31 +08:00

@Puteulanus 感谢提供关键词 squid, 找到个相关的项目, https://github.com/GlobalRadio/squid-redirect
简单看了看 readme, 似乎用得上, 明天再看看

mingl0280

2022-03-31 23:43:08 +08:00

……你就不会检查一下 file exist 然后不存在的文件自动下载了返回么？

Tink

2022-03-31 23:51:39 +08:00 via Android

很多办法，上面说的 nginx 反代可以，也可以在你的程序里判断本地文件是否存在，不存在就去下载

biubiuF

2022-04-01 00:40:54 +08:00

iptables redirect

ec0

2022-04-01 03:10:59 +08:00

试试这段代码

```
class ProxyResource:
____def file_generator(self, url):
________with requests.get(url, stream=True) as r:
____________for chunk in r.iter_content(chunk_size=8192):
________________yield chunk

____def on_get(self, req, resp):
________resp.downloadable_as = 'example.zip'
________resp.stream = self.file_generator('http://down.domain.com/Download/example.zip')
```

lon91ong

2022-04-01 09:11:55 +08:00

@ec0 太感谢了! 感激涕零了要!!!
另外遇到一点小麻烦, 不知道时这个方法的问题，还是我用的 WSGI 标准的 waitress 包的问题,
在转发时没有转发 headers 信息, 文件长度、编码等信息全都丢失了
需要用什么方法补救呢？

enrolls

2022-04-01 11:26:17 +08:00

这个需求就跟在腾讯云买了同主机和 cos 一个道理，主机跟 cos 免流量通信，cos 直接下载需要流量。主机返回 cos 的 body 出去。headers 可以一并 yield ，之后自己组装

lon91ong

2022-04-01 11:52:41 +08:00

@enrolls headers 一并 yield 要如何操作？ yield 只能返回一个对象吧？？？

ec0

2022-04-01 12:01:27 +08:00

这样呢？

```
def on_get(self, req, resp):
____resp.downloadable_as = 'example.zip'
____r = requests.head('http://down.domain.com/Download/example.zip')
____resp.content_length = r.headers['content-length']
____resp.content_type = r.headers['content-type']
____resp.stream = self.file_generator('http://down.domain.com/Download/example.zip')
```

lon91ong

2022-04-01 12:21:58 +08:00

@ec0 好了，真的感激涕零了

macrorules

2022-04-01 12:46:42 +08:00

iptables -A PREROUTING -t nat -i eth1 -d 127.0.0.1:8686 -j DNAT --to-destination ${down.domain.com 的地址}

lon91ong

2022-04-02 22:41:51 +08:00 via Android

@macrorules 这个操作不是只能在路由器上搞吗？？程序里面没听说过啊！

macrorules

2022-04-02 23:18:12 +08:00

@lon91ong 这是在本地(你的电脑，笔记本)上操作的

lon91ong

2022-04-03 20:49:25 +08:00

@macrorules 应该还要加上 Linux 系统的限制吧, Windows 没有 iptables 命令

lon91ong

2022-04-17 16:51:59 +08:00

使用 lambda 替代了 genreat 函数:
```
url ='http://down.domain.com/Download/example.zip'
resp.downloadable_as=labfile.encode("utf-8").decode("latin1") #编码问题,参见 https://github.com/Pylons/waitress/issues/318
r = requests.head(url)
resp.content_length = r.headers['content-length']
resp.content_type = r.headers['content-type']
chunk = lambda u: (yield from requests.get(u,stream=True).iter_content(chunk_size=8192))
resp.stream = chunk(url)
```