有没有大屌遇到过 NGINX 缓存下来的文件是残缺的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› NGINX

› NGINX Trac

› 3rd Party Modules

› Security Advisories

› CHANGES

› OpenResty

› ngx_lua

› Tengine

在线学习资源

› NGINX 开发从入门到精通

NGINX Modules

› ngx_echo

这是一个创建于 1955 天前的主题，其中的信息可能已经有所发展或是发生改变。

RT 有没有大屌遇到过 NGINX 缓存下来的文件是残缺的问题，几百 M 的文件有时候缓存下来的是一百多 M 或者几十 M，好像是随机找不到任何共同点有没有大佬遇到过

Nginx

残缺

文件

大屌

23 条回复 • 2020-06-10 16:48:38 +08:00

lihongjie0209

2019-08-06 16:43:21 +08:00

第一感觉 timeout, 导致文件传输中断

或者是 max_size 之类的配置项没配对吧

guokeke

2019-08-06 16:45:09 +08:00 via Android

你屌大你先说。

arrow8899

2019-08-06 16:57:27 +08:00

应该是 buffer 问题

vloony

2019-08-06 17:00:44 +08:00

@lihongjie0209
@arrow8899
感谢两位大佬相关数值我都调高点试下。

lowman

2019-08-06 19:15:05 +08:00

我举报, 这里有人在炫耀大屌, 屌大的人, 发帖都不会有人禁, 管理员在哪里, 这里有个大屌鸟人

vloony

2019-08-06 19:19:49 +08:00

@lowman 哈哈哈大佬别别别真心求解问题看有没有大佬了解的

vloony

2019-08-06 20:19:50 +08:00

@lihongjie0209 实测应该不是超时如果是超时 503 不应该缓存下来 max_size 也不可能有文件是正常的

vloony

2019-08-06 20:20:36 +08:00

@arrow8899
proxy_buffer_size 128k;
proxy_buffers 4 128k;
proxy_busy_buffers_size 256k;
依然出现问题

aqqwiyth

2019-08-06 20:23:44 +08:00

缓存文件拆分成多个加速 IO 读取?

ninjachen

2019-08-07 01:08:51 +08:00 via Android

我遇到过缓存文件夹权限不够，不能读写。。。
残缺的问题到没遇到过

vloony

2019-08-07 14:49:44 +08:00

@aqqwiyth 好像老哥这种方法比较稳分片了后暂时没出现问题

vloony

2019-08-07 14:52:13 +08:00

@aqqwiyth 不对好像还是不稳分片缓存下来的文件大小也有问题真的尴尬。。。。

vloony

2019-08-07 14:57:09 +08:00

@aqqwiyth 抱歉好像我的问题看出了有问题的是没分片的节点。。。。

vloony

2019-08-08 14:10:04 +08:00

实测跑了一天分片还是没有用。。。。。。还是残缺

vloony

2019-08-09 01:49:39 +08:00

解决问题中第三天目前查看错误日志更偏向 @arrow8899 大佬说的错误日志大量提示 has too long header 看下要怎么解决

vloony

2019-08-09 01:50:28 +08:00

cache file has too long header

vloony

2019-08-09 02:45:01 +08:00

增加 proxy_buffer_size 到 4096k 这回应该能解决了吧坐等明天

vloony

2019-08-10 14:59:00 +08:00

～更新留给有缘人找到问题所在 nginx 一个 BUG https://nginx-devel.nginx.narkive.com/Qpq48yfj/patch-mail-nginx-error-cache-file-has-too-long-header

yanglihui

2020-06-09 06:33:29 +08:00

@vloony
我就是你要找的有缘人

yanglihui

2020-06-09 06:35:34 +08:00

@vloony
所以，我是需要重新编译 nginx ？

vloony

2020-06-09 18:22:47 +08:00

@yanglihui 目前无解，我们的解决方案是小文件一套缓存系统大文件一套缓存系统

yanglihui

2020-06-09 20:39:54 +08:00

@vloony 还没懂，求详细告知。我的都是小文件，几十 k ~ 几兆

vloony

2020-06-10 16:48:38 +08:00

@yanglihui 大文件缓存弃用 nginx