需要防护一下 nginx 被人爬么？有哪些工具推荐？

https://www.cloudflare.com/zh-cn/ips/
https://api.cloudflare.com/client/v4/ips
https://github.com/cevin/cloudflare-ip-sync

nginx 只允许这些 ip 访问就行了。

还有一种类似 cf 的 5 秒盾 https://anubis.techaro.lol/docs/
git.kernel.org 都在用

改 80 443 默认端口为其他非常规端口+ ip 直接访问返回空页面 能挡掉大量机器人扫描。
如果还是不行就只能订阅 waf 的 ip 列表然后只给 waf 开白名单了

@pckillers 返回空白页没用呀，还是被扫。现在 80 端口返回的就是空白页。

fail2ban-client 可以根据 nginx 日志拉黑
这是我的一些配置
# nginx-sensitive.conf
[Definition]
failregex = <HOST> -.*"(GET|POST).*\.env(\?|$) HTTP/.*"
<HOST> -.*"(GET|POST).*/(_|\.)?env(\?|$) HTTP/.*"
<HOST> -.*"(GET|POST).*/\.git/(HEAD|config|index|objects|info)[^ ]*(\?|$)? HTTP/.*"
<HOST> -.*"(GET|POST).*/\.ht(access|passwd)(\?|$) HTTP/.*"
<HOST> -.*"(GET|POST).*(config\.ya?ml|config\.json)(\?|$) HTTP/.*"
<HOST> -.*"(GET|POST).*(composer\.(json|lock))(\?|$) HTTP/.*"
<HOST> -.*"(GET|POST).*wp-config\.php(\?|$) HTTP/.*"
<HOST> -.*"(GET|POST).*(database|dump)\.sql(\?|$) HTTP/.*"
<HOST> -.*"(GET|POST).*(backup|db)\.(zip|tar|gz)(\?|$) HTTP/.*"
<HOST> -.*"(GET|POST).*\.(bak|old|swp|~)(\?|$) HTTP/.*"
# nginx-404.conf
[Definition]
failregex = ^<HOST> -.*"(GET|POST).*" 404


# nginx-404.conf
[Definition]
failregex = ^<HOST> -.*"(GET|POST).*" 404
ignoreregex =root@tx-beijing:/etc/fail2ban/filter.d# cat nginx-bad-request.conf
# Fail2Ban filter to match bad requests to nginx

[Definition]
# The request often doesn't contain a method, only some encoded garbage
# This will also match requests that are entirely empty
failregex = ^<HOST> - \S+ \[\] "[^"]*" 400

datepattern = {^LN-BEG}%%ExY(?P<_sep>[-/.])%%m(?P=_sep)%%d[T ]%%H:%%M:%%S(?:[.,]%%f)?(?:\s*%%z)?
^[^\[]*\[({DATE})
{^LN-BEG}

journalmatch = _SYSTEMD_UNIT=nginx.service + _COMM=nginx


基本规则就是访问敏感文件直接永封，连续 404 或 400 关 7 天

fail2ban 也可以用来拦截扫描异常 HTTP 路径访问的 IP ，是一个通用工具，不限于 SSH

我也有 1 楼的想法,既然走了 cf 就直接点

# . files
location ~ /\.(?!well-known) {
deny all;
}

返回 zip 炸弹之内的可行吗？哈哈

https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker
这个有用

不对外服务的可以加个 basic auth

你已经用了 cdn 还用 iptables ？

有 CF WAF 也够了

@benjaminliangcom 只能防域名爬虫，但防不了对 vps ip 直连的请求。

过 2 周，我就把 WAF 开源了，相信能解决你的问题👍

1 楼的回复基本就是标准答案了，op 自动无视是有什么顾虑么

既然用了 cf ，可以不要给 nginx 开 80/443 给公网了。用 cf tunnel 吧。

加一层 waf ，雷池, samwaf 之类的

梳理日志，用 ipset 过滤 ip 地址

@studyingss 我找到方案了。用 1 楼给的 CF ip 列表(set_real_ip_from+X-Forwarded-For)，然后搭配 fail2ban 规则(4 楼)。

@scegg 好想法，大多数人都是只用 CF 的 DNS + 开启代理，cf tunnel 生产环境用靠谱么？