Nginx & Caddy 완전 정복 4편 — Nginx 심화: 캐싱, Rate Limit, 보안, 성능 튜닝, L4 프록시

http {
    proxy_cache_path /var/cache/nginx/app
                     levels=1:2
                     keys_zone=app_cache:10m
                     max_size=1g
                     inactive=60m
                     use_temp_path=off;
 
    server {
        location /api/public/ {
            proxy_pass http://app_servers;
 
            proxy_cache            app_cache;
            proxy_cache_key        $scheme$request_method$host$request_uri;
            proxy_cache_valid      200 301 10m;
            proxy_cache_valid      404 1m;
            proxy_cache_use_stale  error timeout updating http_500 http_502 http_503 http_504;
            proxy_cache_background_update on;
            proxy_cache_lock       on;
 
            add_header X-Cache-Status $upstream_cache_status always;
        }
    }
}

curl -sI https://example.com/api/public/items | grep X-Cache-Status

proxy_cache_bypass $cookie_session $http_authorization;
proxy_no_cache     $cookie_session $http_authorization;

proxy_cache_valid 200 1s;
proxy_cache_use_stale updating;
proxy_cache_lock on;

http {
    # 클라이언트 IP별, 초당 10개 요청
    limit_req_zone $binary_remote_addr zone=api_limit:10m rate=10r/s;
    # 로그인은 훨씬 엄격하게: 분당 5회
    limit_req_zone $binary_remote_addr zone=login_limit:10m rate=5r/m;
    limit_req_status 429;
 
    server {
        location /api/ {
            limit_req zone=api_limit burst=20 nodelay;
            proxy_pass http://app_servers;
        }
 
        location = /api/login {
            limit_req zone=login_limit burst=5;
            proxy_pass http://app_servers;
        }
    }
}

limit_conn_zone $binary_remote_addr zone=conn_per_ip:10m;
 
server {
    location /downloads/ {
        limit_conn conn_per_ip 2;   # IP당 동시 다운로드 2개
        limit_rate 1m;              # 연결당 1MB/s
    }
}

set_real_ip_from 10.0.0.0/8;          # 신뢰할 프록시 대역만!
set_real_ip_from 173.245.48.0/20;     # (예: Cloudflare 대역)
real_ip_header   X-Forwarded-For;
real_ip_recursive on;

server {
    add_header X-Frame-Options "DENY" always;
    add_header X-Content-Type-Options "nosniff" always;
 
    location /static/ {
        add_header Cache-Control "public, max-age=31536000";
        # ⚠️ 이 location의 응답에는 X-Frame-Options, X-Content-Type-Options가 없다!
    }
}

# /etc/nginx/snippets/security-headers.conf
add_header Strict-Transport-Security "max-age=63072000; includeSubDomains" always;
add_header X-Frame-Options "SAMEORIGIN" always;
add_header X-Content-Type-Options "nosniff" always;
add_header Referrer-Policy "strict-origin-when-cross-origin" always;
add_header Permissions-Policy "camera=(), microphone=(), geolocation=()" always;
# CSP는 서비스마다 달라서 신중하게
# add_header Content-Security-Policy "default-src 'self'" always;

location /static/ {
    include snippets/security-headers.conf;
    add_header Cache-Control "public, max-age=31536000";
}

http {
    server_tokens off;                 # 에러 페이지와 Server 헤더에서 버전 숨김
    client_max_body_size 10m;          # 업로드 크기 제한 (기본 1m → 초과 시 413)
    client_body_timeout   10s;         # 느린 요청(Slowloris류) 대응
    client_header_timeout 10s;
 
    server {
        # 숨김 파일(.git, .env 등) 차단 (Let's Encrypt용 .well-known은 예외)
        location ~ /\.(?!well-known) {
            deny all;
        }
 
        # 관리자 페이지 IP 제한
        location /admin/ {
            allow 192.168.0.0/24;
            deny  all;
            proxy_pass http://app_servers;
        }
 
        # 간단한 Basic 인증 (htpasswd는 apache2-utils 패키지)
        location /internal/ {
            auth_basic           "Restricted";
            auth_basic_user_file /etc/nginx/.htpasswd;
        }
    }
}

# ❌ 피하기
location / {
    if ($http_user_agent ~* "badbot") {
        return 403;
    }
    ...
}
 
# ✅ map + 단순 return
map $http_user_agent $is_bad_bot {
    default        0;
    ~*badbot       1;
    ~*scrapy       1;
}
 
server {
    if ($is_bad_bot) { return 403; }   # server 레벨 + return은 안전
}

worker_processes auto;              # CPU 코어 수
worker_rlimit_nofile 65535;         # 워커당 열 수 있는 파일 디스크립터
 
events {
    worker_connections 8192;        # 워커당 최대 동시 연결
    # use epoll;                    # Linux에서는 자동 선택되므로 보통 생략
}

http {
    sendfile    on;          # 커널에서 파일 → 소켓 직접 복사 (zero-copy)
    tcp_nopush  on;          # sendfile과 함께: 헤더와 파일 시작을 한 패킷에
    tcp_nodelay on;          # keepalive 연결에서 작은 패킷 지연 없이 전송
 
    keepalive_timeout  65s;
    keepalive_requests 1000;
 
    open_file_cache          max=10000 inactive=30s;
    open_file_cache_valid    60s;
    open_file_cache_errors   on;
}

gzip on;
gzip_comp_level 5;            # 1~9. 5 근처가 CPU 대비 효율이 좋다
gzip_min_length 1024;         # 너무 작은 응답은 압축 이득이 없음
gzip_proxied any;             # 프록시 응답도 압축
gzip_vary on;                 # Vary: Accept-Encoding
gzip_types text/plain text/css application/json application/javascript
           text/xml application/xml image/svg+xml;
# 빌드 시 미리 만든 .gz 파일이 있으면 그걸 사용
gzip_static on;

# /etc/sysctl.d/99-nginx.conf
net.core.somaxconn = 4096             # listen 백로그 상한
net.ipv4.ip_local_port_range = 1024 65535   # 업스트림 연결용 임시 포트 범위
net.ipv4.tcp_tw_reuse = 1

listen 443 ssl backlog=4096;          # somaxconn과 맞춰야 효과

log_format json_combined escape=json
  '{'
    '"time":"$time_iso8601",'
    '"remote_addr":"$remote_addr",'
    '"request":"$request",'
    '"status":$status,'
    '"body_bytes_sent":$body_bytes_sent,'
    '"request_time":$request_time,'
    '"upstream_addr":"$upstream_addr",'
    '"upstream_response_time":"$upstream_response_time",'
    '"upstream_cache_status":"$upstream_cache_status",'
    '"http_user_agent":"$http_user_agent"'
  '}';
 
access_log /var/log/nginx/access.json json_combined buffer=32k flush=5s;

map $request_uri $loggable {
    ~^/health  0;
    default    1;
}
access_log /var/log/nginx/access.log main if=$loggable;

server {
    listen 127.0.0.1:8081;
    location /nginx_status {
        stub_status;
        allow 127.0.0.1;
        deny all;
    }
}

Active connections: 291
server accepts handled requests
 16630948 16630948 31070465
Reading: 6 Writing: 179 Waiting: 106

# nginx.conf 최상위 (http 블록 바깥!)
stream {
    upstream postgres_replicas {
        least_conn;
        server 10.0.1.21:5432 max_fails=2 fail_timeout=10s;
        server 10.0.1.22:5432 max_fails=2 fail_timeout=10s;
    }
 
    server {
        listen 15432;
        proxy_pass postgres_replicas;
        proxy_connect_timeout 3s;
        proxy_timeout 10m;
    }
 
    # UDP 예시 (DNS)
    server {
        listen 53 udp;
        proxy_pass 10.0.1.53:53;
    }
}

stream {
    map $ssl_preread_server_name $backend {
        app.example.com   10.0.0.11:443;
        mail.example.com  10.0.0.12:443;
        default           10.0.0.10:443;
    }
    server {
        listen 443;
        ssl_preread on;
        proxy_pass $backend;
    }
}

location /api/ {
    add_header X-Debug-Location "api" always;
    ...
}