ĐÓNG BĂNG RDP QUA VPN SITE-TO-SITE: BẮT BỆNH VÀ XỬ LÝ TRIỆT ĐỂ LỖI MTU/MSS

1. Nghịch lý mạng: Tại sao Ping thông nhưng ứng dụng lại "chết đứng"?

Trong quản trị mạng, hiện tượng "Path MTU Discovery failure" là một bài toán kinh điển. Khi thực hiện lệnh Ping, gói tin ICMP có kích thước mặc định rất nhỏ (chỉ từ 32-64 bytes), do đó nó dễ dàng đi xuyên qua các "đường ống" bảo mật của VPN mà không gặp trở ngại nào. Tuy nhiên, các ứng dụng thực tế như Remote Desktop (RDP), truyền tải file (SMB) hay phần mềm kế toán lại sử dụng giao thức TCP.

Giao thức TCP luôn có xu hướng tối ưu hóa băng thông bằng cách gửi đi các gói tin có kích thước tối đa. Khi các gói tin dữ liệu lớn này đi vào đường hầm VPN, chúng bị chặn lại hoặc bị loại bỏ do vượt quá giới hạn vật lý của hạ tầng mạng, dẫn đến tình trạng treo ứng dụng dù đường truyền vẫn báo trạng thái "Up".

2. Cơ chế Encapsulation và "Nỗi khổ" của việc đóng gói dữ liệu

MTU (Maximum Transmission Unit) là kích thước gói tin lớn nhất mà một giao diện mạng có thể truyền tải, với tiêu chuẩn Ethernet thông thường là 1500 bytes. Tuy nhiên, khi dữ liệu đi qua VPN Site-to-Site, nó phải "mặc" thêm các lớp tiêu đề (Header) bảo mật, làm tăng kích thước tổng thể:

• IPSec Header: Thêm từ 50 đến 70 bytes.
• PPPoE Header: Thêm 8 bytes (thường gặp ở mạng cáp quang doanh nghiệp).
• GRE Header: Thêm 24 bytes.

Nếu gói tin gốc đã ở mức 1500 bytes, sau khi cộng thêm các Header này, tổng kích thước sẽ vượt ngưỡng 1500 bytes. Khi gặp các thiết bị trung gian không hỗ trợ phân mảnh hoặc gói tin bị thiết lập cờ DF (Don't Fragment), gói tin sẽ bị hủy âm thầm (silent drop), khiến phiên RDP bị đóng băng ngay khi bắt đầu tải các dữ liệu hình ảnh nặng.

3. MSS Clamping: "Vị cứu tinh" cho kết nối VPN

Thay vì thay đổi MTU thủ công trên từng máy trạm, kỹ thuật MSS Clamping trên Router là giải pháp tối ưu nhất. MSS (Maximum Segment Size) là thông số trong Header TCP, xác định lượng dữ liệu tối đa mà một thiết bị có thể nhận trong một phân đoạn đơn lẻ.

Cơ chế của MSS Clamping diễn ra như sau:

• Router theo dõi quá trình bắt tay 3 bước (3-way handshake) của gói tin TCP SYN đi qua VPN.
• Router can thiệp và ép (clamp) giá trị MSS xuống một mức thấp hơn (ví dụ từ 1460 xuống 1360).
• Cả hai đầu gửi và nhận sẽ đồng ý truyền tải các phân đoạn dữ liệu nhỏ hơn, đảm bảo gói tin sau khi cộng thêm Header VPN vẫn không vượt quá giới hạn MTU 1500.

4. Quy trình xử lý và tìm "con số vàng" cho hệ thống

Để giải quyết triệt để lỗi, kỹ sư mạng cần thực hiện quy trình 3 bước sau:

Bước 1: Xác định MTU thực tế bằng lệnh Ping
Sử dụng Command Prompt để tìm kích thước gói tin lớn nhất không bị phân mảnh:
ping [IP_đầu_xa] -f -l 1472
(Giảm dần giá trị 1472 cho đến khi nhận được phản hồi Success. Giả sử con số tìm được là 1400).

Bước 2: Tính toán giá trị MSS tối ưu
Công thức tính: MSS = MTU thực tế - 40 bytes (dành cho IP Header và TCP Header).
Ví dụ: Nếu MTU thực tế là 1400, hãy đặt MSS là 1360.

Bước 3: Cấu hình trên các dòng Router phổ biến

• Mikrotik: Vào IP -> Firewall -> Mangle, tạo Rule mới với Action là Change MSS.
• Cisco: Sử dụng lệnh ip tcp adjust-mss 1360 trực tiếp trên Interface Tunnel.
• Fortigate: Cấu hình set tcp-mss-sender 1360 và set tcp-mss-receiver 1360 trong Policy hoặc Phase1-interface.

5. Kết luận

Sự cố đóng băng RDP hay treo ứng dụng qua VPN thường không nằm ở băng thông mà nằm ở cấu hình kích thước gói tin. Việc hiểu rõ mối quan hệ giữa MTU, MSS và cơ chế Encapsulation giúp người quản trị mạng bắt đúng "bệnh" và xử lý một cách chuyên nghiệp. Áp dụng MSS Clamping đúng cách không chỉ giúp hệ thống ổn định mà còn tối ưu hóa hiệu suất truyền tải dữ liệu trong hạ tầng mạng doanh nghiệp.