DQN-PI: một đề xuất dựa vào AI điều khiển hàng đợi tại bộ định tuyến mạng truyền thông

Abstract

Trong bối cảnh mạng hiện đại, tắc nghẽn lưu lượng và “bufferbloat” là những thách thức lớn, đòi hỏi các cơ chế điều khiển hàng đợi chủ động (AQM) tại bộ định tuyến để đảm bảo chất lượng dịch vụ. PIE (Proportional Integral Enhanced) là một thuật toán AQM hiệu quả, sử dụng bộ điều khiển PI để duy trì độ trễ mục tiêu, giảm thiểu tắc nghẽn và cải thiện hiệu suất mạng. PIE nổi bật nhờ tính đơn giản, ổn định và đã được triển khai rộng rãi trong các bộ định tuyến hiện đại. Tuy nhiên, với sự đa dạng của lưu lượng mạng thế hệ mới, PIE truyền thống gặp hạn chế trong việc tự động thích nghi với các tải động. Để khắc phục, bài báo đề xuất kết hợp PIE với Deep Q - Network (DQN) –  một phương pháp Học tăng cường (RL). DQN giúp tối ưu hóa tham số PIE ( , , ) dựa trên dữ liệu mạng phức tạp, từ đó nâng cao khả năng phản ứng với các loại lưu lượng khác nhau. Kết quả thử nghiệm cho thấy, DQN-PI giảm độ trễ trung bình và tăng thông lượng so với PIE gốc, đặc biệt hiệu quả trong môi trường mạng không đồng nhất. Trong tương lai DQN - PI tiếp tục cải thiện hiệu suất AQM, thích ứng với nhiều môi trường mạng phức tạp như 5G, IoT, truyền phát thời gian thực hợp chuyển đổi số, nhằm củng cố lợi thế cạnh tranh lâu dài của địa phương.