In Trading, Machine Learning Benchmarks Don't Track What You Care About

Hudson River Trading · 2022 · 3. Quy mô lớn · Độ khó: Trung bình — bài gốc

Bài quan điểm của HRT AI Lab về cách đọc nghiên cứu ML, không kể hệ thống. Wiki giữ phần nói về cách HRT đánh giá thay đổi trong giao dịch; mọi nhận định ghi "theo HRT".

Bối cảnh

• HRT có câu lạc bộ đọc paper hai tuần một lần. Người ngoài hay hỏi họ có đọc paper mới rồi áp dụng ngay không. Theo HRT, hiếm khi: kết quả thực nghiệm trong paper không bao giờ đo trên đúng bài toán của họ; tăng 0,1% độ chính xác phân loại giống chó chưa chắc giúp dự báo giá cổ phiếu.

Thay đổi chính

HRT đánh giá paper theo ba tiêu chí thay vì tiêu chí "mới lạ" của hội nghị:

• Đơn giản: dùng cách đơn giản nhất đạt mục tiêu; linear model ngang random forest thì chọn linear. Ví dụ paper "Simple random search…" (Mania và cộng sự): một ánh xạ tuyến tính học bằng random search đạt kết quả ngang mạng nơ-ron phức tạp trên các benchmark điều khiển, cho thấy benchmark có thể không có tính chất ta cần.
• Tái lập được: cả nghĩa "lặp lại đúng kết quả" lẫn "cài được cho bài toán của mình". Chính HRT gặp vấn đề này hằng ngày: muốn biết một thay đổi giao dịch sẽ chạy ra sao thì thử xem nó đã chạy ra sao trong quá khứ (backtest), nhưng khó tránh sai lệch hệ thống và dễ tự lừa mình khi phân biệt chênh lệch nhỏ trong miền tín hiệu/nhiễu thấp. HRT có cách chạy backtest chuẩn hoá nội bộ cho các thay đổi, điều mà nghiên cứu RL học thuật thiếu (paper "Statistical Precipice" của Agarwal và cộng sự: điểm ước lượng thường được báo cáo có độ bất định lớn, đổi giao thức đánh giá có thể đảo kết luận).
• Tổng quát: optimizer mới thường thắng nhờ tune kỹ hơn bản đối chứng; paper "Crowded Valley" (Schmidt và cộng sự) thấy Adam (2014) vẫn là lựa chọn mặc định tốt, và các optimizer khác nhau cho phân phối kết quả gần như một optimizer được tune lại hay chạy lại với seed khác.

Vì sao

• Thời gian researcher và compute có hạn, nên chỉ thử phương pháp mới khi có lý do riêng nó hợp với bài toán.

Bài học cho SWE

• Một nền tảng đánh giá chuẩn hoá (cùng cách chạy backtest, cùng metric) là điều kiện để so sánh thay đổi một cách trung thực.
• Ở miền nhiễu cao, báo cáo độ bất định chứ không chỉ một con số.
• Benchmark công khai thường không đo thứ bạn quan tâm.

Liên quan

• Hudson River Trading 2022 · Hudson River Trading 2023 · Optiver 2025
• Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest)