Why market data is a deep learning challenge

Optiver · 2026 · 4. Điều chỉnh · Độ khó: Trung bình — bài gốc

Bài của một quantitative researcher dẫn đầu nghiên cứu deep learning ở mảng HFT Mỹ của Optiver. Không có kiến trúc model cụ thể; wiki giữ vì nó mô tả cách quy trình nghiên cứu chiến lược đang đổi. Mọi nhận định ghi "theo Optiver".

Bối cảnh

• Động lực chính của các chiến lược HFT ở Optiver là market data: luồng lệnh đặt, huỷ, sửa và khớp từ sàn; tầm dự báo từ vài giây tới vài phút. Câu hỏi: với mọi thứ quan sát được lúc này, giá sẽ đi đâu tiếp?
• Quy trình cũ: tốn nhiều công feature engineering để biến market data thô thành tín hiệu (mô tả sổ lệnh hiện tại hoặc cách nó tiến hoá; biến dữ liệu không dừng thành tín hiệu dừng hơn). Một model gộp feature thành dự báo giá. Thử ý tưởng mới nghĩa là viết feature, sinh lại dataset, train model từ đầu, rồi backtest xem có thêm giá trị không.

Thay đổi chính

• Feature thủ công chạm trần ở những chỗ họ tin có thông tin nhưng khó thiết kế tay, như mẫu theo thời gian vượt quá trung bình trượt. Tương tự CNN thay bộ lọc tích chập làm tay: train một model nhận market data thô và trả dự báo giá, với trích xuất feature là một phần của việc học.
• Ba cấp dữ liệu: Level 1 (giá và khối lượng tốt nhất hai phía; một snapshot không đáng dùng deep learning, nhưng chuỗi snapshot kể chuyện, ví dụ bên bán giảm từ 100 xuống 90 xuống 80 lot); Level 2 (độ sâu nhiều mức giá); Level 3 (từng lệnh với giá, khối lượng, timestamp; dựng được cả hàng đợi ở mỗi mức giá). Ở Level 3, cùng tổng khối lượng có thể là một lệnh lớn hay nhiều lệnh nhỏ; vị trí trong hàng đợi mang thông tin (khớp theo thứ tự thời gian); một chuỗi lệnh cùng cỡ 7 có thể cùng một người đặt. Thêm hàng chục tới hàng nghìn tài sản tương quan, thành dữ liệu không–thời gian phong phú.
• Bốn đặc tính khó: tín hiệu/nhiễu thấp (độ chính xác 52% đã có giá trị; dễ overfit); dữ liệu không dừng (chế độ thị trường đổi); lấy mẫu không đều (sự kiện cách nhau nanosecond lúc bận, vài giây lúc vắng); chuỗi rất dài (hàng trăm triệu message một ngày; cửa sổ 100.000 sự kiện chỉ phủ khoảng một phút trung bình).
• Model còn phải nằm trong ngân sách latency production, có thể cần phần cứng inference riêng thiết kế cùng kỹ sư FPGA.

Vì sao

• Theo Optiver, không phải để tự động hoá nghiên cứu; vẫn dùng chuyên môn nghiệp vụ, nhưng chuyển từ "thiết kế từng feature" sang "thiết kế kiến trúc" trích được cấu trúc từ dữ liệu (động học hàng đợi, hành vi huỷ lệnh, quan hệ ngắn hạn giữa các công cụ). Liệu deep learning có tìm được các mẫu đó một cách ổn định khi thị trường thích nghi là câu hỏi họ đang nghiên cứu.

Bài học cho SWE

• Vòng nghiên cứu "viết feature → sinh lại dataset → train → backtest" đắt; học feature end-to-end rút ngắn vòng nhưng chuyển gánh nặng sang hạ tầng (chuỗi dài, nhiều dữ liệu, inference trong ngân sách latency).
• Khi tín hiệu/nhiễu thấp, phương pháp đánh giá (tránh overfit) quan trọng hơn kiến trúc.

Liên quan

• Jane Street 2026 (feature thủ công ở quy mô lớn) · Jane Street 2026 · Optiver 2025 · Hudson River Trading 2022
• Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) · Hệ thống độ trễ thấp (low latency)