Hudson River Trading
Mạch tiến hoá
Công ty giao dịch thuật toán (HRT), phần lớn hạ tầng on-premises, nhiều site trên thế giới. Năm 2021 họ scale Prometheus bằng shard chỉ ingest cộng query node đọc remote, vì federation mất khả năng tổng hợp ad-hoc trên cả cụm nghiên cứu Hudson River Trading 2021; tới 2025 giám sát chạy trên VictoriaMetrics với hàng nghìn alert, được viết lại bằng một DSL Python có kiểu Hudson River Trading 2025. Ở đường nóng, năm 2022 họ giải thích huge page và TLB cùng các bẫy của THP và hugetlbfs Hudson River Trading 2022 Hudson River Trading 2022. Về nghiên cứu, các researcher viết về cách chọn dữ liệu (tránh lookahead, dữ liệu đã "priced in") Hudson River Trading 2022, về việc paper ML hiếm khi áp dụng thẳng và backtest dễ tự lừa ở miền nhiễu cao Hudson River Trading 2022, và về factor model làm khung đo rủi ro và quy PnL Hudson River Trading 2023. Hạ tầng phía sau thì đổi mạnh: fork CPython với lazy import từ hackathon 2023 tới mặc định toàn công ty 2025 Hudson River Trading 2025, filesystem Blobby tự xây cho hàng trăm PB thay Lustre/NFS/appliance Hudson River Trading 2025, và năm 2026 quy băng thông WAN giữa các site cho từng workflow bằng eBPF Hudson River Trading 2026. Ở phía phần cứng, năm 2021 họ kiểm chứng FPGA bằng cocotb và Verilator để test viết bằng Python và không bị license giới hạn Hudson River Trading 2021; năm 2026 thêm language server SystemVerilog mã nguồn mở Hudson River Trading 2026. Codebase Python được gỡ tangle bằng đồ thị phụ thuộc và luật trong CI năm 2023 Hudson River Trading 2023, rồi dựa vào type annotation để đổi logic dùng chung an toàn Hudson River Trading 2024. Năm 2025, GUI vận hành dùng SharedWorker để nhiều tab chia nhau một lần nạp dữ liệu Hudson River Trading 2025.
Timeline
Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).
| Năm | Giai đoạn | Thay đổi | Nguồn |
|---|---|---|---|
| 2021 | 3. Quy mô lớn | Prometheus: shard chỉ ingest + query node remote read, recording rule theo shard, HA qua Consul, remote read đồng thời lên upstream; khoảng 150 triệu series. | Hudson River Trading 2021 |
| 2021 | 3. Quy mô lớn | Kiểm chứng FPGA bằng co-simulation cocotb + Verilator: dùng lại code C++/Python, hàng nghìn mô phỏng mỗi developer, cùng test chạy trong lab. | Hudson River Trading 2021 |
| 2022 | 2. Tăng trưởng | (Bài quan điểm) Heuristic chọn dataset cho chiến lược: liên quan, độc nhất, tránh lookahead, cỡ mẫu/nhiễu; market data, alternative data, biến đổi dữ liệu. | Hudson River Trading 2022 |
| 2022 | 3. Quy mô lớn | (Bài quan điểm, HRT AI Lab) Đánh giá paper ML theo đơn giản/tái lập/tổng quát; backtest chuẩn hoá nội bộ, dễ tự lừa ở miền tín hiệu/nhiễu thấp. | Hudson River Trading 2022 |
| 2022 | 3. Quy mô lớn | Huge page phần 1: TLB 4 KiB phủ khoảng 8 MiB, 2 MiB phủ khoảng 4 GiB; truy cập ngẫu nhiên nhanh 4,5 lần. | Hudson River Trading 2022 |
| 2022 | 3. Quy mô lớn | Huge page phần 2: THP always/madvise, hugetlbfs và SIGBUS sau fork, allocator, code trên huge page, cấu trúc iTLB/dTLB. | Hudson River Trading 2022 |
| 2023 | 3. Quy mô lớn | (Bài giảng) Factor model: hiệp phương sai m×n thay n², tối ưu Sharpe, alpha song song/trực giao, quy PnL theo tilt và timing. | Hudson River Trading 2023 |
| 2023→2025 | 4. Điều chỉnh | Fork CPython + lazy import (từ Cinder): hackathon Q1/2023, khoảng 50% monorepo Q2/2024, gộp vào nâng cấp 3.12, mặc định toàn công ty Q2/2025 (bài 8/2025). | Hudson River Trading 2025 |
| 2023 | 4. Điều chỉnh | Codebase Python nghiên cứu bị tangle (import trên 30 s): Tangle Tools dựng đồ thị phụ thuộc, max-flow chỉ chỗ cắt, refactor bằng libcst, luật phụ thuộc trong CI. | Hudson River Trading 2023 |
| 2024 | 4. Điều chỉnh | Type annotation + mypy cho logic nghiệp vụ dùng chung (lịch thị trường): đổi API thì type checker chỉ ra chỗ gọi bị ảnh hưởng. | Hudson River Trading 2024 |
| 2025 | 3. Quy mô lớn | Blobby: filesystem phân tán tự xây (append-only, erasure coding 6+3, copyset, FoundationDB metadata sau proxy, prober) thay Lustre/NFS/appliance. | Hudson River Trading 2025 |
| 2025 | 3. Quy mô lớn | HeraclesQL: DSL Python sinh MetricsQL cho hàng nghìn alert trên VictoriaMetrics; meta-alert absent() tự sinh từ AST; mở mã nguồn. | Hudson River Trading 2025 |
| 2025 | 3. Quy mô lớn | HRTWorker bọc SharedWorker để nhiều tab GUI vận hành dùng chung một lần nạp dữ liệu realtime. | Hudson River Trading 2025 |
| 2026 | 3. Quy mô lớn | Băng thông WAN giữa các site: eBPF (tcp_recvmsg, NFS) + log DupeDog/Cashy + bộ đếm switch để quy byte cho từng workflow; thủ phạm là job đọc thẳng filer xa. | Hudson River Trading 2026 |
| 2026 | 4. Điều chỉnh | slang-server: language server SystemVerilog mã nguồn mở, indexer nhanh khoảng 10 lần; cùng test chạy trên Verilator và simulator thương mại. | Hudson River Trading 2026 |
Concept liên quan
- Chi phí hạ tầng và build vs buy
- CI và build ở quy mô lớn
- Đổi ngôn ngữ và runtime
- Hệ thống độ trễ thấp (low latency)
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định)
- Kiến trúc frontend
- Multi-tenancy và cô lập tenant
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest)
- Observability và monitoring
- Quản lý fleet và migrate code hàng loạt
- Realtime và fan-out
- Tách compute khỏi storage
Được nhắc tới trong
- Hudson River Trading 2021
- Hudson River Trading 2021
- Hudson River Trading 2022
- Hudson River Trading 2022
- Hudson River Trading 2022
- Hudson River Trading 2022
- Hudson River Trading 2023
- Hudson River Trading 2023
- Hudson River Trading 2024
- Hudson River Trading 2025
- Hudson River Trading 2025
- Hudson River Trading 2025
- Hudson River Trading 2025
- Hudson River Trading 2026
- Hudson River Trading 2026