Two Sigma · SWE Wiki

Mạch tiến hoá

Quỹ đầu tư định lượng; blog nghiêng về nền tảng cho researcher. Khoảng 2015, scheduler Cook đưa công bằng và preemption vào một cụm compute dùng chung để job interactive của researcher không phải chờ batch qua đêm Two Sigma 2016. Giữa 2017 họ ghép Kafka, Logstash, Elasticsearch để đo từng query trên một nền tảng dữ liệu nghiên cứu tới 50.000 query/giây Two Sigma 2019; năm 2018 mở mã nguồn Flint, thư viện chuỗi thời gian trên Spark với asof join Two Sigma 2018. Năm 2021, migration hạ tầng chuyển từ project manager và bảng tính sang ADMIRE, nơi phạm vi là code và ticket là tự động Two Sigma 2021. Năm 2025, theo Two Sigma, dữ liệu từ hàng nghìn nguồn được quản lý như code: BigQuery, dbt, Terraform, version để replay Two Sigma 2025.

Timeline

Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).

Năm	Giai đoạn	Thay đổi	Nguồn
2015	3. Quy mô lớn	Cook: scheduler công bằng (Cumulative Resource Share) + preemption cho job interactive và batch; replay trace 7 ngày, utilization giảm dưới 2% (bài 11/2016).	Two Sigma 2016
2017	2. Tăng trưởng	Usage metric từng query (tới 50.000 query/giây/node): Kafka làm bộ đệm, Logstash, Elasticsearch/Kibana, Marathon (bài 1/2019).	Two Sigma 2019
2018	2. Tăng trưởng	Flint mã nguồn mở: thư viện chuỗi thời gian cho PySpark (asof join có hướng, cycle, summarizer theo cửa sổ).	Two Sigma 2018
2021	3. Quy mô lớn	ADMIRE: migration định nghĩa bằng code, ticket Jira tự mở/đóng cho từng host, service tra chủ sở hữu, dashboard; project manager thành đại sứ.	Two Sigma 2021
2025	4. Điều chỉnh	(Bài tổng quan) Data as…

Mạch tiến hoá

Timeline

Bạn đã dùng hết 3 bài đọc thử miễn phí