Tìm kiếm
16 kết quả cho “distributed compute”. Tìm không phân biệt dấu.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
Hệ tracing dựa trên OpenTelemetry theo request từ app của member xuống mọi service. Lấy mẫu đầu 1% mà vẫn sinh khoảng 0,8 nghìn tỉ span và 200 TB chưa nén mỗi ngày.
- Building a Distributed Filesystem for Scalable Research Bài tóm tắt · Hudson River Trading · 2025
…Khó — [bài gốc](https://www.hudsonrivertrading.com/hrtbeat/distributed-filesystem-for-scalable-research/) Bối cảnh - HRT nạp lượng dữ liệu lớn; researcher dùng nó để phát triển và…
- Globally Distributed Object Storage with Tigris Bài tóm tắt · Fly.io · 2024
Upload file trong ứng dụng full-stack thì dễ; khó là giữ file để tải lại về sau, nên mọi người dùng object storage kiểu S3. Khách của Fly.io liên tục đòi có nó.
- Long on Research, Short on Bandwidth Bài tóm tắt · Hudson River Trading · 2026
Giao dịch của HRT dựa trên lượng tính toán nghiên cứu khổng lồ: train nhiều loại model trên nhiều năm lịch sử từ các sàn khắp thế giới rồi mô phỏng hành vi của chúng trong vô số kịch bản giao dịch.
- Cook: A Fair Preemptive Resource Scheduler for Compute Clusters Bài tóm tắt · Two Sigma · 2016
Phần lớn tài nguyên compute của Two Sigma được cấp động cho ứng dụng theo nhu cầu, vì chia sẻ hiệu quả hơn cấp tĩnh. Có hai loại job, giống tiến trình foreground/background của OS: interactive (task nhỏ, người dùng chờ…
- Inside HRT's Python Fork: Leveraging PEP 690 for Faster Imports Bài tóm tắt · Hudson River Trading · 2025
Phần lớn code của HRT nằm trong một monorepo; module Python nội bộ import được ở mọi nơi. Tiện, nhưng import tăng không kiểm soát. Import Python chạy lúc runtime và chậm khi module lớn, nằm trên filesystem phân tán, có…
- A Decade of Evolution of Alibaba's Databases - Part 2 Bài tóm tắt · Alibaba · 2019
…a được. - thử nghiệm trên Ceph (2017), song song với Apsara Distributed File System 2.0; - cần mạng độ trễ thấp: TCP 25 Gbit/s (2017), rồi RDMA quy mô lớn (2018). Double 11 năm 201…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hudson River Trading Công ty Thành viên
Công ty giao dịch thuật toán (HRT), phần lớn hạ tầng on-premises, nhiều site trên thế giới. Năm 2021 họ scale Prometheus bằng shard chỉ ingest cộng query node đọc remote, vì federation mất khả năng tổng hợp ad-hoc trên…
- A FUSE server for our in-house storage backend Bài tóm tắt · Jane Street · 2026
Nhiều workload xử lý dữ liệu cần truy cập thông lượng cao vào lượng lưu trữ lớn. Trước đây dùng sản phẩm mua ngoài (Dell Isilon, VAST); khi dataset lớn dần và nghiên cứu cần truy cập nhanh hơn tới nhiều dữ liệu hơn, họ…