Tìm kiếm
32 kết quả cho “tail latency”. Tìm không phân biệt dấu.
- Building a lower-latency GC Bài tóm tắt · Jane Street · 2015
…dùng các thay đổi này cùng job ép major slice vào lúc rảnh, tail latency giảm 3 lần trên một ứng dụng production thật, gần như chưa tune tham số. - Điểm đáng thất vọng: với batch j…
- Garbage Collection Optimization for High-Throughput and Low-Latency Java Applications Bài tóm tắt · LinkedIn · 2014
…dịch vụ Java latency thấp, GC pause là thành phần chính của tail latency; tối ưu runtime đang có rẻ hơn đổi ngôn ngữ. Bài học cho SWE - Tune GC bằng workload thật chạy đủ lâu để qu…
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- How we optimized Magic Pocket for cold storage Bài tóm tắt · Dropbox · 2019
Magic Pocket () lưu block bất biến tối đa 4 MB trên đĩa quay (SMR từ 2018, ); trong một region thì mới upload là replication n-way, sau đó erasure coding nền.
- How we migrated Dropbox from Nginx to Envoy Bài tóm tắt · Dropbox · 2020
Hạ tầng traffic dựa trên Nginx gần mười năm: hàng chục triệu kết nối mở, hàng triệu request/giây, hàng terabit băng thông. Cấu hình phần lớn tĩnh, sinh bằng Python 2 + Jinja2 + YAML (cả ba đều cho logic, không có mô…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…y phục vụ đọc), Active vẫn là nơi ghi duy nhất. - Fast Path tailing: JournalNode cache transaction gần nhất trong RAM, Standby kéo bằng RPC theo txId thay vì đợi cả segment file (m…
- The LMAX Architecture Bài tóm tắt · LMAX · 2011
LMAX là sàn giao dịch phái sinh cho nhà đầu tư cá nhân (công ty mẹ là Betfair). Sàn cần latency thấp vì mỗi giao dịch làm thay đổi thị trường cho giao dịch sau; bán lẻ thì thêm nhiều người dùng. Phần lớn hoạt động đến…
- Scaling Reliable Experimentation in a Two-Sided AdTech Marketplace: ZMS Budget Split Bài tóm tắt · Zalando · 2026
…ces (ZMS) bán quảng cáo sản phẩm ngay trên trang Zalando (retail media): nhà quảng cáo đấu giá vị trí, khách thấy kết quả, và cả hệ chạy trên một tài nguyên hữu hạn là ngân sách ch…
- Moving Velo to Multiple Container Sites: The Why, The How and The Lessons Learned Bài tóm tắt · Wix · 2021
Velo (trước gọi là Corvid) cho người dùng Wix viết code backend và frontend cho site. Nó được thiết kế rất rẻ để phục vụ hàng chục triệu khách nhỏ: mỗi site chạy trên một container. Khách lớn xuất hiện thì cần chạy…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- Magic-trace: Diagnosing tricky performance issues easily with Intel Processor Trace Bài tóm tắt · Jane Street · 2022
…perf , rồi parse perf script và dựng lại call stack (xử lý tail call, exception của OCaml). Xong trong chưa tới một tuần. - Bản hai dùng thẳng perf event open + libipt để decode t…
- Building a dynamic and responsive Pinterest Bài tóm tắt · Pinterest · 2018
…ống C++ nào. Họ chọn C++11, FBThrift, Folly, RocksDB vì cần tail latency thấp với fan-out lớn (có lúc tới mọi shard) và nhiều hệ nặng CPU. Đầu tư ban đầu chậm (phải dựng thư viện n…
- How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS, 10,000+ Instances Bài tóm tắt · Twitter · 2014
…oặc lạm dụng, và cần dữ liệu để chứng minh. - Bài học khác: tail latency quan trọng khi fan-out nhiều shard; Mesos với giới hạn cứng làm Redis (fragmentation) phải dư 10–20% bộ nhớ…
- Evolution and Scale of Uber's Delivery Search Platform Bài tóm tắt · Uber · 2026
…dex: Lucene Plus, index riêng cho nhà hàng và cho grocery/retail; HNSW lưu cả float32 lẫn int8. Pre-filter boolean (hexagon, city id , doc type , fulfillment types ) chạy trước ANN…
- Migrating 300+ namespaces from self-hosted Temporal to Temporal Cloud Bài tóm tắt · Coinbase · 2026
…ng nhanh, nhưng theo Coinbase bốn vấn đề lớn dần cùng nhau: tail latency phụ thuộc hàng xóm (batch của team này là p95 của team kia), vận hành cụm thành một sản phẩm riêng có on-ca…
- Pitfalls and Patterns in Microservice Dependency Management Bài tóm tắt · Google · 2021
…hành một phần của sản phẩm. - PetPic phục vụ hai vùng (Happytails, Furland), mỗi vùng 100 khách; frontend API riêng từng vùng, database dùng chung một vùng toàn cục . Ba tình huống…
- Introducing OxCaml Bài tóm tắt · Jane Street · 2025
…phải tính trước. Liên quan - (float unboxed nhờ OxCaml giảm tail latency) · (mode local / unique dùng cho cầu nối Python) · (một fork CPython khác) - ·…
- Flex Model: an event-driven feature engineering system Bài tóm tắt · Jane Street · 2026
…cấp phát. Float unboxed nhờ OxCaml (nhánh compiler của họ): tail latency giảm khoảng 25% trong một lần replay thử. Đang thử sinh code cho cả kế hoạch thành một hàm thẳng lúc khởi đ…
- Scaling and benchmarking a critical message bus using a new indexing strategy Bài tóm tắt · Jane Street · 2026
…t, latency toàn client giảm rõ; server chưa có index vẫn có tail latency vài giây. Chia store thích ứng đang ở staging. Bài học cho SWE - Quét tuyến tính thân thiện cache là lựa ch…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…rebalance chỉ là di chuyển partition. - Scatter-gather chịu tail latency của node chậm nhất: hedged request và giảm tải ở client là phần của thiết kế, không phải tối ưu sau. Liên q…
- Community-focused Feed optimization Bài tóm tắt · LinkedIn · 2019
…n chỉ dùng cây giữ được phần lớn mức tăng tương tác mà giảm tail latency so với baseline. - Đánh giá bằng recall, không precision: đo phần giao giữa top K của FollowFeed và của SPR…
- Evolving Reddit's ML Model Deployment and Serving Architecture Bài tóm tắt · Reddit · 2021
…ed, có memcached cục bộ trên mỗi máy (qua mcrouter) để giảm tail latency. - Model nhúng vào ứng dụng: thêm model là viết code ứng dụng (tải model, nạp vào RAM lúc start, sửa schema…
- From Event-Driven Chaos to a Blazingly Fast Serving API Bài tóm tắt · Zalando · 2025
…hot" (ví dụ giày Nike bản giới hạn) không đè sập một pod. - Tail latency: - cache product dưới dạng ByteArray để giảm GC; - nối gzip trực tiếp, không giải nén rồi nén lại; - LIFO t…