Tìm kiếm
40 kết quả cho “ring buffer”. Tìm không phân biệt dấu.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Centralized Application Logging at eBay (CAL Ingress) Bài tóm tắt · eBay · 2019
…n · Độ khó: Khó — [bài gốc](https://tech.ebayinc.com/engineering/low-latency-and-high-throughput-cal-ingress/) Bối cảnh - CAL gom log cục bộ của các application server về một chỗ v…
- Scaling and benchmarking a critical message bus using a new indexing strategy Bài tóm tắt · Jane Street · 2026
…very: phần đuôi gần nhất của luồng ("stream tip") nằm trong ring buffer trong RAM; client tụt lại thì xin lại từ đây. Aria lọc bằng một vòng quét tuyến tính qua toàn bộ luồng: kém…
- Scaling Exact COUNT(DISTINCT) for High-Cardinality Non-Rollup Metrics Bài tóm tắt · Uber · 2026
…. - Hai cách cũ đều hỏng một cách tất định: - Bitmap-32 (RoaringBitmap trên số 32-bit) cần từ điển toàn cục ánh xạ UUID → số thứ tự: một điểm hỏng chung (hỏng hay trễ nhân bản là s…
- Inside Minerva: building scalable observability for eBay's monetization platform Bài tóm tắt · eBay · 2026
…ung lượng và tuổi bản ghi ; quá hạn thì xả hoặc ghi đè kiểu ring buffer thay vì phình vô hạn. Chủ ý ưu tiên độ sẵn sàng của tính phí hơn việc giám sát không mất dữ liệu: event stre…
- Getting from tested to battle-tested Bài tóm tắt · Jane Street · 2025
…ể: service "tip-retransmitter" (phục vụ dữ liệu gần nhất từ ring buffer trong RAM) vừa được mở rộng để phục vụ client ở vùng khác . Sau khi restart từ snapshot và trước khi ring bu…
- The LMAX Architecture Bài tóm tắt · LMAX · 2011
…ower). Ba việc độc lập nên chạy song song. Disruptor là một ring buffer (20 triệu slot đầu vào, 4 triệu mỗi đầu ra, kích thước luỹ thừa 2), mỗi producer/consumer có bộ đếm sequence…
- Why Uber Engineering Switched from Postgres to MySQL Bài tóm tắt · Uber · 2016
Kiến trúc ban đầu: monolith Python + Postgres. 2016: microservices, và phần lớn chỗ trước đây dùng Postgres giờ dùng Schemaless, một lớp sharding tự xây trên MySQL. Một số trường hợp đặc biệt dùng Cassandra.
- モジュラモノリスの品質を支えるリーダビリティチーム ― AI時代のスケーラブルなコード管理 (Readability team for a modular monolith in the AI era) Bài tóm tắt · Mercari · 2025
…Quy mô lớn · Độ khó: Trung bình — [bài gốc](https://engineering.mercari.com/blog/entry/20251021-scaling-code-quality-modular-monolith-readability-team-ai-era/) Một bài trong serie…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
Log có cấu trúc (key=value) linh hoạt hơn metric (metric và dashboard phải thiết kế trước, khó hỏi câu bất ngờ). Nhưng thông tin của một request rải trên nhiều dòng: muốn hỏi "user nào bị rate limit nhiều nhất" phải…
- A FUSE server for our in-house storage backend Bài tóm tắt · Jane Street · 2026
…ó: Khó — [bài gốc](https://blog.janestreet.com/linux-engineering-depot-fuse-index/) Bối cảnh - Nhiều workload xử lý dữ liệu cần truy cập thông lượng cao vào lượng lưu trữ lớn. Trướ…
- The Stack That Helped Medium Drive 2.6 Millennia of Reading Time Bài tóm tắt · Medium · 2016
…Tăng trưởng · Độ khó: Dễ — [bài gốc](https://medium.engineering/the-stack-that-helped-medium-drive-2-6-millennia-of-reading-time-e56801f7c492) Bài tổng quan stack của trưởng nhóm…
- 2026 World Cup: record traffic, reliability at scale Bài tóm tắt · Meta · 2026
…Quy mô lớn · Độ khó: Trung bình — [bài gốc](https://engineering.fb.com/2026/10/15/production-engineering/2026-world-cup-record-traffic-reliability-at-scale/) Bài tổng kết ngắn, ít…
- Building a High-Throughput Metrics System Using Open Source Software Bài tóm tắt · Two Sigma · 2019
…rch, Kibana, Kafka do đội Infrastructure Reliability Engineering vận hành; Logstash tự quản nên chạy trên Marathon . Giữa 2017 Kubernetes chưa có sẵn ở Two Sigma; Waiter (của họ) c…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- Scaling our Observability platform beyond 100 Petabytes by embracing wide events and replacing OTel Bài tóm tắt · ClickHouse · 2025
…tem Tables Exporter) , viết bằng Go: một pool scraper, hash ring gán mỗi pod khách cho một scraper; scraper chạy SELECT trên system tables của pod nguồn và stream byte nguyên bản s…
- Did you mean "Galene"? Bài tóm tắt · LinkedIn · 2014
…14 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://engineering.linkedin.com/search/did-you-mean-galene) Đồng tác giả Sriram Sankar cũng là đồng tác giả bài Unicorn của Facebook n…
- Scaling for Tsunami traffic Bài tóm tắt · Disney Hotstar · 2019
Traffic của Hotstar (streaming ở Ấn Độ) có dạng "sóng thần": khi đội tuyển cricket Ấn Độ ra sân, lượng user đồng thời tăng vọt trong vài phút.
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
…Quy mô lớn · Độ khó: Trung bình — [bài gốc](https://engineering.salesforce.com/our-journey-to-a-near-perfect-log-pipeline-6ae2f80cf7a0) Bối cảnh - Log của ứng dụng lõi Salesforce…
- LMAX Công ty Thành viên
Sàn giao dịch phái sinh cho nhà đầu tư cá nhân, thuộc Betfair. Nguồn duy nhất trong wiki là bài năm 2011 của Martin Fowler, viết theo lời kể của đội LMAX: sau khi prototype actor model cho thấy CPU bận quản lý hàng đợi…
- Disney Hotstar Công ty Thành viên
Traffic "sóng thần" của cricket: đỉnh user đồng thời 4,7 triệu (2017) → 10,3 triệu (2018) → 25 triệu (2019). Sau IPL 2018, EC2 + ASG không theo kịp (khởi động chậm, giới hạn region, bị throttle API), nên họ chuyển sang…
- How we migrated Dropbox from Nginx to Envoy Bài tóm tắt · Dropbox · 2020
…Bandaid: Go tốn tài nguyên hơn (GC, parser HTTP, TLS kém BoringSSL; goroutine mỗi request tốn bộ nhớ khi kết nối nhiều) mà ở edge thì không autoscale dễ; TLS của Go không có FIPS;…
- eBay Công ty Thành viên
Hai bài về nhất quán và độ bền ở eBay: protocol GRIT (2019) cho giao dịch ACID xuyên microservice và nhiều DB bằng OCC + log + áp bất đồng bộ ; và các phương án chạy Kafka đa region khi event phải đúng thứ tự (2020),…
- How to shuffle a big dataset Bài tóm tắt · Jane Street · 2018
…ưa xáo cho phép duy trì một cửa sổ trượt Y năm: mỗi đống là ring buffer theo thời gian, dữ liệu mới vào thì bỏ dữ liệu cũ. - Số đo (2018): 220 triệu mẫu × 9 kB, 2 TB chưa nén, 320…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…. Quy mô lớn · Độ khó: Trung bình — [bài gốc](http://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying) Bài l…