Tìm kiếm
40 kết quả cho “bucket 5 phút”. Tìm không phân biệt dấu.
- How we made ClickStack 5x faster for ClickHouse observability Bài tóm tắt · ClickHouse · 2026
…i quy ở chỗ khác. Thay đổi chính - Primary key bắt đầu bằng bucket thời gian: khoá cũ (ServiceName, TimestampTime) không cho tối ưu read in order (dừng sớm Top N khi đủ LIMIT ) vì…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…từng giao dịch đúng thứ tự (log xen kẽ nhiều kết nối), chia bucket 5 phút theo cụm và pod, kèm metadata. Viết lại INSERT để chèn tường minh last insert id đã ghi nhận , vì engine k…
- Scaling your API with rate limiters Bài tóm tắt · Stripe · 2017
…chọn mức bỏ được lượng lớn trong vài phút. - Cài đặt: token bucket mỗi người dùng một bucket, trên Redis. Lưu ý: - Gắn vào middleware an toàn: lỗi code hay Redis chết thì fail open…
- Investment Insights from Two Years of AI-Powered Postmortem Analysis Bài tóm tắt · Zalando · 2025
…ing. S3: lỗi cấu hình artifact deploy làm app mất quyền vào bucket → dựng kiểm chứng tự động cho thay đổi IaC, chặn được 25% sự cố datastore về sau. ElastiCache: lặp lại mẫu CPU 80…
- Our Evolution Towards T-REX: The Prehistory of Experimentation Infrastructure at LinkedIn Bài tóm tắt · LinkedIn · 2020
…i chính - "Thời đồ đá" (khoảng 2009): member chia vào 1.000 bucket bằng member id mod 1000 ; muốn chạy test phải xin một dải bucket không trùng ai, qua email (độ phức tạp O(số test…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- No record left behind: How WarpStream can withstand cloud provider regional outages Bài tóm tắt · WarpStream · 2025
…plane (chạy trong môi trường khách): agent ghi vào quorum 3 bucket object storage ở 3 region trước khi xác nhận. Không dùng replication bất đồng bộ của bucket, vì S3 nói 99,99% obj…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…eo nhóm (TLS hay không). Nhiều tài khoản AWS dùng chung một bucket S3 trung tâm, Agent Group nằm ở VPC khác nhau: bên ghi và bên đọc gặp nhau qua S3, không cần VPC peering hay Priv…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…cùng compaction nền. Partition theo trường, theo thời gian, bucket, truncate, kết hợp nhiều chiều. Vì sao - Theo Alibaba: đường dài thì nhiều ranh giới hệ thống, bề mặt lỗi lớn, đư…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- ClickHouse Công ty Thành viên
ClickHouse Cloud có thêm Postgres managed, và với dịch vụ đó WAL archival là thứ bảo đảm khôi phục được. Năm 2026, khi đưa Postgres vào môi trường ít tài nguyên, họ viết lại WAL-G (Go) thành WAL-RUS (Rust) để bộ nhớ dự…
- Scaling Email Infrastructure for Medium Digest Bài tóm tắt · Medium · 2020
…sinh trước 6 giờ; user mỗi múi giờ chia ngẫu nhiên vào sáu bucket 10 phút để một lần hỏng mất ít digest. - Tất cả digest event chạy trên một hàng đợi SQS , giới hạn 500 event/giây…
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
…e phải nạp từ Control Plane (dự định giữ bản sao cache trên bucket). Vì sao - Theo WarpStream, giảm latency của Control Plane chỉ là cải tiến dần; bỏ hẳn nó khỏi đường nóng của pro…
- Ensuring Quora's Resilience to Disaster Bài tóm tắt · Quora · 2016
…hay chain được; - một số tool không chạy ngoài us-east-1 vì bucket có dấu chấm trong tên. - Phụ thuộc không cần thiết: script restore HBase phải import web package, nên phải chờ mọ…
- Integrated Gauges: Lessons Learned Monitoring Seastar's IO Stack Bài tóm tắt · ScyllaDB · 2026
…hiều. Ba cách và đánh đổi - Histogram: đếm quan sát vào các bucket, tính được p50/p99. Giàu thông tin nhất nhưng N bucket tốn gấp N lần một giá trị: RAM trên node, băng thông gửi đ…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…nghiệm mua hoặc tự viết, mỗi cái giải một phần: có nơi gán bucket tốt nhưng PM chờ data scientist hàng tuần để có scorecard; có nơi mua công cụ nhưng chỉ đo metric cục bộ, không t…
- From Static Rate Limiting to Adaptive Traffic Management in Airbnb's Key-Value Store Bài tóm tắt · Airbnb · 2026
…ược hiệu chỉnh bằng load test. Mỗi dispatcher giữ một token bucket theo RU, nạp lại mỗi epoch ngắn, nên không cần phối hợp giữa các node. - Load shedding theo mức quan trọng: - tỷ…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…gration. - S3 cross-region replication không bắc cầu: chuỗi bucket 1 → 2 → 3 không chạy ở chặng thứ hai, vì bản sao tạo bởi replication không được replicate tiếp (đúng như tài liệu…
- An alternative approach to rate limiting Bài tóm tắt · Figma · 2017
…n thuộc: Thuật toán Ưu Nhược (theo Figma) --- --- --- Token bucket Ít bộ nhớ Đọc rồi mới ghi nên không nguyên tử, có race khi phân tán; sửa bằng lock (chậm) hoặc Lua (thêm một ngôn…
- KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure Bài tóm tắt · Meta · 2026
…dài operator riêng (biến đổi tiền xử lý như hash đặc trưng, bucket, cắt chuỗi; tầng tương tác đặc trưng hợp nhất) không có bản tăng tốc, nên hoặc rơi về CPU (buộc tách serving, thê…
- Deno Công ty Thành viên
Deno chạy code ở nhiều region qua Deno Deploy, và theo Deno, compute phân tán thì dữ liệu cũng phải phân tán. Năm 2023 họ dựng Deno KV trên FoundationDB, thêm một transaction layer chỉ có giao dịch không tương tác và…