Tìm kiếm
38 kết quả cho “Storm”. Tìm không phân biệt dấu.
- How Uber Protects Against Retry Storms Bài tóm tắt · Uber · 2026
…c](https://www.uber.com/us/en/blog/protecting-against-retry-storms/) Bài thứ hai của một cặp; nền của nó là phân tích phụ thuộc: . Bối cảnh - Chỉnh cấu hình retry và retry budget g…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…eaming-computation-engines-at) Bối cảnh - Yahoo dùng Apache Storm cho streaming từ 2012 (thay S4 tự làm); cuối 2015 có khoảng 2.300 node Storm . Thị trường đã có Flink, Spark Strea…
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…alance. Xử lý chậm làm rebalance lặp liên tục: "rebalancing storm" , mọi xử lý đứng lại. - Thêm consumer (tới bằng số partition) gần như không giúp, thường còn tệ hơn: càng nhiều c…
- 25% or 6 to 4: The 11/6/23 Authentication Outage Bài tóm tắt · Discord · 2023
…mà quy trình không kiểm); app retry lỗi xác thực tạo retry storm . - Alert đầu tiên sau khoảng 4 phút (đã có cuộc gọi sự cố từ trước). Biểu đồ "thời gian chờ service phía dưới" ch…
- How we rolled out one of the largest Python 3 migrations ever Bài tóm tắt · Dropbox · 2018
…khiển bằng cờ dòng lệnh khi dev và một setting trên đĩa do Stormcrow (feature gate) đặt. Code viết theo cú pháp lai 2/3 trong thời gian chuyển; CI có job riêng chạy test trên Pyth…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…n được đưa song song vào hệ batch (MapReduce) và hệ stream (Storm); logic biến đổi viết hai lần , kết quả hai bên ghép lại lúc truy vấn. - Theo Kreps, điểm hay: giữ nguyên dữ liệu…
- Scryer: Netflix's Predictive Auto Scaling Engine Bài tóm tắt · Netflix · 2013
…đột ngột kích hoạt scale-down, rồi khi sự cố hết thì retry storm ập vào một cụm đã bị thu nhỏ. - Mẫu tải thay đổi trong ngày: có lúc tải tăng nhanh khi cụm chỉ ở 20% kích thước tố…
- How recurring network maintenance exposed 6 bugs Bài tóm tắt · Jane Street · 2026
Jane Street bảo trì mạng nhiều vào cuối tuần; mỗi lần một tủ rack có thể mất kết nối 15–25 phút. Hạ tầng Kafka nội bộ lẽ ra phải chịu được và tự nối lại. Nhiều tháng năm 2026, nó không chịu được: process segfault, rò…
- Open Sourcing Iris and Oncall Bài tóm tắt · LinkedIn · 2017
Trước 2015, kỹ sư NOC escalate sự cố bằng tay: không rõ ai là người liên hệ thứ hai và liên hệ bằng gì; số alert tăng nhanh hơn nhiều so với số người ở NOC. Đường escalate cũ lấy theo quản lý trong LDAP nên sự cố của kỹ…
- How Postman Engineering handles a million concurrent connections Bài tóm tắt · Postman · 2020
Service Sync là một trong những service đầu tiên của Postman: đồng bộ mọi hoạt động trên client với server qua WebSocket theo kiểu pub/sub. Ban đầu chỉ lo giao dịch DB (ví dụ cập nhật collection), dần ôm thêm việc thông…
- Flannel: An Application-Level Edge Cache to Make Slack Scale Bài tóm tắt · Slack · 2017
Slack thiết kế cho team vài trăm người: khi khởi động, client gọi rtm.start nhận toàn bộ snapshot của team (user, channel, thành viên, tin mới nhất, DM...) rồi mở WebSocket nhận event real-time.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Large-Scale Automated Dependency Analysis Across Uber's Service Mesh Bài tóm tắt · Uber · 2026
…Bài đầu của một cặp; bài sau dùng kết quả này để chặn retry storm: . Bối cảnh - Trong kiến trúc microservice của Uber, khi một request lỗi ở service gốc, khó biết phụ thuộc hạ nguồ…
- Yahoo Công ty Thành viên
Yahoo tạo BookKeeper năm 2009 làm WAL cho HDFS: một kho log tuần tự nhân bản theo quorum trên phần cứng phổ thông, metadata trong ZooKeeper. Đến 2015 nó là lớp lưu bền cho Cloud Messaging Service đa tenant (hơn 60 ứng…
- Uber's Rate Limiting System Bài tóm tắt · Uber · 2026
…nstance Redis. GRL chặn quá tải lúc đỉnh, failover và retry storm, và là công cụ của playbook sự cố (áp limit có mục tiêu lên caller hay procedure trong vài giây, không deploy). Qu…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- Chaos Testing an Application on AWS Bài tóm tắt · Goldman Sachs · 2022
…cy); hình dạng traffic bằng k6 (tăng user, đỉnh nhọn, retry storm, payload to nhỏ). - Game day: chọn một kịch bản từ bộ test mà không báo trước cho team; team phải chẩn đoán và đưa…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ẵn dạng log realtime nhiều subscriber, xử lý stream (Samza, Storm) trở nên tự nhiên. State của stream processor là bảng dẫn xuất từ changelog; log compaction giữ bản ghi mới nhất m…
- Service Architecture at SoundCloud — Part 1: Backends for Frontends Bài tóm tắt · SoundCloud · 2021
…trả cả collection trong một request, gây timeout và fan-out storm có thể kéo sập hệ thống; - "tự chủ hoàn toàn cho dev client là ảo tưởng": BFF nằm ở giao giữa frontend và backend.…
- Geosharded Recommendations Part 3: Consistency Bài tóm tắt · Tinder · 2019
…(refeed). - Retry phải có jitter, nếu không sẽ thành retry storm (xem ). Liên quan - - -…
- New Tweets per second record, and how! Bài tóm tắt · Twitter · 2013
…ngay từ đầu, nếu không mỗi team tự tạo ra lỗi riêng (retry storm). - Feature flag runtime (Decider) tách deploy khỏi release . - Đánh đổi tự thừa nhận: không phải team nào cũng lê…
- How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS, 10,000+ Instances Bài tóm tắt · Twitter · 2014
…metadata) nhưng tổng hợp ngay trên máy rồi gửi bản tóm tắt (Storm tổng hợp) vì gửi log thô tốn khoảng 10% băng thông; trả lời được top key, traffic gai, số khoá duy nhất. Theo Yao…
- From Chaos to Control: Addressing Shard Distribution Challenges in M3DB with Subclusters Bài tóm tắt · Uber · 2026
…hiện có (chỉ đổi một cờ cấu hình), và tránh "bootstrapping storm" khi thêm cả subcluster một lúc. Kết quả Theo Uber: - lỗi được khoanh trong một subcluster; - bảo trì song song đư…
- How Uber Conquered Database Overload: From Static Rate-Limiting to Intelligent Load Management Bài tóm tắt · Uber · 2026
Docstore (có transaction, CRUD) và Schemaless (tối ưu append) là hai DB phân tán tự làm trên MySQL: hàng nghìn cụm, hàng chục PB, hàng chục triệu request mỗi giây. Kiến trúc chung: query engine stateless (lập kế hoạch,…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
Kafka ở Uber xử lý hàng nghìn tỉ message và nhiều PB mỗi ngày. Khoảng ba năm trước bài, Uber dựng Consumer Proxy: một cụm proxy lấy message từ Kafka bằng giao thức nhị phân, đẩy từng message tới consumer service qua…