Tìm kiếm
24 kết quả cho “Error monitoring”. Tìm không phân biệt dấu.
- Who Watches the Watchmen? Keeping an Eye on Our Monitoring Systems Bài tóm tắt · Mercari · 2022
…logger bọc zap (fork Zapdriver) gửi lỗi đúng định dạng vào Error Reporting (gom lỗi theo nội dung, trạng thái open/acknowledged/resolved, báo Slack khi lỗi mới hoặc lỗi đã đóng tá…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Catching bugs on the client-side: how we developed our error tracking system Bài tóm tắt · Bumble · 2020
Bumble và Badoo có web (desktop, mobile) và app Android, iOS với hàng triệu người dùng. Web phát hành 1–2 lần mỗi ngày, app native khoảng một lần mỗi tuần; phân tích lỗi là một bước của mỗi lần phát hành: release…
- Alerting on Service-Level Objectives (SLOs) Bài tóm tắt · SoundCloud · 2019
…ệc đáp ứng kỳ vọng của user, còn một mức lỗi nằm trong SLO (error budget) là chấp nhận được. Họ áp dụng chương "Alerting on SLOs" của SRE Workbook. - Triệu chứng hay nguyên nhân: t…
- crates.io security incident: improperly stored session cookies Bài tóm tắt · Rust · 2025
Đội crates.io phát hiện giá trị cookie cargosession (giá trị đã ký, định danh user đang đăng nhập, đủ để giả danh user đó) bị gửi kèm payload sự kiện lỗi lên dịch vụ giám sát lỗi Sentry mỗi khi backend gặp lỗi.
- Scaling Production Globally: Solving observability problems for developers (Part-2) Bài tóm tắt · Achievers · 2022
…của SRE (Abattoir) tự sinh dashboard cho từng service (lỗi, error log, pod hỏng, trang Istio riêng) và bộ alert mặc định theo golden signals; developer có thể tắt hay viết policy r…
- What it's like to work as an embedded microservices SRE Bài tóm tắt · Mercari · 2022
…ịnh ở Item: đưa SLO Dashboard (do Merpay SRE làm) vào; kiểm error budget trước release (đã tiêu nhiều thì hoãn thay đổi lớn), xem lại budget ba tháng. Thêm SLI gần trải nghiệm ngườ…
- Splunk at Zillow Bài tóm tắt · Zillow · 2015
Sau vài năm ship liên tục, lỗi chỉ tăng: một service tầng trình bày sinh hơn 4 triệu lỗi/ngày, khoảng 20.000 loại lỗi (2015), phần lớn không cần xử lý. Giám sát service này chỉ dựa vào số lượng lỗi, nên lỗi thật chìm…
- Cache made consistent: Meta's cache invalidation solution Bài tóm tắt · Meta · 2022
Meta vận hành TAO (hơn một nghìn nghìn tỉ query mỗi ngày) và Memcache. Cache động khác DB ở chỗ dữ liệu bị thay đổi trên cả hai đường: đọc (cache fill) và ghi (invalidation). Ví dụ kinh điển: fill đọc được x=42, trong…
- Postmortem: Removing all users from github.com/trivago Bài tóm tắt · trivago · 2021
trivago áp dụng blameless postmortem từ 2019. Mọi nhân viên cần code, PR, CI hay tài liệu đều ở một GitHub organization; quyền vào được đồng bộ tự động từ một security group của Azure Active Directory (AAD) qua SAML SSO…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Mô hình tổ chức SRE Chủ đề
Lúc nhỏ, một team ops hay SRE tập trung trực và vận hành mọi thứ. Khi chuyển sang microservice và "you build it, you run it", team sản phẩm phải tự sở hữu service trên production, nhưng nhiều team chưa có kỹ năng, còn…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…ủ: Data Health API với phân loại lỗi nhỏ có chủ ý: UPSTREAM ERROR , PLATFORM ERROR , JOB ERROR , DATA ERROR . Nền tảng vẫn giữ catalog lỗi chi tiết riêng; orchestrator chỉ tiêu thụ…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Bumble Công ty Thành viên
Bumble là tập đoàn hẹn hò sở hữu Badoo; bài 5/2019 trên blog bumble-tech kể cách backend PHP nguyên khối của Badoo được test khi tính năng lên server trước mọi client hàng tháng: SoftMocks cho code cũ đi kèm quy tắc…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Embedded SRE at Mercari Bài tóm tắt · Mercari · 2022
…ượng bằng dashboard toàn hệ (team nhiều sự cố, nhiều alert, error rate cao, ít dùng tính năng nền tảng mới), định tính bằng khảo sát developer và các đợt ra mắt lớn sắp tới; cuối c…
- How we migrated Dropbox from Nginx to Envoy Bài tóm tắt · Dropbox · 2020
…uild bằng Bazel. Vận hành đắt: giám sát chắp vá (Lua, parse error.log, exporter riêng), module bên thứ ba làm nâng cấp khó, quy trình deploy khác mọi service. - Không chọn Bandaid:…
- SoundCloud Công ty Thành viên
Năm 2013 SoundCloud rời mô hình một Public API cho mọi client, tách monolith thành microservice và khai sinh pattern BFF; đến 2021 có vài chục BFF dùng chung thư viện edge, nhưng logic tích hợp và phân quyền bị nhân bản…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…