Tìm kiếm
40 kết quả cho “Sự cố”. Tìm không phân biệt dấu.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- The Consul outage that never happened Bài tóm tắt · GitLab · 2019
…Trung bình — [bài gốc](https://about.gitlab.com/blog/the-consul-outage-that-never-happened/) Bối cảnh - GitLab.com (2019): khoảng 4 triệu user , 12 triệu project, 271 server produc…
- How We Cut Kafka Consumer Deployment Costs by 83% Bài tóm tắt · trivago · 2026
…ttps://tech.trivago.com/post/2026-06-12-how-we-cut-kafka-consumer-deployment-costs-by-83) Bối cảnh - PSE-kafka consume message giá khách sạn từ Kafka và đẩy quảng cáo sang một dịch…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…và nhiều PB mỗi ngày. Khoảng ba năm trước bài, Uber dựng Consumer Proxy : một cụm proxy lấy message từ Kafka bằng giao thức nhị phân, đẩy từng message tới consumer service qua gRPC…
- Building Pubsub for 50M concurrent socket connections Bài tóm tắt · Disney Hotstar · 2019
…ộ khó: Khó — [bài gốc](https://blog.hotstar.com/building-pubsub-for-50m-concurrent-socket-connections-5506e3c3dabf) Đọc toàn văn qua trình duyệt (blog.hotstar.com chặn crawler, Way…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…m/news/zkafka-by-zillow-go-library-for-simplifying-kafka-consumption/) Bối cảnh - Năm năm qua Kafka dùng rộng ở Zillow: cụm nội bộ hơn 1.500 topic (2024). Team Java có Flink và nhi…
- Background Coding Agents: Downstream Consumer Dataset Migrations (Honk, Part 4) Bài tóm tắt · Spotify · 2026
…(Scala). Hạn là 6 tháng; làm tay ước khoảng 10 tuần công kỹ sư. Thay đổi chính - Tìm phạm vi bằng lineage: trang của mỗi endpoint trong Backstage liệt kê consumer phía sau; plugin…
- How Discord Supercharges Network Disks for Extreme Low Latency Bài tóm tắt · Discord · 2022
…: Nâng cao — [bài gốc](https://discord.com/blog/how-discord-supercharges-network-disks-for-extreme-low-latency) Bối cảnh - Discord chạy các cụm ScyllaDB trên Google Cloud, khoảng 4…
- Superuser Gateway: Guardrails for Privileged Command Execution Bài tóm tắt · Uber · 2026
…ớn · Độ khó: Dễ — [bài gốc](https://www.uber.com/us/en/blog/superuser-gateway-guardrails/) Bối cảnh - Data platform của Uber dùng GCS, OCI và HDFS. Một nhóm nhỏ engineer thỉnh thoả…
- Supercharging Discord Mobile: Our Journey to a Faster App Bài tóm tắt · Discord · 2025
…h · Độ khó: Trung bình — [bài gốc](https://discord.com/blog/supercharging-discord-mobile-our-journey-to-a-faster-app) Bối cảnh - Desktop dùng React, mobile dùng React Native. Andro…
- From Chaos to Control: Addressing Shard Distribution Challenges in M3DB with Subclusters Bài tóm tắt · Uber · 2026
…ảnh hưởng lẫn nhau, nên phải làm tuần tự. Thay đổi chính - Subcluster: chia node thành các nhóm kích thước cố định; mỗi nhóm sở hữu một lát shard riêng, không chồng lấn . Ví dụ 12…
- Courier: Dropbox migration to gRPC Bài tóm tắt · Dropbox · 2019
…i restart hàng loạt → đổi RSA 2048 sang ECDSA P-256 cho ký, sửa gRPC-core/gRPC-python để có session resumption . Mã hoá đối xứng rẻ (khoảng 40 Gbps một core) nên khi tốc độ mã hoá…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…hạn chế: trễ 6–10 giờ từ hoạt động tới thông báo (tin thời sự đã cũ, cuộc thảo luận đã qua), và join quá đắt nên không mở rộng được đồ thị target. Thay đổi chính - Concourse: nền…
- Code Verify: verifying code authenticity on WhatsApp Web Bài tóm tắt · WhatsApp · 2022
…p Web đang chạy có đúng bản đã công bố không. Mở rộng ý của subresource integrity (vốn chỉ kiểm từng file) ra toàn trang. - Bên thứ ba giữ nguồn sự thật: WhatsApp đưa hash mật mã c…
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- An open-source spec for Codex orchestration: Symphony Bài tóm tắt · OpenAI · 2026
…mạnh vào test tự động và guardrail. - Nút thắt tiếp theo là sự chú ý của người : mỗi engineer mở vài phiên Codex, giao việc, review, chỉnh hướng; quá ba tới năm phiên thì chuyển ng…
- Slashing CI Costs at Uber Bài tóm tắt · Uber · 2025
…, Green and Fast", arXiv 2501.03440). Bài trước của Uber về SubmitQueue (EuroSys 2019) chỉ có abstract trên blog nên wiki không lấy. Bối cảnh - SubmitQueue giữ mainline luôn xanh (…
- How we built Claude Code auto mode: a safer way to skip permissions Bài tóm tắt · Anthropic · 2026
…Mặc định Claude Code hỏi người dùng trước khi chạy lệnh hay sửa file; theo Anthropic người dùng chấp nhận 93% số lời hỏi, dẫn tới "mỏi duyệt" và duyệt không còn chú ý. Hai lối thoá…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…mỗi team tự chạy cụm Kafka riêng: nhiều phiên bản, lặp công sức. - Dự án chuẩn hoá về một phiên bản (Kafka 2.0.1), một team nhỏ quản lý, nên phải tự động hoá tối đa. Quy mô (2022):…
- Add-Ons Outage Post-Mortem Result Bài tóm tắt · Mozilla · 2019
…ps://hacks.mozilla.org/2019/07/add-ons-outage-post-mortem-result/) Bài tóm tắt kết quả postmortem (do CTO Firefox viết); chi tiết nằm trong hai báo cáo trên wiki của Mozilla. Sự cố…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…ww.anthropic.com/engineering/a-postmortem-of-three-recent-issues) Postmortem của hạ tầng phục vụ LLM. Phần sampling và độ chính xác số học chỉ tóm tắt ngắn; trọng tâm wiki là ba lỗ…
- API, ChatGPT & Sora Facing Issues (incident write-up) Bài tóm tắt · OpenAI · 2024
…ới 19:38 (PST), mọi dịch vụ của OpenAI (API, ChatGPT, Sora) suy giảm nặng hoặc ngừng hẳn. - OpenAI chạy hàng trăm cụm Kubernetes. Lúc 15:12 họ deploy một service telemetry mới để t…
- Modernizing Prometheus: Native Storage for Composite Types Bài tóm tắt · Prometheus · 2026
…ó hậu tố total , info có info . - Loại phức hợp (histogram, summary, gaugehistogram, stateset) được biểu diễn bằng một nhóm series : histogram cổ điển là các counter foo bucket{le=…
- How Reliability and Product Teams Collaborate at Booking.com Bài tóm tắt · Booking.com · 2019
…hần lớn kỳ vọng team reliability làm hết (toil, monitoring, sự cố), điều không thực tế. Thay đổi chính - Reliability Collaboration Model (RCM): liệt kê đầy đủ mọi việc giữ một hệ ổ…
- Incident report for September 18, 2026: When Deletion Cascades Exhausted Our Database Connections Bài tóm tắt · Inngest · 2026
…ông phải bởi lỗi gốc. Yếu tố 3 và 4 biến một job chậm thành sự cố toàn nền tảng có đuôi dài. Khắc phục - Kill switch dừng xoá từ marketplace; yêu cầu xoá vẫn ghi thành event nội bộ…
- Rebuilding our tech stack for the new Facebook.com Bài tóm tắt · Meta · 2020
…tài nguyên cần, tới ngay trước lúc cần), và trải nghiệm kỹ sư phục vụ trải nghiệm người dùng (mặc định dẫn kỹ sư làm đúng). Thay đổi chính - CSS: site cũ tải hơn 400 KB CSS nén (2…
- AWS Multi-Account Architecture with Terraform, Yeoman, and Jenkins Bài tóm tắt · Slalom Build · 2018
…ne. - Không tạo IAM user trong tài khoản team: người dùng assume role từ tài khoản identity, tránh access key sống lâu. Policy của role giới hạn hành động (cấm tạo IAM user), tài n…
- How we built a secure, performant, multi-tenant cloud platform to run untrusted code Bài tóm tắt · Deno · 2024
…-cloud-platform) Bài giới thiệu kiến trúc kèm quảng bá Deno Subhosting; ít số liệu, phần bảo mật chỉ liệt kê. Mọi nhận định là theo Deno. Bối cảnh - Deno Deploy là cloud multi-tena…
- How Discord Automates ScyllaDB Clusters at Scale Bài tóm tắt · Discord · 2026
…g thái job lưu trong SQLite cạnh binary: bị gián đoạn thì resume đúng chỗ, task đã xong không chạy lại. Chọn file DB vì đơn giản, không phụ thuộc ngoài. - Phân loại lỗi recoverable…
- How we optimized Magic Pocket for cold storage Bài tóm tắt · Dropbox · 2019
…g một region thì mới upload là replication n-way, sau đó erasure coding nền. - Mỗi block được lưu độc lập ở ít nhất hai region cách nhau hàng nghìn dặm ; mỗi region có cả bản repli…
- How LinkedIn handles merging code in high-velocity repositories Bài tóm tắt · LinkedIn · 2020
…t xấu trong lô 20 gây chạy lại vô ích. Thay đổi chính - git submit thay git push : chạy job validation và trả quyền điều khiển cho dev ngay; job tự rebase và push hộ khi qua. Dev k…
- Secure access to 100 AWS accounts Bài tóm tắt · Segment · 2018
…đăng nhập tài khoản "ops" bằng email, mật khẩu, 2FA, rồi AssumeRole sang role ops-admin ở dev/stage/prod; mỗi người giữ IAM user key trong keychain qua aws-vault , mọi người dùng…
- How Postman Engineering handles a million concurrent connections Bài tóm tắt · Postman · 2020
…oạt động trên client với server qua WebSocket theo kiểu pub/sub. Ban đầu chỉ lo giao dịch DB (ví dụ cập nhật collection), dần ôm thêm việc thông báo cho mọi người đang xem. Nhiều t…
- Under the Hood of the Grammarly Editor, Part Two: How Suggestions Work Bài tóm tắt · Grammarly · 2022
…— [bài gốc](https://www.grammarly.com/blog/engineering/how-suggestions-work-grammarly-editor/) Phần hai của series về editor web của Grammarly (phần một về chỉnh sửa cộng tác thời…
- Protocol-Aware Deterministic Simulation Testing Bài tóm tắt · TigerBeetle · 2026
…g simulator thì kiểm đắt hơn: mọi request đã commit có checksum khớp giữa mọi replica; cấu trúc manifest LSM khớp hoàn toàn; checksum dữ liệu thật (superblock, grid, phản hồi clien…
- Scaling Prometheus to billions of samples a second Bài tóm tắt · Hudson River Trading · 2021
…de tổng hợp lại và bỏ nhãn. - HA: mỗi server có bản đôi; Consul giữ pool cho query node và cho từng cặp shard, health check tự loại host chết. Thêm storage chịu hỏng ổ, snapshot từ…
- Splitting a Monitoring Monolith into Separate Components Bài tóm tắt · trivago · 2018
…g (12-factor); đóng container, chạy trên Nomad , đăng ký Consul để Prometheus tự tìm. - Mở mã nguồn hai exporter. Vì sao - Theo trivago, lợi chính là giảm độ phức tạp : ít phụ thuộ…
- No record left behind: How WarpStream can withstand cloud provider regional outages Bài tóm tắt · WarpStream · 2025
…ị chặn trên bởi region của nhà cung cấp. - Theo WarpStream, sự cố cả region không hiếm: ngày 3/7/2025 DynamoDB ở us-east-1 không phản hồi hơn 30 phút. - Phân biệt: uptime khác dura…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…