Bài tóm tắt
Tóm tắt bằng lời riêng, luôn dẫn về bài gốc. 82 bài (đã lọc). Đọc miễn phí.
Nguồn dữ liệu danh sách bài viết của blog công ty
Danh sách bài trên trang công ty gồm 10.013 bài. Khoảng 73,6% (7.365 bài) do SWE Wiki thu thập thủ công từ kho lưu trữ blog chính chủ của các công ty, kèm ngày đăng. Phần còn lại lấy từ các danh sách công khai trên GitHub: binhnguyennus/awesome-scalability (667), abhivaikar/howtheytest (551), upgundecha/howtheysre (499), eugeneyan/applied-ml (376), Engineer1999/ML-System-Design-Case-Studies (239), upgundecha/howtheyaws (149) và một số danh sách nhỏ khác. Mọi link luôn dẫn về bài gốc trên blog của tác giả; SWE Wiki không sao chép nội dung bài. Hiện 8.979 bài thuộc 133 công ty có trang riêng được hiển thị cho thành viên. Cảm ơn những người duy trì các danh sách đó.
How we manage our 1200 incident playbooks
Zalando gom playbook sự cố về một chỗ vào 9/2019, khi chuẩn bị Cyber Week. Đến 2023: hơn 1.200 playbook, cho 850+ application thuộc diện trực, 100+ team on-call (khoảng 1,41 playbook/app, 12/team). Số playbook tăng vọt…
Sharing Mobile Application Code Across Platforms with Kotlin Multiplatform Mobile for GraphQL Queries
App Premier Agent (cho môi giới) có bản iOS và Android viết riêng: code gần giống nhau viết hai lần, bug do hai bên khác nhau. Query GraphQL được viết lại ở cả hai nền tảng và đã gây bug (lộ ra khi viết UI test với mock…
Automated Incident Management Through Slack
Airbnb chạy hơn một nghìn microservice do hàng trăm team nhỏ quản lý (2022). Khi có sự cố, khó nhất là biết service nào hỏng và phải page ai.
Hertz, an Ultra Large Scale Enterprise-Level Microservice HTTP Framework, is Now Officially Open Source
Framework HTTP nội bộ trước đây của ByteDance là một lớp bọc Gin: dễ dùng, hệ sinh thái đầy đủ. Khi nghiệp vụ lớn lên, nhu cầu hiệu năng và mở rộng tăng nhanh. Gin xây trên net/http của Go nên, theo team, khó mở rộng…
A look inside our sixth generation of server hardware
Gần một thập kỷ Dropbox tự vận hành hạ tầng phần cứng, có một trong số ít hệ lưu trữ cỡ exabyte. Từ khi làm Magic Pocket (2013), team phần cứng tự thiết kế để kiểm soát chi phí và hiệu năng.
How we handled a recent phishing incident that targeted Dropbox
Đầu 10/2022, nhiều nhân viên nhận email giả làm CircleCI (Dropbox dùng CircleCI cho một số deploy nội bộ, và đăng nhập CircleCI được bằng tài khoản GitHub). Một phần email bị cách ly tự động, phần còn lại vào hộp thư.
A Lightweight Distributed Architecture to Handle Thousands of Library Releases at eBay
eBay còn hơn 3.000 thư viện cũ build bằng hệ build dựa trên Ant, không còn được hỗ trợ. Mã nguồn được chuyển sang Maven chuẩn; sau đó cần một hệ release định kỳ cho tất cả, phải nhẹ, mở rộng được, ổn định, nhanh.
Who Watches the Watchmen? Keeping an Eye on Our Monitoring Systems
Pipeline SOAR gồm collector và analyzer (Cloud Run, Cloud Functions viết Go), Pub/Sub, BigQuery. Sau vài lần "sao không thấy log mới trong BigQuery", họ cần giám sát chính hệ giám sát. Dùng công cụ có sẵn của GCP thay…
Embedded SRE at Mercari
Chuyển từ team ops tập trung sang DevOps và "you build it, you run it" làm gánh nặng vận hành của team sản phẩm tăng, nhiều team còn non tay.
How we deploy to production over 100 times a day
Theo Monzo, công ty lớn lên thường chậm lại: chi phí của lỗi tăng nên thêm quy trình phê duyệt, nhiều người đụng vào cùng hệ, nhiều người mới phải hiểu hệ. Hậu quả là engineer gom thay đổi thành bản phát hành lớn, vừa…
Scaling our on-call process
Mô hình cũ (khoảng 50 engineer): một nhóm trực tuyến đầu gồm primary và shadow. Nhóm này nhận mọi alert, tự sửa hoặc tìm team có thể sửa; sau lưng là các nhóm chuyên gia làm điểm leo thang (ví dụ một hệ thanh toán cụ…
Best Practices for Real-time Machine Learning: Alerting
Model real-time chấm điểm theo yêu cầu, nên gặp mọi lỗi của phần mềm thường (latency tăng vì tải dồn, sập vì upstream, deploy hỏng) cộng thêm lỗi riêng của ML: feature thiếu hoặc hỏng, phân phối dân số đổi đột ngột.…
Why We Switched Our Data Orchestration Service
Spotify chạy 20.000 pipeline batch mỗi ngày, định nghĩa trong hơn 1.000 repo, của hơn 300 team (2022). Đa số dựa vào Luigi (Python) và Flo (Java): workflow là các task phụ thuộc đệ quy, đóng gói cả vào một image Docker,…
Search Journey Towards Better Experimentation Practices
Spotify đầu tư khoảng hai năm (2020–2021) vào nền tảng thí nghiệm mới; theo bài, nền tảng đã đủ tính năng và tiến nhanh hơn tốc độ các team áp dụng.
Improving how we deploy GitHub
Trong một năm, số developer đóng góp vào app GitHub.com tăng gấp đôi, và công cụ deploy cũ không còn theo kịp.
Achieving observability in async workflows
Prodicle Distribution (công cụ cho đoàn làm phim gửi tài liệu có watermark riêng cho từng người nhận, theo dõi việc nhận): một job 10 file × 20 người nhận là 200 tài liệu watermark riêng, kèm link thu hồi được, mật…
Triggered: Incident #1234 (incident process needs fixing)
Khối phát triển sản phẩm gồm các team đa chức năng, tự chủ cao, sở hữu tính năng từ frontend đến deploy. Mặt trái: mỗi team có văn hoá và cách làm riêng, không có cơ quan trung tâm quy định quy trình.
Building a Healthy On-Call Culture
Ở SoundCloud, không chỉ DevOps/SRE mà nhiều engineer sản phẩm trực on-call. Bài mô tả cách tổ chức đã đúc kết qua thử sai.
Designing a Better Kubernetes Experience for Developers
Theo Spotify, lúc đầu người dựng cluster Kubernetes cũng là người sở hữu service chạy trên nó. Khi Kubernetes phổ biến, tổ chức tách ra team hạ tầng dựng và giữ cluster (thường nhiều region để giảm latency), còn team…
How we rolled out security keys at Twitter
Sau sự cố bảo mật năm 2020 (bài nhắc tới, không kể chi tiết), Twitter đẩy nhanh dùng security key (FIDO/WebAuthn) cho nhân viên. Khác SMS hay OTP, security key phân biệt được trang thật và trang giả nên chặn được…
ADMIRE: A Product-Driven Approach to Automating Migrations
Đội Platform Engineering của Two Sigma chắc chắn phải làm migration (đổi DC, đổi container scheduler, đổi cloud), và phần lớn migration cần team khác làm việc; team nào cũng than "chẳng phải vừa xong đợt trước sao".
Scaling with common sense #2: Being future ready
Trong khoảng một năm (2020–2021), số khách tăng hơn 3 lần do thị trường vốn bùng nổ, trong khi 10 năm trước đó tăng chậm và đều. Theo Zerodha, họ thích ứng được nhờ các nguyên tắc "lẽ thường" chứ không nhờ dự đoán trước.
How we built Status Page
Sự cố của GitLab.com được xử lý trong issue của một project công khai; người trực tự đăng cập nhật lên status.gitlab.com mỗi 15 phút. Người xử lý mất thời gian đổi công cụ và chép lại thông tin.
Journey from EC2 to Containers
Đỉnh user đồng thời: ~4,7 triệu (2017), ~10,3 triệu (IPL 2018).