Bài tóm tắt
Tóm tắt bằng lời riêng, luôn dẫn về bài gốc. 164 bài (đã lọc). Đọc miễn phí.
Nguồn dữ liệu danh sách bài viết của blog công ty
Danh sách bài trên trang công ty gồm 10.013 bài. Khoảng 73,6% (7.365 bài) do SWE Wiki thu thập thủ công từ kho lưu trữ blog chính chủ của các công ty, kèm ngày đăng. Phần còn lại lấy từ các danh sách công khai trên GitHub: binhnguyennus/awesome-scalability (667), abhivaikar/howtheytest (551), upgundecha/howtheysre (499), eugeneyan/applied-ml (376), Engineer1999/ML-System-Design-Case-Studies (239), upgundecha/howtheyaws (149) và một số danh sách nhỏ khác. Mọi link luôn dẫn về bài gốc trên blog của tác giả; SWE Wiki không sao chép nội dung bài. Hiện 8.979 bài thuộc 133 công ty có trang riêng được hiển thị cho thành viên. Cảm ơn những người duy trì các danh sách đó.
Accelerating real-time alerts with Redpanda: a successful migration story
Khách FinTech cần hệ cảnh báo dữ liệu thị trường độ trễ thấp: trung bình đầu-cuối vài chục ms.
Executing Cron Scripts Reliably At Scale
Cron chạy chức năng then chốt: nhắc việc đúng giờ, gửi email, dọn DB. Ban đầu là một máy chứa mọi script và một crontab; số script và dữ liệu tăng thì đổi máy to hơn. Một máy nên lỗi cấp phát, xoay vòng hay cấu hình là…
Fleet Management at Spotify (Part 1): Spotify's Shift to a Fleet-First Mindset
Spotify chia phần mềm thành rất nhiều component nhỏ do từng squad tự thiết kế, build, vận hành (microservice cho mọi loại: service, pipeline dữ liệu, web...). Số component tăng nhanh hơn số kỹ sư.
The data platform cluster operator service for Hadoop cluster management
Twitter dùng Apache Hadoop bản gốc, không dùng giải pháp Hadoop enterprise, nên thiếu công cụ quản lý cụm chuẩn ở quy mô của họ.
How we manage our 1200 incident playbooks
Zalando gom playbook sự cố về một chỗ vào 9/2019, khi chuẩn bị Cyber Week. Đến 2023: hơn 1.200 playbook, cho 850+ application thuộc diện trực, 100+ team on-call (khoảng 1,41 playbook/app, 12/team). Số playbook tăng vọt…
Sharing Mobile Application Code Across Platforms with Kotlin Multiplatform Mobile for GraphQL Queries
App Premier Agent (cho môi giới) có bản iOS và Android viết riêng: code gần giống nhau viết hai lần, bug do hai bên khác nhau. Query GraphQL được viết lại ở cả hai nền tảng và đã gây bug (lộ ra khi viết UI test với mock…
Automated Incident Management Through Slack
Airbnb chạy hơn một nghìn microservice do hàng trăm team nhỏ quản lý (2022). Khi có sự cố, khó nhất là biết service nào hỏng và phải page ai.
Hertz, an Ultra Large Scale Enterprise-Level Microservice HTTP Framework, is Now Officially Open Source
Framework HTTP nội bộ trước đây của ByteDance là một lớp bọc Gin: dễ dùng, hệ sinh thái đầy đủ. Khi nghiệp vụ lớn lên, nhu cầu hiệu năng và mở rộng tăng nhanh. Gin xây trên net/http của Go nên, theo team, khó mở rộng…
A look inside our sixth generation of server hardware
Gần một thập kỷ Dropbox tự vận hành hạ tầng phần cứng, có một trong số ít hệ lưu trữ cỡ exabyte. Từ khi làm Magic Pocket (2013), team phần cứng tự thiết kế để kiểm soát chi phí và hiệu năng.
How we handled a recent phishing incident that targeted Dropbox
Đầu 10/2022, nhiều nhân viên nhận email giả làm CircleCI (Dropbox dùng CircleCI cho một số deploy nội bộ, và đăng nhập CircleCI được bằng tài khoản GitHub). Một phần email bị cách ly tự động, phần còn lại vào hộp thư.
A Lightweight Distributed Architecture to Handle Thousands of Library Releases at eBay
eBay còn hơn 3.000 thư viện cũ build bằng hệ build dựa trên Ant, không còn được hỗ trợ. Mã nguồn được chuyển sang Maven chuẩn; sau đó cần một hệ release định kỳ cho tất cả, phải nhẹ, mở rộng được, ổn định, nhanh.
How we reduced our CI YAML files from 1800 lines to 50 lines
Cauldron là đội nền tảng ML của Grab. Sản phẩm MerLin Pipelines cho mỗi team một repo chứa các pipeline ML; mỗi pipeline một thư mục con, mỗi thư mục chia thành stage (ví dụ phục vụ model qua Catwalk). Họ dựa vào rules…
Who Watches the Watchmen? Keeping an Eye on Our Monitoring Systems
Pipeline SOAR gồm collector và analyzer (Cloud Run, Cloud Functions viết Go), Pub/Sub, BigQuery. Sau vài lần "sao không thấy log mới trong BigQuery", họ cần giám sát chính hệ giám sát. Dùng công cụ có sẵn của GCP thay…
Embedded SRE at Mercari
Chuyển từ team ops tập trung sang DevOps và "you build it, you run it" làm gánh nặng vận hành của team sản phẩm tăng, nhiều team còn non tay.
How we deploy to production over 100 times a day
Theo Monzo, công ty lớn lên thường chậm lại: chi phí của lỗi tăng nên thêm quy trình phê duyệt, nhiều người đụng vào cùng hệ, nhiều người mới phải hiểu hệ. Hậu quả là engineer gom thay đổi thành bản phát hành lớn, vừa…
Scaling our on-call process
Mô hình cũ (khoảng 50 engineer): một nhóm trực tuyến đầu gồm primary và shadow. Nhóm này nhận mọi alert, tự sửa hoặc tìm team có thể sửa; sau lưng là các nhóm chuyên gia làm điểm leo thang (ví dụ một hệ thanh toán cụ…
Best Practices for Real-time Machine Learning: Alerting
Model real-time chấm điểm theo yêu cầu, nên gặp mọi lỗi của phần mềm thường (latency tăng vì tải dồn, sập vì upstream, deploy hỏng) cộng thêm lỗi riêng của ML: feature thiếu hoặc hỏng, phân phối dân số đổi đột ngột.…
Why We Switched Our Data Orchestration Service
Spotify chạy 20.000 pipeline batch mỗi ngày, định nghĩa trong hơn 1.000 repo, của hơn 300 team (2022). Đa số dựa vào Luigi (Python) và Flo (Java): workflow là các task phụ thuộc đệ quy, đóng gói cả vào một image Docker,…
Search Journey Towards Better Experimentation Practices
Spotify đầu tư khoảng hai năm (2020–2021) vào nền tảng thí nghiệm mới; theo bài, nền tảng đã đủ tính năng và tiến nhanh hơn tốc độ các team áp dụng.
Improving how we deploy GitHub
Trong một năm, số developer đóng góp vào app GitHub.com tăng gấp đôi, và công cụ deploy cũ không còn theo kịp.
Realtime Fastly logs with Grafana Loki for under $1 a day
Fastly là CDN đứng trước Loveholidays, phục vụ hàng triệu request mỗi ngày; có trang được trả hoàn toàn từ CDN. Mỗi tương tác của người dùng tạo nhiều request ở CDN hơn ở hạ tầng của họ, nên log CDN lớn: hơn 30 GB/ngày…
How we reduced our text similarity runtime by 99.96%
Mỗi lần chạy phải chấm 100.000 tới 1,5 triệu bài báo mới so với mọi review (mỗi review là một tập bài đã chọn), trong vài giờ. Model chính xác nhất là TF-IDF + cosine với từng bài trong review rồi gộp (ví dụ trung bình…
How MDN's autocomplete search works
MDN Web Docs thêm autocomplete để nhảy thẳng tới tài liệu bằng cách gõ một phần tiêu đề. Bản en-US có 11.690 tiêu đề (2021).
Achieving observability in async workflows
Prodicle Distribution (công cụ cho đoàn làm phim gửi tài liệu có watermark riêng cho từng người nhận, theo dõi việc nhận): một job 10 file × 20 người nhận là 200 tài liệu watermark riêng, kèm link thu hồi được, mật…