Bài tóm tắt
Tóm tắt bằng lời riêng, luôn dẫn về bài gốc. 157 bài (đã lọc). Đọc miễn phí.
Nguồn dữ liệu danh sách bài viết của blog công ty
Danh sách bài trên trang công ty gồm 10.013 bài. Khoảng 73,6% (7.365 bài) do SWE Wiki thu thập thủ công từ kho lưu trữ blog chính chủ của các công ty, kèm ngày đăng. Phần còn lại lấy từ các danh sách công khai trên GitHub: binhnguyennus/awesome-scalability (667), abhivaikar/howtheytest (551), upgundecha/howtheysre (499), eugeneyan/applied-ml (376), Engineer1999/ML-System-Design-Case-Studies (239), upgundecha/howtheyaws (149) và một số danh sách nhỏ khác. Mọi link luôn dẫn về bài gốc trên blog của tác giả; SWE Wiki không sao chép nội dung bài. Hiện 8.979 bài thuộc 133 công ty có trang riêng được hiển thị cho thành viên. Cảm ơn những người duy trì các danh sách đó.
Making messaging interoperability with third parties safe for users in Europe
Luật DMA của EU (hiệu lực 7/3/2024) buộc WhatsApp và Messenger cho dịch vụ nhắn tin bên thứ ba kết nối vào. Năm đầu: tin 1:1 và gửi ảnh, voice, video, file; về sau mở rộng sang group và cuộc gọi.
Migrating from AWS to Self-Hosting
ziglang.org (website và file tarball phát hành) chạy trên S3 + CloudFront. Traffic tăng thì chi phí AWS tăng theo.
Navigating Fair Housing Guardrails in LLMs
Zillow thử trợ lý hội thoại bằng LLM cho người tìm nhà. Rủi ro riêng của bất động sản: luật Fair Housing cấm "steering" (dẫn khách tới hoặc tránh khu vực theo đặc điểm được bảo vệ). Ví dụ một LLM trả lời vui vẻ cho câu…
Alibaba Upgrades Dubbo3 to Fully Replace HSF2
Sau khi đưa toàn bộ lên cloud, Alibaba muốn stack microservice nội bộ chạy trên middleware mã nguồn mở thay cho framework RPC nội bộ HSF (và Dubbo2 ở Alibaba Cloud).
From 3TB to 100GB: A Cost-Saving Journey in Database Maintenance
Một database Azure SQL (mô hình vCore) chứa nhiều dữ liệu lịch sử, phục vụ audit. Ở 4 vCore, dung lượng tối đa là 1 TB; dữ liệu tăng lên 3 TB, buộc phải lên 12 vCore vì Azure gắn dung lượng với CPU/RAM. Chi phí khoảng…
How to debug large db size issue?
Dung lượng DB của etcd có quota (--quota-backend-bytes), mặc định 2 GB, khuyến nghị tối đa 8 GB. Vượt quota thì mọi lệnh ghi lỗi mvcc: database space exceeded và cụm bật alarm NOSPACE, endpoint báo không khoẻ.
Scaling Etsy Payments with Vitess: Part 1 – The Data Model
Cuối 2020, hai database thanh toán đã ở cấu hình máy cao nhất của Google Cloud, không scale dọc được nữa; tăng đột biến có thể gây chậm hoặc mất giao dịch.
Scaling Etsy Payments with Vitess: Part 2 – The "Seamless" Migration
Dữ liệu thanh toán phải chia lại vào 40 shard mới, kiểm đủ, rồi chuyển đọc/ghi khỏi DB production đang chạy, trên đường thanh toán của cả Etsy.com.
Scaling Etsy Payments with Vitess: Part 3 – Reducing Cutover Risk
Tác giả ở đội Data Access Platform (giữ ORM nội bộ của Etsy; đã upstream hơn 30 patch vào Vitess và giữ một fork nội bộ). Vai trò: đảm bảo query do ORM sinh ra tương thích vindex và cấu hình Vitess giữ đúng đảm bảo dữ…
Carving The Scheduler Out Of Our Orchestrator
Orchestrator về bản chất là supervisor có API: worker nhận việc, chạy, báo lại. Phần được coi là khó là scheduling (chọn worker). Mọi orchestrator phổ biến dùng scheduler tập trung, như bộ cấp phát bộ nhớ, với bức tranh…
SecDb Observability Journey
SecDb: nền tảng giao dịch, định giá, quản trị rủi ro của Goldman Sachs, dùng liên tục hơn 30 năm bởi hơn 3.000 developer: hơn 200 triệu dòng code Slang (ngôn ngữ riêng), hơn 160 triệu job mỗi ngày, hơn 13.000 người dùng…
Building a Dependency Graph of Our Python Codebase
Trong khoảng năm năm, codebase Python hướng nghiên cứu của HRT lớn theo cấp số nhân lên hàng triệu dòng: văn hoá "đủ tốt hơn hoàn hảo", chia sẻ code giữa team, giai đoạn tăng trưởng nhanh.
Instacart's Item Availability Architecture: Solving for scale and consistency
Điểm availability real-time từ phần 2 phải phục vụ ba nhu cầu: lấy qua RPC của team ML; lọc hàng loạt ở bước retrieval của search (RPC quá chậm); và nhất quán giữa mọi màn hình (một nơi báo hết hàng, nơi khác báo còn là…
How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs
Instacart dự đoán xác suất tìm thấy mỗi item (một sản phẩm tại một cửa hàng) để báo còn hàng, sắp hết, hết. Sau đại dịch, catalog lớn lên nhiều lần; tín hiệu từ shopper chỉ có hàng triệu mỗi ngày nên phần lớn item gần…
Building reproducible Python environments with XARs
Trader và researcher dùng Python và notebook rất nhiều, nhất là cho ML. Phần lớn code (nhiều là OCaml) nằm trong monorepo, nhưng notebook rải khắp nơi và phụ thuộc thư viện bên trong monorepo. Môi trường Python là lớp ở…
Upscaling LinkedIn's Profile Datastore While Reducing Costs
Đỉnh 4,8 triệu profile/giây, request tới storage gấp đôi mỗi năm (2023). Profile hơn 99% là đọc.
Lessons Learnt From Consolidating ML Models in a Large Scale Recommendation System
Hệ recommendation và search thường mọc ra một model riêng cho mỗi use case: notification (user→item), item liên quan (item→item), search (query→item), khám phá theo thể loại (category→item). Mỗi cái có pipeline offline…
Journey to the cloud part I: Migrating Stack Overflow Teams to Azure
stackoverflow.com vẫn chạy on-premises (2023). Sản phẩm Stack Overflow for Teams (SaaS riêng tư cho doanh nghiệp) lúc đầu dùng chung hạ tầng và phần cứng với site public, vốn được thiết kế để chạy trên số máy ít nhất có…
Journey to the cloud part II: Migrating Stack Overflow for Teams to Azure
Sau pha 1, Teams đã chạy ở stackoverflowteams.com nhưng mới tách "bề ngoài". Phía sau vẫn dùng chung với stackoverflow.com: DB Sites (nền của multi-tenancy), DMZ nhận request rồi chuyển vào vùng khoá kín TFZ, và quy…
How we scaled reads on the Twitter Users Database
URS (User Reservation System), theo Twitter là một trong những hệ thống loại này lớn nhất thế giới, được xây trên Gizzard, chính framework sharding MySQL từng dùng cho tweet năm 2010–2013 (, ). Gizzard có những tính…
Building the Neural Zestimate
Zestimate ra 2/2006 cho 40 triệu nhà, cập nhật hằng tháng; nay hơn 100 triệu nhà, cập nhật vài lần mỗi tuần.
Increasing Magic Pocket write throughput by removing our SSD cache disks
2017: Magic Pocket dùng ổ SMR (mật độ cao, nhưng nổi tiếng chậm khi ghi ngẫu nhiên). Mọi lượt ghi trực tiếp đi vào SSD làm write-back cache, ack ngay, rồi một tiến trình nền dồn xuống SMR thành ghi tuần tự.
What it's like to work as an embedded microservices SRE
Mercari có Microservices SRE Team mà thành viên được nhúng (embedded) vào từng team sản phẩm một thời gian, kể cả trực on-call ở team đó. Tác giả vào 5/2021; nhúng vào team Item (7–12/2021) rồi team Mercari API (từ…
Scaling data access by moving an exabyte of data to Google Cloud
2019: Twitter muốn "dân chủ hoá" việc phân tích dữ liệu cho nhân viên và tăng tốc ML. Họ hợp tác với Google Cloud để chuyển một phần hạ tầng dữ liệu sang GCP (BigQuery, Dataflow, Data Studio).