Bài tóm tắt
Tóm tắt bằng lời riêng, luôn dẫn về bài gốc. 157 bài (đã lọc). Đọc miễn phí.
Nguồn dữ liệu danh sách bài viết của blog công ty
Danh sách bài trên trang công ty gồm 10.013 bài. Khoảng 73,6% (7.365 bài) do SWE Wiki thu thập thủ công từ kho lưu trữ blog chính chủ của các công ty, kèm ngày đăng. Phần còn lại lấy từ các danh sách công khai trên GitHub: binhnguyennus/awesome-scalability (667), abhivaikar/howtheytest (551), upgundecha/howtheysre (499), eugeneyan/applied-ml (376), Engineer1999/ML-System-Design-Case-Studies (239), upgundecha/howtheyaws (149) và một số danh sách nhỏ khác. Mọi link luôn dẫn về bài gốc trên blog của tác giả; SWE Wiki không sao chép nội dung bài. Hiện 8.979 bài thuộc 133 công ty có trang riêng được hiển thị cho thành viên. Cảm ơn những người duy trì các danh sách đó.
Anatomy of a serverless usage-based billing system
WarpStream (Kafka trên object storage) tính tiền theo ba chiều: cluster minutes (cụm có xử lý request, tính theo khối 15 phút), throughput ghi (GiB/s), lưu trữ (GiB-giờ). Theo họ, hệ billing theo usage tốt phải tách…
Goodbye to sequential integers, hello UUIDv7
Vài năm trước 2023, Buildkite chuẩn hoá hai định danh cho mọi bảng: số nguyên tăng dần làm khoá chính (join, khoá ngoại nhanh) và UUID làm khoá phụ cho mọi thứ lộ ra ngoài (API, URL; không lộ số liệu nội bộ, khó đoán).
How we built the Internal Data Warehouse at ClickHouse
ClickHouse Cloud ra private preview 5/2022. Lúc đầu VP Product phân tích workload khách hàng bằng Excel, tra cứu tay mỗi ngày. Từ đó có DWH nội bộ đầu tiên.
Deno KV internals: building a database for the modern web
Deno Deploy chạy code ở nhiều region. Theo Deno, khách hàng nói: compute phân tán mà dữ liệu không phân tán thì mất lợi ích về latency.
Announcing Deno Queues
Deno KV (beta, xây trên FoundationDB) ra mắt vài tháng trước. Queues là primitive thứ hai: đẩy việc ra chạy nền hoặc hẹn giờ, không phải dựng hạ tầng queue riêng.
August 22nd, 2023 Deno Deploy Post-mortem
deno.com và deno.land chạy trên chính Deno Deploy. deno.land/x (registry module bên thứ ba) và deno.land/std (thư viện chuẩn) cũng do website này phục vụ.
The growing pains of database architecture
2020: thêm tính năng, chuẩn bị ra sản phẩm thứ hai, user tăng. Traffic DB tăng khoảng 3 lần mỗi năm.
How GitHub Docs' new search works
Search của docs.github.com trước đây là index trong bộ nhớ của tiến trình Node.js (Express): cào hết văn bản (tiêu đề, heading, breadcrumb, nội dung), lưu ngay trong repo Git, sinh sẵn index serialize trên đĩa để nạp…
How a durable workflow engine works: you might not need a queue
Năm 2023 có tranh luận "database có làm queue được không". Theo Inngest, câu hỏi đó lệch trọng tâm: với workflow engine, chi tiết queue không nên là việc của developer.
So You Think You Can Scale?
Trước 9/2023, muốn scale ngang trên Railway thì người dùng phải tự nhân bản service và tự viết load balancing.
Accelerating real-time alerts with Redpanda: a successful migration story
Khách FinTech cần hệ cảnh báo dữ liệu thị trường độ trễ thấp: trung bình đầu-cuối vài chục ms.
Taking our Ruby & Kafka stack to the next level
Mọi app Rails ở Doximity nói chuyện với Kafka qua gem nội bộ dox-messaging, vốn bọc ruby-kafka: API thân thiện hơn, ép best practice, mặc định hợp với use case của họ.
Integrating Neo4j Into Your Stack
Doximity là mạng nghề nghiệp cho bác sĩ; câu hỏi kiểu "hai user nối với nhau thế nào", "bạn cấp 1 hay 2", "đồng nghiệp chung" khó hoặc chậm trên SQL. Họ dùng Neo4j cho đồ thị quan hệ, cạnh ứng dụng Rails.
How We Built Fly Postgres
Fly.io khởi đầu (2019) là nền tảng "edge app" không có lưu trữ bền: dữ liệu thật nằm ở us-east-1, phần chạy ở edge là cache. Khách xin database từ ngày đầu; họ từ chối hơn 300 ngày, có thử Redis dùng chung ("bị nguyền")…
Scaling Our Geo-Search Service For 10x Load
Available Driver Service (ADS) trả lời: "quanh vị trí này, tài xế nào thoả điều kiện?" (ví dụ xe có nước rửa tay). ADS sập thì không phân được tài xế cho đơn.
How we reduced our CI YAML files from 1800 lines to 50 lines
Cauldron là đội nền tảng ML của Grab. Sản phẩm MerLin Pipelines cho mỗi team một repo chứa các pipeline ML; mỗi pipeline một thư mục con, mỗi thư mục chia thành stage (ví dụ phục vụ model qua Catwalk). Họ dựa vào rules…
How HRT Thinks About Data
Mô hình đơn giản nhất của một thuật toán giao dịch: hộp đen nhận dữ liệu, trả quyết định giao dịch. Bên trong hộp mỗi chiến lược một khác, nhưng chung một điều: dữ liệu vào hỏng thì chiến lược hỏng.
How We Rebuilt Our Log Storage and Search Infrastructure for Scale
Đầu 2022, hơn 500.000 deployment trên Railway lấy log thẳng từ Docker: mỗi lần mở trang log, request đi tới hạ tầng deployment, đọc log từ Docker rồi trả về frontend, bằng polling mỗi 2 giây.
Fastest Table Sort in the West – Redesigning DuckDB's Sort
Sort trong DB không phải sort một mảng số: sắp cả hàng (gồm các cột "payload" không nằm trong ORDER BY), theo nhiều cột, có chiều tăng/giảm và vị trí NULL. Bộ so sánh kiểu if/else cho mỗi hàng, cộng với lưu trữ cột, gây…
Moving on-premise macOS build to AWS
Hạ tầng Grammarly nằm trên AWS từ lâu, trừ một chỗ: build iOS/macOS, vì Apple bắt phải build trên phần cứng Apple. Họ có một dàn máy Apple đặt tại văn phòng.
Realtime Fastly logs with Grafana Loki for under $1 a day
Fastly là CDN đứng trước Loveholidays, phục vụ hàng triệu request mỗi ngày; có trang được trả hoàn toàn từ CDN. Mỗi tương tác của người dùng tạo nhiều request ở CDN hơn ở hạ tầng của họ, nên log CDN lớn: hơn 30 GB/ngày…
How we reduced our text similarity runtime by 99.96%
Mỗi lần chạy phải chấm 100.000 tới 1,5 triệu bài báo mới so với mọi review (mỗi review là một tập bài đã chọn), trong vài giờ. Model chính xác nhất là TF-IDF + cosine với từng bài trong review rồi gộp (ví dụ trung bình…
Herding elephants: Lessons learned from sharding Postgres at Notion
Một Postgres monolith (RDS) đã chạy 5 năm qua 4 bậc độ lớn tăng trưởng. Đến giữa 2020 rõ ràng nó sẽ không theo kịp.
The Legends of Runeterra CI/CD Pipeline
Legends of Runeterra (2021): monorepo Git LFS khoảng 100 GB, một triệu file, 270k commit, khoảng 700 nhánh; Jenkins với scripted pipeline (logic phức tạp viết bằng Python, Groovy chỉ làm keo). Build farm trên AWS: 100…