Bài tóm tắt
Tóm tắt bằng lời riêng, luôn dẫn về bài gốc. 979 bài. Đọc miễn phí.
Nguồn dữ liệu danh sách bài viết của blog công ty
Danh sách bài trên trang công ty gồm 10.013 bài. Khoảng 73,6% (7.365 bài) do SWE Wiki thu thập thủ công từ kho lưu trữ blog chính chủ của các công ty, kèm ngày đăng. Phần còn lại lấy từ các danh sách công khai trên GitHub: binhnguyennus/awesome-scalability (667), abhivaikar/howtheytest (551), upgundecha/howtheysre (499), eugeneyan/applied-ml (376), Engineer1999/ML-System-Design-Case-Studies (239), upgundecha/howtheyaws (149) và một số danh sách nhỏ khác. Mọi link luôn dẫn về bài gốc trên blog của tác giả; SWE Wiki không sao chép nội dung bài. Hiện 9.115 bài thuộc 135 công ty có trang wiki riêng và 897 bài thuộc 261 trang danh sách bài viết (công ty chưa có trang wiki); thành viên xem được toàn bộ danh sách. Cảm ơn những người duy trì các danh sách đó.
How a durable workflow engine works: you might not need a queue
Năm 2023 có tranh luận "database có làm queue được không". Theo Inngest, câu hỏi đó lệch trọng tâm: với workflow engine, chi tiết queue không nên là việc của developer.
Instacart's Item Availability Architecture: Solving for scale and consistency
Điểm availability real-time từ phần 2 phải phục vụ ba nhu cầu: lấy qua RPC của team ML; lọc hàng loạt ở bước retrieval của search (RPC quá chậm); và nhất quán giữa mọi màn hình (một nơi báo hết hàng, nơi khác báo còn là…
How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs
Instacart dự đoán xác suất tìm thấy mỗi item (một sản phẩm tại một cửa hàng) để báo còn hàng, sắp hết, hết. Sau đại dịch, catalog lớn lên nhiều lần; tín hiệu từ shopper chỉ có hàng triệu mỗi ngày nên phần lớn item gần…
Building reproducible Python environments with XARs
Trader và researcher dùng Python và notebook rất nhiều, nhất là cho ML. Phần lớn code (nhiều là OCaml) nằm trong monorepo, nhưng notebook rải khắp nơi và phụ thuộc thư viện bên trong monorepo. Môi trường Python là lớp ở…
Jepsen: MySQL 8.0.34
Định nghĩa isolation của ANSI SQL-92 dựa trên ba hiện tượng P1 (dirty read), P2 (non-repeatable read), P3 (phantom). Từ 1995 (Berenson và cộng sự) đã biết chúng mơ hồ và thiếu: không có P0 (dirty write), P3 không nói…
How LIquid Connects Everything So Our Members Can Do Anything
LIquid () giữ Economic Graph: kết nối giữa member, trường, kỹ năng, công ty, vị trí, việc làm, sự kiện, nhóm. Năm 2023: 270 tỷ cạnh, 2 triệu query/giây, dự kiến gấp đôi trong 18 tháng; hơn 930 triệu member; 99,99%…
Upscaling LinkedIn's Profile Datastore While Reducing Costs
Đỉnh 4,8 triệu profile/giây, request tới storage gấp đôi mỗi năm (2023). Profile hơn 99% là đọc.
How the Miro Developer Platform leverages contract testing
Miro Developer Platform 2.0 (REST API công khai) ra mắt năm trước đó; đội muốn nâng chất lượng và tính nhất quán của API bằng cách làm design-first: thiết kế API (file OpenAPI, OAS) trước khi cài đặt.
Protecting our platform from spikes in usage by reducing load from the Monzo app
Monzo gọi là stampeding herd: rất nhiều người mở app cùng lúc, ví dụ 16h ngày trước ngày lương với tính năng Get Paid Early, hoặc khi gửi push "Year in Monzo".
Lessons Learnt From Consolidating ML Models in a Large Scale Recommendation System
Hệ recommendation và search thường mọc ra một model riêng cho mỗi use case: notification (user→item), item liên quan (item→item), search (query→item), khám phá theo thể loại (category→item). Mỗi cái có pipeline offline…
The Great Re-shard: adding Postgres capacity (again) with zero downtime
Cluster "space shards" lưu toàn bộ nội dung workspace (block, comment, collection), chia theo workspace ID: 32 DB Postgres, mỗi DB chứa 15 logical schema; mỗi workspace nằm trọn trên một shard. Giữa web server và DB là…
Engineering operational excellence, a case of continuous improvement
Nubank (2023) có stack đồng nhất: hàng nghìn service Clojure trên Kafka, Datomic, DynamoDB; app Flutter; pipeline dữ liệu Scala. Engineer sản phẩm vừa làm tính năng vừa lo job nền, tích hợp đối tác, hỗ trợ khách, debug,…
March 20 ChatGPT outage: Here's what happened
OpenAI phải tắt ChatGPT vì một bug khiến một số user thấy tiêu đề lịch sử chat của user khác đang hoạt động, và có thể cả tin nhắn đầu của hội thoại mới.
So You Think You Can Scale?
Trước 9/2023, muốn scale ngang trên Railway thì người dùng phải tự nhân bản service và tự viết load balancing.
Accelerating real-time alerts with Redpanda: a successful migration story
Khách FinTech cần hệ cảnh báo dữ liệu thị trường low latency: trung bình đầu-cuối vài chục ms.
AutoCog — Generate Cog configuration with GPT-4
Andreas Jansson (Replicate) làm AutoCog: dùng GPT-4 viết cog.yaml và predict.py để đóng gói repo ML, theo kiểu Auto-GPT.
Using open-source models for faster and cheaper text embeddings
Hướng dẫn chạy model embedding bge-large-en-v1.5 (BAAI) trên Replicate. Theo bài, tại tháng 10/2023 model này xếp trên embedding OpenAI trên bảng xếp hạng MTEB. Phần có giá trị kỹ thuật là phép so chi phí.
Jet-setting with Llama 2 + Grammars
Prompt, ví dụ mẫu và fine-tune chỉ làm lệch đầu ra về hướng mong muốn; với việc cần cú pháp tuyệt đối thì bài cho rằng chỉ grammar mới chắc chắn. Tác giả làm một bản thử sau hackathon của Replicate (9/2023).
Introducing LoRA: A faster way to fine-tune Stable Diffusion
DreamBooth (cuối 2022) cho phép dạy Stable Diffusion về một đối tượng hay phong cách riêng, nhưng mỗi lần train ra một model riêng phải đẩy lên và boot. Simo Ryu áp dụng LoRA (Low-Rank Adaptation, kỹ thuật của nhóm…
Machine learning needs better tools
Bài luận do một đồng sáng lập (từng làm Docker Compose) viết về lý do lập Replicate. Đây là quan điểm của công ty, không có số đo.
Streaming output for language models
Trước đó Replicate chỉ có polling và webhook để lấy kết quả giữa chừng. Với ứng dụng chat, cần một luồng sự kiện cập nhật liên tục; model sinh token một lần một cái nên có thể trả dần.
Executing Cron Scripts Reliably At Scale
Cron chạy chức năng then chốt: nhắc việc đúng giờ, gửi email, dọn DB. Ban đầu là một máy chứa mọi script và một crontab; số script và dữ liệu tăng thì đổi máy to hơn. Một máy nên lỗi cấp phát, xoay vòng hay cấu hình là…
Slack's Migration to a Cellular Architecture
Phần lớn hạ tầng lõi ở nhiều AZ trong một region (us-east-1). Ngày 30/6/2021, một đường network nối một AZ với các AZ khác lỗi chập chờn hai lần; người dùng thấy lỗi dù kiến trúc nhiều AZ lẽ ra che được.
Our Journey Migrating to AWS IMDSv2
Slack (2023) chạy khoảng 60.000 instance EC2 ở 17 region, hàng trăm AWS account (theo môi trường, theo team, đôi khi theo ứng dụng), nhiều team sở hữu. IMDS được dùng nhiều khi cấp phát máy và trong công cụ. Cấp phát…