Tìm kiếm
22 kết quả cho “XLA”. Tìm không phân biệt dấu.
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…thường vào quy trình deploy. 3. Lỗi tiềm ẩn trong compiler XLA:TPU (25–26/8): bản viết lại code sampling đã sửa một lỗi độ chính xác (bf16 lẫn fp32 làm token xác suất cao nhất đôi…
- Netflix Billing Migration to AWS — Part III Bài tóm tắt · Netflix · 2016
…ang Aurora sau này). Chọn MySQL InnoDB tự chạy trên EC2 i2.8xlarge : không license, giữ đường sang Aurora. - Kiến trúc: master có bản DRBD đồng bộ sang zone khác (ghi chỉ xong khi…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- When Bigger Instances Don't Scale Bài tóm tắt · ScyllaDB · 2026
…le theo cỡ máy : IOPS đọc thấp hơn thông số tới 25% ở i7i.48xlarge, IOPS ghi thấp hơn 25–42%; băng thông thì dừng ở khoảng 8,5 GB/s trong khi fio kéo được tới 40 GB/s. - Hệ quả: số…
- On-Demand Dagger Engines with Argo CD, EKS, and Karpenter Bài tóm tắt · Dagger · 2024
…hiều runner dùng chung cache của một engine. Một máy c6id.12xlarge chạy được khoảng 2 pipeline nặng (16 CPU mỗi cái) hoặc khoảng 30 job nhẹ (lint, scan, thông báo), hoặc trộn. Theo…
- Scaling Cache Infrastructure at Pinterest Bài tóm tắt · Pinterest · 2020
…hed + mcrouter: - memcached đơn giản, rất hiệu quả: một r5.2xlarge chịu 100K req/s và hàng chục nghìn kết nối; được coi là service có throughput hiệu quả nhất của Pinterest; TLS và…
- Anthropic Công ty Thành viên
Nguồn đầu tiên của Anthropic trong wiki là một postmortem về hạ tầng phục vụ model: tháng 8–9/2025, ba lỗi hạ tầng độc lập (định tuyến sai pool context, cấu hình sai trên TPU, lỗi compiler XLA bị một workaround cũ che)…
- The growing pains of database architecture Bài tóm tắt · Figma · 2023
…h 1. Mua thêm ~1 năm "đường băng": - Lên máy lớn nhất (r5.12xlarge → r5.24xlarge). - Thêm read replica. - DB mới cho tính năng mới. - PgBouncer khi số kết nối lên hàng nghìn. Giới…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…khi quyết. - Production (bảy tháng): khoảng 250 worker m2.4xlarge , coordinator r3.4xlarge, khoảng 2.500 query mỗi ngày làm việc . Cụm Presto cách ly hoàn toàn khỏi các cụm Hadoop…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…z trên MySQL: chỉ đạt khoảng 1.000 QPS mỗi instance RDS r4.8xlarge dù tắt phần lớn khoá; nút thắt là khuếch đại query : một lần enqueue thành 4 SELECT + 3 INSERT cho những tính năn…
- Lessons learned from running GraphQL at scale Bài tóm tắt · Dream11 · 2021
…đỉnh dự đoán , pre-warm load balancer. - Kiến trúc: máy c5.2xlarge trong Auto Scaling Group, khoảng 7.500 instance cho 1 triệu request/giây; nhiều load balancer (một LB chỉ gắn đượ…
- Figma Công ty Thành viên
Năm 2017, đợt spam đầu tiên chứng minh giá trị của rate limiter tự viết . Năm 2019 cả Figma vẫn chạy trên một DB instance theo nguyên tắc KISS, và họ đã nói cần DB scale ngang . Ví dụ kinh điển của lộ trình Postgres.…
- Building Pubsub for 50M concurrent socket connections Bài tóm tắt · Disney Hotstar · 2019
…), subscription tới trễ khoảng 20 giây. - EMQX một node c5.4xlarge: tới 250.000 sub trong ngưỡng; 500.000 vẫn giao đủ, chỉ chậm hơn. Có bug kẹt routing sau mỗi lần test, họ học Erl…
- Evolution of Application Data Caching: From RAM to SSD Bài tóm tắt · Netflix · 2018
…VCache ~1ms (timeout 20ms) ở ~100K RPS. Thử nghiệm trên I3.2xlarge (NVMe) đạt hơn 200K IOPS với item 1 KB, latency hiếm khi vượt 1ms. Nghĩa là đạt SLA với chi phí thấp hơn nhiều .…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
…với tháng 1: 180 web engine, 240 API engine, 88 MySQL (cc2.8xlarge) + 1 slave mỗi cái, 110 Redis, 200 Memcache, 40 kỹ sư. Tăng trưởng bằng cách thêm nhiều hơn cùng một loại máy . L…
- Building a New Rust Driver for ScyllaDB's DynamoDB API – with 58% More Throughput Bài tóm tắt · ScyllaDB · 2026
…cyllaDB. Benchmark do chính họ chạy trên cụm nhỏ (3 node i3.xlarge); mọi con số là theo ScyllaDB. Bối cảnh - Alternator là API tương thích DynamoDB của ScyllaDB. Dev Rust trước đó…
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
…thông ≈ IOPS × kích thước. Ví dụ 350 nghìn IOPS ở 4K (i7i.4xlarge) chỉ khoảng 1,3 GB/s trong khi máy làm được 3,5 GB/s. Request nhỏ chạm trần IOPS, CPU, chi phí cố định mỗi I/O (s…
- The million dollar engineering problem Bài tóm tắt · Segment · 2017
…n ELB → ALB để container dùng port động, sau đó gom lên c4.8xlarge. Có máy chạy 100–200 container, và họ mua reserved instance (rẻ ~40%). - Hiệu quả là mặc định: module Terraform (…
- Kabootar — Swiggy's Communication Platform Bài tóm tắt · Swiggy · 2017
…ằng cron mỗi giờ. Vì sao (số liệu 2017) - Thử trên 4 máy m4.xlarge, mỗi service một instance: 1 triệu message trong 15 phút ; theo bài thêm instance sẽ rút ngắn đáng kể. Bài học ch…