Chi phí hạ tầng và build vs buy

Bài toán

Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc rời cloud, hoặc lên cloud).

Diễn tiến theo thời gian

• 2006 · YouTube: Thuê ngoài CDN cho nội dung phổ biến, chuyển từ managed hosting sang colocation để tự quyết phần cứng và hợp đồng mạng; phần cứng thường, công cụ Linux sẵn có. YouTube 2007

• 2007 · PlentyOfFish: CDN (Akamai, 171 triệu ảnh/ngày) là lý do một người làm được; gzip mọi output đổi 30% CPU lấy băng thông; Jeff Atwood tính chi phí cho rằng scale up đắt hơn scale out. PlentyOfFish 2007

• 2008→2016 · Netflix: lên AWS vì độ tin cậy và tốc độ mở rộng. Chi phí trên mỗi lượt bắt đầu xem thấp hơn data center, nhưng theo Netflix đó là lợi ích phụ. Netflix 2016

• 2009 · Stack Overflow: 16 triệu page view/tháng trên hai web server và một DB server 48 GB RAM; scale up thay vì scale out. Theo Jeff Atwood, "phần cứng rẻ, lập trình viên đắt"; theo Joel Spolsky, đạt hiệu năng như site cỡ tương tự với khoảng 1/10 phần cứng (qua lời kể của HighScalability). License Microsoft sẽ đắt khi phải scale ra hàng chục core. Stack Overflow 2009

• 2012→2017 · Grab: dùng AWS từ ngày đầu. Theo Grab, dưới 10 kỹ sư vận hành mọi dịch vụ, mức dùng AWS tăng 200 lần trong 4 năm. Đây là phía "buy" ở giai đoạn tăng trưởng. Grab 2017

• 2013→2016 · Dropbox: ở ~500 PB, kéo nội dung file từ S3 về Magic Pocket vì hiệu năng và unit economics; vẫn dùng AWS ở nơi hợp lý. Dropbox 2016

• 2013→2015 · Allegro: không lên cloud mà đổi sang DC colocation mới rẻ hơn: chi phí điện giảm 71%, colocation giảm 45%; nhân dịp chuẩn hoá mạng (L3VPN MPLS), load balancer Active–Active, một hypervisor. Allegro 2016

• 2013 · Netflix (Scryer): autoscale dự đoán để khỏi chạy dư máy thường trực hay scale-up hung hãn rồi dao động; theo Netflix giảm chi phí EC2. Netflix 2013

• 2013 · Stack Overflow: theo Nick Craver, cấu hình máy scale-up (SQL 384 GB RAM, toàn SSD) khi đó không thuê được trên cloud với giá hợp lý; mức dùng thấp nhờ code hiệu quả, và "giá của code kém hiệu quả cao hơn bạn nghĩ". Stack Overflow 2013

• 2014→2023 · LinkedIn: Couchbase trước Espresso cho profile: storage node −90%, trừ hạ tầng mới và CPU backend tăng thì tiết kiệm khoảng 10% chi phí phục vụ mỗi năm. FollowFeed (2016) giảm capex 50% so với Sensei. LinkedIn 2023 LinkedIn 2016

• 2015→2017 · Dropbox: cái giá kèm theo của việc tự xây: phải dựng backbone, edge, thuê dark fiber, tái kiến trúc mạng 2 tầng, lên 100G. Dropbox 2017

• 2015 · LinkedIn: call graph từ tracing tính chi phí mỗi trang = tổng (số lần gọi × latency) các service nó chạm, và capacity cần thêm cho mọi service phía sau khi một trang dự kiến tăng lượt xem. LinkedIn 2015

• 2016→2017 · Segment: AWS chiếm 2/3 giá vốn. Ba tháng đọc hoá đơn từng dòng giảm >1 triệu USD/năm:

  • hot shard DynamoDB (~300K USD);
  • bin packing (~240K USD);
  • auto-scaling (~60K USD);
  • phần đuôi dài (~400K USD).

  Họ biến tối ưu thành mặc định bằng module Terraform. Segment 2017

• 2016 · Stack Overflow: chọn phần cứng từng máy theo việc nó chạy, cùng dev và SRE; giảm số loại máy để giảm số thứ phải quản lý; dùng chung kho log và dữ liệu giữa các service. Stack Overflow 2016

• 2017 · GoCardless: theo GoCardless, chưa dùng Postgres managed vì ít nhà cung cấp hỗ trợ nâng cấp patch không downtime, và hạ tầng bare-metal sẽ thêm latency tới DB managed (app giả định ≤1ms). Build vs buy phụ thuộc vào phần hạ tầng còn lại. GoCardless 2017

• 2017 · Etsy: chất lượng JPEG theo từng ảnh (tìm nhị phân theo SSIM lúc upload) thay hằng số 85: ảnh lưu −25–30%, CDN giữ được nhiều ảnh hơn trước khi đẩy ra, đổi lại thêm khoảng 500 ms (p90 khoảng 800 ms) lúc upload. Etsy 2017

• 2017 · Zillow: EMR autoscale + Spot cho hàng trăm job ETL: giá trung bình 0,125 USD/giờ so với 0,18 của reserved 3 năm, lại chỉ chạy khi cần; scale in cooldown 30–60 phút để tránh dao động. Zillow 2017

• 2018 · Netflix: đa region nhân ba dữ liệu cache. EVCache chuyển một phần từ RAM sang SSD (Moneta, rồi memcached extstore), nên các cụm giờ được scale theo nhu cầu mạng, không theo dung lượng. Netflix 2018

• 2018 · Pinterest: feed sinh sẵn cho mọi user (kể cả người không quay lại) và cho mọi thí nghiệm tốn rất nhiều lưu trữ, nên chuyển sang sinh lúc đọc. Route theo AZ để giảm phí traffic xuyên AZ trên AWS. Pinterest 2018

• 2018→2019 · Disney Hotstar: EC2 không tối ưu được tài nguyên (không container) và phải giữ dư vì boot chậm; chuyển sang Kubernetes + scale theo request. Disney Hotstar 2020

• 2018→2023 · Dropbox: 90% ổ là SMR. Lưu thêm 10–20% dữ liệu với giá gần như không đổi; điện năng trên mỗi TB giảm 5–6 lần; phục vụ một exabyte cần ít hơn 5 MW và chỉ 1/3 diện tích rack so với thế hệ 4. Dropbox 2023

• 2018 · Expedia: với DynamoDB, mỗi đọc làm tròn lên 4 KB, mỗi ghi lên 1 KB, và trả tiền theo dung lượng lưu: kích thước payload và mẫu truy cập trở thành biến chi phí. Expedia 2018

• 2018 · Disney Hotstar: EC2 Spot cho phần không giữ trạng thái: service stateless trộn Spot và On-Demand (spot fleet đa dạng loại máy, không lưu gì trên root volume, log gửi ra ngoài), task node EMR luôn Spot, máy tạo tải cỡ IPL; tiết kiệm 75–80% so với On-Demand (2018). Phần giữ trạng thái chạy lâu để On-Demand. Disney Hotstar 2018

• 2018 · Quora: chiết khấu cam kết (RI) chỉ có giá trị khi khớp mức dùng; dùng convertible RI (giảm ít hơn standard nhưng đổi được loại máy) và tự động đổi hằng ngày, chênh dưới 0,6% so với phân bổ lý tưởng. Quora 2018

• 2019 · Disney Hotstar: từ scale trước sự kiện một cách bi quan (rất tốn tiền) sang auto-scaler tự viết với buffer theo thời gian scale-up (~4 phút). Theo Hotstar, IPL 2019 xử lý hơn 2 lần tải với lượng compute ít hơn 10 lần, chủ yếu nhờ tinh chỉnh service. Disney Hotstar 2019

• 2019 · GitLab: index Elasticsearch tốn khoảng 66% dung lượng của chính các repo, chưa tính replica, là rào cản lớn nhất để bật code search cho GitLab.com; giảm NGram tiết kiệm 7–15%, forcemerge để lấy lại chỗ soft delete làm sụt hiệu năng nên bỏ. GitLab 2019

• 2019 · Tinder: thay một terms filter lớn bằng bitmap nén xử lý trong hàm chấm điểm: CPU node query/data giảm khoảng 35%/50%, network IO giảm khoảng 50%, cụm có thêm headroom cho tăng trưởng mà không thêm máy. Tinder 2019

• 2019→2023 · ByteDance: vài phần trăm CPU ở framework RPC nhân với hàng chục nghìn service là đáng tối ưu: codec từ 3,58% CPU xuống 0,78%; GC tune theo giới hạn bộ nhớ thật; chừa CPU cho sidecar vì container dùng hết quota trong chu kỳ 100 ms thì bị throttle. ByteDance 2024

• 2019 · Grab: chi phí ẩn lớn nhất của cụm log ELK là phí traffic giữa AZ khi chuyển shard nóng/ấm/lạnh (khoảng 30%); ghim log ở zone sinh ra nó. Grab 2019

• 2019 · Dropbox (Magic Pocket cold tier): dữ liệu nguội (90% lượt đọc là file dưới một năm) chuyển sang tier chia block thành fragment trải 3 region kèm XOR parity thay vì bản đầy đủ ở hai region: giảm 25% đĩa (4 region giảm 33%), đổi lại luôn tốn một round-trip liên vùng. Huỷ trước đó một thiết kế erasure code toàn cục sau 9 tháng vì một bug có thể xoá mọi thứ. Dropbox 2019

• 2020 · Pinterest: cache phân tán (hơn 150 triệu req/s) là đòn bẩy chi phí, vì giảm dung lượng cần cho các backend đắt; extstore nâng dung lượng mỗi instance từ ~55 GB lên ~1,7 TB với một phần nhỏ chi phí. Pinterest 2020

• 2020→2022 · Dropbox: bỏ SSD cache khỏi Magic Pocket, throughput ghi tăng 15–20% mà không thêm máy, bớt một linh kiện phải mua và sửa. Dropbox 2022

• 2020→2023 · Stack Overflow: chiều ngược lại. Site public vẫn on-prem, nhưng SaaS Teams lên Azure vì tuân thủ (SOC 2), không muốn kỹ sư phải tới data center, và dễ dựng môi trường. Stack Overflow 2023

• 2020→2024 · Etsy: sau khi lên GCP (2020), team migration thành team FinOps dưới Chief Architect. Dự báo theo chi phí mỗi visit (tương quan tốt hơn headcount, GMV, doanh thu), dashboard cho từng team nhưng không charge-back. Squad GCS (TTL, Intelligent tiering) đưa dung lượng xuống thấp hơn 2 năm trước. Etsy 2024

• 2020 · Monzo: right-sizing bằng VPA/HPA: service mới bắt đầu với 3 replica khoảng 10 millicore, VPA tự nâng request khi service làm nhiều hơn; đánh đổi giữa hiệu quả và headroom. Monzo 2020

• 2020 · Miro: Prometheus nhỏ giữ khoảng 10 ngày trên đĩa nhanh, lưu dài hạn chuyển sang VictoriaMetrics trên đĩa cloud latency cao, IOPS thấp vì rẻ hơn nhiều. Miro 2020

• 2020 · Expedia: target CPU của HPA là núm vặn giữa rủi ro và chi phí (80% → 40% cho thêm thời gian gấp ba nhưng cần gấp đôi pod); maxReplicas đặt từ số liệu để bot traffic gấp 100 lần không thành hoá đơn gấp 100 lần. Expedia 2020

• 2020→2021 · Dream11: tầng GraphQL đắt nhất, không có quả ngọt dễ hái; cộng dồn cải tiến nhỏ có đo (young generation 16→256 MB, Express → Fastify, bỏ curry và immutable trong đường nóng, cache parse/validate query) cùng bớt load balancer. Theo Dream11, IPL 2021 phục vụ 5 triệu người đồng thời với ít hơn 80% instance, chi phí ngày giảm 60%. Dream11 2021

• 2020 · GitLab: khung 5 giai đoạn: khám phá billing → gán chi phí cho chiều kinh doanh (label, chuẩn project) → tối ưu theo câu hỏi cụ thể (lifecycle bucket backup Postgres −900 TB, runner tải artifact thẳng từ GCS bỏ proxy) → cân đánh đổi cho tính năng lớn → cảnh báo chi tiêu bất thường. GitLab 2020

• 2020 · Zillow: số tour 3D tăng làm chi phí compute ghép ảnh trên cloud tăng vọt; dời việc ghép lên điện thoại người dùng, đồng thời bỏ được upload qua mạng di động. Zillow 2020

• 2020 · Zillow: chọn batch thay vì endpoint online cho inference vì có khoảng trễ giữa lúc chụp và lúc dùng kết quả: chỉ trả tiền lúc job chạy, Lambda không phải chờ đồng bộ. Zillow 2020

• 2020 · Quora: Tự làm sharding thay vì dùng bên thứ ba: dưới 10 bảng cần shard, dùng lại hạ tầng vertical sharding và API DB có cấu trúc; theo Quora bên thứ ba đáng khi cần shard khoảng 100 bảng. Quora 2020

• 2021 · Zerodha: cực "tự host mọi thứ": tự chạy Postgres, ClickHouse, Kafka, GitLab, CRM, ticket... Ví dụ hệ ticket cho hơn 1.000 người dưới 10.000 USD/năm. Theo Zerodha, vừa rẻ vừa đổi nhanh được theo quy định, tránh hoá đơn SaaS tăng dần. Zerodha 2021

• 2021 · Yelp: gấp đôi máy cho failover nhưng rải container để mỗi máy dùng khoảng 50%, nên chi phí như nhau; autotune sau đó còn giảm đáng kể chi phí compute nhờ thu nhỏ service cấp dư. Yelp 2021

• 2021 · Dream11: scale theo dự báo và theo bậc sự kiện, 100% spot với đường lùi on-demand; theo Dream11 chi phí hạ tầng hằng tháng giảm 50%. Dream11 2021

• 2021→2026 · Airbnb: theo Airbnb, nhà cung cấp observability tính tiền theo lượng dữ liệu nạp, trong khi thêm dữ liệu không làm MTTD/MTTR giảm; đứng ngoài vòng phản hồi thì không tối ưu được chi tiêu. Lý do chính để tự vận hành trên Prometheus. Airbnb 2026

• 2021 · Loveholidays: log CDN khối lượng lớn vào Loki (không index nội dung, lưu GCS) thay vì ELK hay SaaS: chỉ trả compute, load balancer và GCS. Loveholidays 2021

• 2021 · ASOS: D4_v3 trên AKS có 4 vCPU nhưng chỉ 2 core thật (hyper-threading), khoảng 33% sức tính của D4_v2 cũ; so cỡ máy giữa hai thế hệ phải theo core thật. ASOS 2021

• 2021 · Lyft: LyftLearn đặt "chi phí thấy được" thành nguyên tắc thiết kế: người dùng biết chính xác chi phí mỗi lần train để tự cân với lợi ích kỳ vọng; notebook không dùng vài giờ thì tự lưu và tự tắt, chấp nhận được vì môi trường mở lại trong vài giây. Lyft 2021

• 2022 · Grab: từ ghi đồng bộ vào hai DB và giữ dữ liệu mãi mãi, chuyển sang tách OLTP/OLAP có retention (3 và 6 tháng), tiết kiệm đáng kể chi phí cloud. Grab 2022

• 2022 · Twitter: đưa gần 1 exabyte dữ liệu phân tích lên BigQuery; phần serving vẫn on-prem. Bài không so sánh chi phí. Twitter 2022

• 2022 · Dream11: bỏ nhược điểm chi phí của blue-green bằng cách hạ stack cũ về 0 ngay sau khi chuyển xong, chấp nhận rollback chậm hơn vì phải dựng lại stack từ metadata. Dream11 2022

• 2022 · Dropbox: thế hệ phần cứng tự thiết kế thứ 6 với chỉ bốn loại máy (storage hơn 2 PB/máy, database, compute 1U 46 máy/rack, edge) thay vì máy riêng cho hơn 100 service; compute nhanh gấp 3 nhờ multi-tenancy. Dropbox 2022

• 2023 · Allegro: Azure SQL gắn dung lượng với vCore nên 3 TB dữ liệu lịch sử buộc chạy 12 vCore (gần €3.000/tháng). Export ra bacpac (khoảng 100 GB), cất ở tầng archive (khoảng $31/tháng cho 3 TB), xoá rồi shrink; shrink làm index phân mảnh trên 90%, phải rebuild online. Còn khoảng €125/tháng. Allegro 2023

• 2023→2025 · Uber: đưa máy Arm (Ampere trên OCI) vào đội x86 vì price-performance, đa dạng nguồn phần cứng và phát thải. Chi phí chuyển đổi: build ảnh đa kiến trúc gấp đôi chi phí build (hơn 400.000 lượt/tuần), theo Uber kinh tế đơn vị vẫn đáng; đến 2025 gần 20% dung lượng OCI đã sang Arm. Uber 2025 Uber 2025

• 2023 · Instacart: chấm điểm còn hàng cho hàng trăm triệu item mỗi 2–4 giờ quá đắt; lịch phân tầng theo độ nóng (khoảng 1% item có tín hiệu trong 10 giờ được chấm hằng giờ và real-time, còn lại hằng ngày) giảm khoảng 80% chi phí tính toán mà metric online tốt hơn. Instacart 2023

• 2023→2025 · Mercari: chi phí dịch nội dung C2C tăng tuyến tính theo số listing: dịch khi có người xem rồi lưu (không dịch lúc tạo), chỉ dịch lần sửa cuối trong cửa sổ và bỏ sửa nhỏ (dưới 1% người dùng sửa liên tục sẽ làm chi phí +25%), marketing trả phần cần dịch trước; đổi model theo giá giảm chi phí 100 lần trong hai năm. Mercari 2025

• 2024 · Zig: chiều ngược với "lên cloud khi lớn lên": S3 + CloudFront → một máy Hetzner 36 €/tháng, chấp nhận 99% uptime ("1% cuối chiếm 99% chi phí"), dựa vào chữ ký + mirror cộng đồng. Zig Software Foundation 2024

• 2024 · WarpStream: billing theo usage cho serverless phải tính cả phí mạng vào/ra mà nhà cloud thu (load balancer, giữa AZ, egress khác region); Proxy đếm byte theo kết nối, gom trong bộ nhớ theo tenant, nhận biết client cùng region bằng IP thật (NLB client IP preservation) và dải CIDR của AWS. WarpStream 2024

• 2024 · Dagger: runner CI theo phiên bản engine, node do Karpenter bật theo hàng đợi, một engine dùng chung cache cho nhiều runner trên máy lớn: chi phí EC2 giảm 80% (theo Dagger). Dagger 2024

• 2024 · Meta/WhatsApp: codec ML cho chất lượng cao ở bitrate thấp nhưng chỉ máy đắt chạy nổi; MLow chọn tối ưu cho máy yếu (CELP cải tiến, tách băng), chất lượng gấp đôi Opus ở 6 kbps với ít tính toán hơn. Chi phí ở đây là CPU và băng thông phía người dùng. WhatsApp 2024

• 2025 · Grab: viết lại một service Go nhiều traffic bằng Rust: cùng QPS từ 20 xuống 4,5 core; latency không tốt hơn. Grab 2025

• 2025 · Render: build vs buy cũng là chọn failure domain: chỉ dùng dịch vụ AWS nền tảng và tự chạy Kubernetes thì tốn công vận hành thường xuyên, nhưng tránh được chuỗi lỗi từ DynamoDB trong sự cố us-east-1. Render 2025

• 2025→2026 · Zalando: join stream tự viết không có checkpoint nên không dám rescale, phải cố định 20 pod. Chuyển sang Flink (checkpoint 3 phút) thì autoscale an toàn, trung bình còn 5 pod; chi phí EC2 từ khoảng 80 xuống khoảng 30 €/ngày. Zalando 2026

• 2025 · Zig: sự cố đầu tiên sau khi tự host: bot tải cùng một tarball hơn một triệu lần trong 36 giờ. Zig chặn bot và không chuyển sang hạ tầng tự scale vì theo họ thế là trả tiền nuôi bot; phần sẵn sàng dựa vào mirror cộng đồng. Zig Software Foundation 2025

• 2025 · Cockroach Labs: value separation trong Pebble (v25.4): value từ 256 byte tách ra blob file, compaction chỉ chép handle; theo Cockroach Labs, benchmark value 4 KiB tăng khoảng 47% throughput trên cùng phần cứng, có heuristic chặn mất locality và dung lượng thừa (bài nhà cung cấp, đăng 1/2026). Cockroach Labs 2026

• 2025 · ClickHouse: chi phí của chính pipeline quan sát: LogHouse ra đời để thay hoá đơn Datadog; khi lên 100 PB, ước tính cần khoảng 8.000 core nếu giữ OpenTelemetry mà không rơi dữ liệu; đường riêng cho nguồn lớn nhất xử lý gấp 20 lần sự kiện với dưới 10% CPU (theo ClickHouse). ClickHouse 2025

• 2025 · Robinhood (qua WarpStream): Kafka cho log trên EBS phải cấp theo đỉnh giờ giao dịch. Chuyển sang Kafka trên object storage với Agent stateless, HPA theo từng AZ, batch lớn hơn để bớt request S3: −45% tổng, trong đó hết hẳn phí mạng giữa AZ, compute −36%, storage −13%. WarpStream 2025

• 2025 · ClickHouse: mạng là mục chi phí thứ ba nhưng không ai đo theo workload. Cilium, flow log, công cụ FinOps đều thiếu hoặc số byte hoặc ngữ cảnh; tự viết kubenetmon đọc conntrack (bật accounting, reset bộ đếm mỗi lần đọc), gắn nhãn Kubernetes ở server không trạng thái, lưu vào ClickHouse. Tìm ra tải S3 giữa region của chính họ, cặp nói chuyện giữa AZ, backup nhiều TB sang cloud khác mỗi ngày. ClickHouse 2025

• 2025 · Mercari: mỗi microservice một DB HA riêng lãng phí với service ít request; modular monolith mới dùng chung cụm AlloyDB, mỗi module một service account chỉ vào được DB của mình, không có transaction xuyên module. Mercari 2025

• 2025 · Stack Overflow: SQL Server trên GCP cần khoảng 1,5 TB RAM nên chọn VM m3-ultramem-128 và tắt một nửa số nhân để giảm phí license; managed SQL không đạt hiệu năng cần. Bỏ hệ log tự viết, dùng log Cloudflare đưa vào Snowflake. Stack Overflow 2025

• 2025 · HRT: theo HRT, mua appliance cho hàng trăm PB quá đắt và chia hệ riêng cho tenant làm dư dung lượng; tự xây Blobby với cụm HDD cho chi phí/GB thấp nhất, NVMe cho thông lượng. Hudson River Trading 2025

• 2025 · Optiver: so ba hướng cho compute nghiên cứu: toàn on-prem (máy bỏ không nếu đoán sai, kẹt thế hệ cũ), on-prem + tràn cloud (data gravity, môi trường lệch), toàn cloud (chi phí cộng dồn, lock-in). Chọn hybrid nhưng quyết định vị trí trước để on-prem dùng cao và cloud chỉ khi thật cần. Optiver 2025

• 2025 · Man Group: zlib-ng trong Python 3.14 giúp Spark tuần tự hoá giữa node: trước đó chỉ có deflate chậm (CPU chờ hàng phút) hoặc không nén (mạng gánh gấp ba). Man Group 2026

• 2026 · Atlassian: Kinesis tính giá theo số shard nên hoá đơn tăng tuyến tính theo traffic, giữ quá 24 giờ và fan-out nâng cao đều tốn thêm; chuyển sang Kafka (MSK) với Tiered Storage: 5 phút dữ liệu nóng trên EBS, 7 ngày trên S3. Theo Atlassian, tiered storage giảm chi phí chứ không giảm trách nhiệm vận hành: phần local vẫn cần headroom. Atlassian 2026

• 2026 · trivago: mỗi lần cảnh báo lag lại scale pod lên; một đợt sửa có chủ đích tìm ra ba nút thắt phần mềm và đưa consumer từ 60 xuống 6 pod (giảm 83% chi phí deploy). trivago 2026

• 2026 · trivago: 50+ sink Kafka × 3 region phần lớn thời gian chỉ poll; dùng KEDA scale về 0 theo consumer lag, mức dùng từ khoảng 50 xuống 1–2 replica-giờ/region/ngày. trivago 2026

• 2026 · Uber: Odin bỏ cấp trọn core cho workload CPU bùng nổ: core riêng theo mức dùng trung bình + core chia sẻ theo độ lệch, pool chia sẻ được cấp vượt theo tỉ lệ, cpu.shares chia khi tranh chấp (thí nghiệm cho thấy tỉ lệ lệch mạnh khi tranh chấp nặng); scale tại chỗ thay vì dời workload có trạng thái. Uber 2026

• 2026 · Alibaba: HA cho RocketMQ giữ một replica (storage cloud tự dự phòng) và chỉ thiết kế lại đường failover, thay vì thêm replica dữ liệu ở tầng ứng dụng; đổi lại phụ thuộc tính năng của storage cloud. Alibaba 2026

• 2026 · Fastly: capacity planning cho POP bằng mô hình nhỏ: hệ số Gini của traffic theo khách → cache hit → CPU → headroom theo kịch bản; theo Fastly sai số khoảng 5%, tốt hơn các mô hình ML lớn (lệch 25%+) vì những ngày quan trọng là ngày hiếm. Dùng cả để cố ý dồn traffic cho phần cứng cũ. Fastly 2026

• 2026 · Notion: Spark từ EMR với EC2 cố định sang EMR on EKS; Karpenter và scheduler MostAllocated bỏ node rỗi; Spot Instances làm job hỏng vì bin packing dồn nhiều executor của một job lên một máy spot. Spot Balancer (admission webhook) giữ tỉ lệ spot/on-demand theo từng job, chọn qua mức có tên như RELIABILITY_OVER_COST. Theo Notion, chi phí Spark giảm 60–90%. Notion 2026

• 2026 · Grab: đổi định dạng bảng cũng là tối ưu chi phí: với Iceberg, một bảng truy vấn nhiều giảm tới 95% chi phí API S3 mỗi ngày (file lớn hơn, bỏ liệt kê object), một dataset khác giảm khoảng nửa tài nguyên cluster (theo Grab). Grab 2026

• 2026 · Render: chạy lại cả pipeline dbt nhiều lần mỗi ngày vì không biết dữ liệu nguồn xong chưa là chi phí ẩn; thêm sentinel và rẽ nhánh theo phụ thuộc, cộng hâm nóng cache dashboard, theo Render tiết kiệm 30 nghìn + 70 nghìn USD/năm. Render 2026

• 2026 · ScyllaDB: firmware NVMe trên AWS i7i báo sai sector vật lý (512 byte thay vì 4 KB), nên công cụ đo của họ thấy đĩa kém hơn thật tới 25% IOPS đọc, 42% IOPS ghi, và IO Scheduler dùng đĩa như model rẻ hơn; XFS block 1K trên NVMe 4K gây read-modify-write. Theo ScyllaDB, đây là "một cách tốt để mất tiền": phần cứng đắt chạy dưới khả năng mà không lỗi gì. ScyllaDB 2026

• 2026 · ScyllaDB (phần 1–2): số đo đĩa thấp làm scheduler bóp request, nên i7i.48xlarge chạy như máy rẻ hơn nhiều; nguyên nhân là một giá trị mặc định INT_MAX và một block size XFS do script cài đặt đặt từ trước. Trả tiền cho máy lớn chỉ có lợi khi phần mềm thật sự dùng được nó. ScyllaDB 2026 ScyllaDB 2026

• 2026 · Memgraph: chiều ngược với Dropbox ở quy mô nhỏ: bỏ colocation tự giữ máy sang thuê Hetzner, chi phí khoảng −50%; CI trên vCPU dùng chung (nhanh hơn 35%, ít biến động), benchmark trên bare metal (phương sai thấp hơn hơn 10 lần so với vCPU dùng chung). Memgraph 2026

• 2026 · Salesforce: job Spark thành công không chứng minh cấu hình hiệu quả; so năng lực xin với việc thật (executor 0 task, CPU rảnh) trên telemetry thu ở gateway, thử thay đổi có kiểm runtime, retry, OOM và cả churn/IP/etcd của nền tảng: −31% chi phí compute theo tuần. Salesforce 2026

• 2026 · Tiger Data (nhà cung cấp): chi phí lưu trữ tích luỹ tăng theo bình phương thời gian giữ (năm thứ năm gấp 8,4 lần năm đầu với cùng lượng nạp); viết lại bảng 631 tỉ dòng mất khoảng hai tuần so với 19 giây ở pilot. Tiger Data 2026

• 2026 · Meta: hồi quy hiệu năng 0,1% ở quy mô 3 tỉ người là điện năng đáng kể; FBDetect bắt hàng nghìn hồi quy mỗi tuần, agent tạo PR sửa tiến và hiện thực cơ hội tối ưu; chương trình thu hồi hàng trăm MW (AI là một phần). Meta 2026

• 2026 · Meta: phần cứng không đồng nhất (NVIDIA, AMD, MTIA) nhân số kernel cần viết; agent tìm kernel tối ưu tăng thông lượng inference hơn 60% trên GPU, training hơn 25% trên MTIA, đổi chi phí hỗ trợ chip mới thành việc biên soạn tài liệu phần cứng. Meta 2026

• 2026 · Uber: khoảng 65% service bằng Go trên hơn 2 triệu core, 1% hiệu suất đáng vài triệu USD; một service mất khoảng 10% CPU cho việc nới stack goroutine; patch runtime để đặt stack khởi đầu 32 KB (chọn bằng pprof + đọc lệnh sub trong mã máy), CPU nới stack còn dưới 1%, CPU service −16%, đổi lấy dưới 2% bộ nhớ. Uber 2026

• 2026 · Uber: chuyển kho artifact sang SaaS đổi chi phí vận hành thành phí egress; proxy xác thực điều kiện giảm egress hơn 99%, chi phí egress liên quan gần −90%, chi phí tăng theo artifact mới chứ không theo lượt tải lặp. Uber 2026

• 2026 · Uber: query export (DSAR, tuân thủ) trả vài dòng nhưng quét toàn bộ lịch sử bảng Hudi, giữ mọi file nóng nên chặn GCS Autoclass hạ lớp, tăng phí truy xuất, thao tác metadata, egress; sắp xếp bảng theo cột ID + thống kê cột trong metadata table để cắt file mà không mở file. Uber 2026

• 2026 · Uber: chi phí agent coding theo dõi ở năm tầng (danh mục, đơn vị mỗi công cụ, theo model, phân rã theo người dùng/request/token vào/token ra, chi phí mỗi đơn vị giá trị của managed agent kèm chỉ số chất lượng); cắt token vô ích thay vì chỉ trông vào giá đơn vị. Uber 2026

Các lựa chọn và đánh đổi

Quy tắc rút ra

1. Chi phí là một trục scale riêng, nhất là với sản phẩm dạng hạ tầng, nơi chi phí tăng tuyến tính theo mức dùng (Segment).
2. Build vs buy không có câu trả lời một chiều. Dropbox rời cloud cho storage, Stack Overflow và Twitter lên cloud cho phần khác. Lý do thường là hiệu năng, tuân thủ, công cụ, không chỉ là tiền.
3. Tối ưu một lần sẽ trôi lại; phải đưa vào "đường ray" mặc định (Segment Terraform). Xem Nền tảng nội bộ cho service (đường ray chung).
4. Đặt SLA trước, rồi chọn tầng rẻ nhất đạt SLA (Netflix SSD).
5. Tự sở hữu phần cứng mở ra những tối ưu không có trên cloud (Dropbox SMR, bỏ SSD), nhưng đổi lại phải tự gánh thêm nhiều thứ (mạng, nhà cung cấp, kiểm thử).
6. Tốc độ scale-up quyết định chi phí giữ dư khi traffic có đỉnh dồn dập (Hotstar: ~4 phút scale-up thì phải giữ buffer +2 triệu user).
7. Cache là đòn bẩy chi phí lớn nhất ở tầng đọc (Pinterest: hơn 150 triệu req/s phục vụ từ cache, extstore tăng dung lượng ~30 lần mỗi instance).
8. Scale up có thể rẻ hơn scale out khi tính cả giờ kỹ sư: "phần cứng rẻ, lập trình viên đắt" (Stack Overflow 2009); nhưng license theo core và single point of failure là cái giá đi kèm.
9. Chiết khấu cam kết cần được giữ khớp với mức dùng liên tục, đáng tự động hoá khi số loại máy tăng (Quora 2018).
10. Đổi phần cứng để giảm chi phí đơn vị có chi phí chuyển đổi thật (build gấp đôi, sửa dependency, benchmark tải thật); đo bằng kinh tế đơn vị dài hạn (Uber 2025, Arm).
11. Phân tầng dữ liệu theo độ nóng: tầng ngắn hạn trên đĩa nhanh, tầng dài hạn trên đĩa/kho rẻ (Miro 2020, VictoriaMetrics); ở mức storage engine, tách value lớn khỏi đường compaction (Cockroach Labs 2025).
12. Trần tự động (maxReplicas) là trần chi phí: đặt từ số liệu tải thật, chấp nhận không chịu được đột biến vượt trần (Expedia 2020).
13. Capacity của hệ có cache phụ thuộc hình dạng tải, không chỉ tổng lượng; mô hình nhỏ, giải thích được, chạy kịch bản giả định có thể tốt hơn mô hình lớn (Fastly 2026).
14. Dùng capacity rẻ mà dễ mất (spot) thì giới hạn phần của mỗi job nằm trên nó theo đúng mức job chịu mất được, vì bin packing làm một lần thu hồi giết nhiều phần của cùng một job (Notion 2026). Notion 2026
15. Chi phí của chính hệ quan sát và hệ dữ liệu nội bộ cũng là chi phí hạ tầng: collector log (ClickHouse 2025), chi phí API object storage do file nhỏ và liệt kê thư mục (Grab 2026). ClickHouse 2025 Grab 2026
16. Tầng gom dữ liệu đứng trước mọi service nhân mọi phần trăm CPU thành hàng nghìn máy: đo trước, rồi cộng dồn cải tiến nhỏ (Dream11 2021: ít hơn 80% instance). Dream11 2021
17. Tính lại dữ liệu dẫn xuất theo mức thay đổi (phần nóng thường xuyên, phần đuôi thưa) thay vì đồng loạt. Instacart 2023
18. Phí mạng giữa AZ có thể là khoản lớn nhất của hệ replicate dữ liệu (Kafka): ghi qua object storage bỏ được khoản đó, cộng compute co giãn theo tải chu kỳ (Robinhood 2025: −45%; Grafana 2025: lý do chọn WarpStream cho đa AZ). WarpStream 2025 WarpStream 2025
19. "Thành công" không phải tín hiệu hiệu quả: so tài nguyên xin với việc thật trên telemetry thu ở ranh giới chung, coi ước tính là giả thuyết, kiểm thay đổi trên cả ứng dụng lẫn nền tảng (Salesforce 2026). Salesforce 2026
20. Điểm hoà vốn của tự giữ phần cứng phụ thuộc quy mô: Dropbox ở mức exabyte tự thiết kế với vài loại máy chuẩn; Memgraph nhỏ thì thuê và giảm khoảng 50%. Chọn loại máy theo mục tiêu workload (rẻ và song song cho build, ít nhiễu cho benchmark). Dropbox 2022 Memgraph 2026
21. Gán được chi phí cho service và tính năng trước rồi mới tối ưu: chuẩn label/project từ sớm; nhiều khoản lớn là rác dễ dọn (backup cũ, traffic qua proxy) chỉ thấy khi có báo cáo chi tiết (GitLab 2020). Phí traffic giữa AZ có thể là chi phí ẩn lớn nhất (Grab 2019). GitLab 2020 Grab 2019
22. Chi phí mạng phải đo theo kết nối và workload: công cụ có sẵn thường có số byte mà thiếu ngữ cảnh hoặc ngược lại; primitive của kernel (conntrack) cộng nhãn Kubernetes đủ để tìm egress giữa region và giữa cloud mà không ai biết là đang trả tiền. ClickHouse 2025
23. Hằng số "đủ tốt cho mọi trường hợp" là chỗ còn tiền nằm lại; đo theo từng đối tượng và chuyển chi phí sang lúc ghi một lần để tiết kiệm mỗi lần đọc. Etsy 2017

Câu hỏi mở

• Ngưỡng quy mô để tự xây có lợi? Chỉ có Dropbox (~500 PB) làm mốc; các nguồn không đưa con số chi phí so sánh trực tiếp cloud và on-prem.
• Chưa có nguồn về FinOps/phân bổ chi phí theo team ở quy mô lớn.
• Liên hệ: Chọn database theo workload, Đổi ngôn ngữ và runtime, Pipeline dữ liệu và analytics (compute batch, lịch tính lại), Tách compute khỏi storage (cấp phát theo đỉnh và phí giữa AZ).
• Liên hệ: Load test và kiểm chứng capacity (máy sinh tải chạy Spot; chi phí một lần load test lớn).