Tìm kiếm
40 kết quả cho “Scale cluster”. Tìm không phân biệt dấu.
- How Discord Automates ScyllaDB Clusters at Scale Bài tóm tắt · Discord · 2026
…discord.com/blog/how-discord-automates-scylladb-clusters-at-scale) Bối cảnh - Đội Persistence Infrastructure 7 người vận hành Elasticsearch, Postgres và ScyllaDB; riêng ScyllaDB (t…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- IPVS-Based In-Cluster Load Balancing Deep Dive Bài tóm tắt · Kubernetes · 2018
…Đổi cấu trúc dữ liệu (danh sách → bảng băm) thường là cách scale rẻ nhất, khi công cụ ban đầu được thiết kế cho mục đích khác. - Tải trên mỗi node tăng theo tích số Service × endp…
- Running Kafka At Scale Bài tóm tắt · LinkedIn · 2015
…i gốc](https://engineering.linkedin.com/kafka/running-kafka-scale) Bối cảnh - Năm 2015 Kafka chạm gần như mọi server LinkedIn: hơn 800 tỷ message/ngày (175 TB vào, 650 TB đọc ra),…
- From Chaos to Control: Addressing Shard Distribution Challenges in M3DB with Subclusters Bài tóm tắt · Uber · 2026
…a sẻ giữa hai subcluster. - Điều kiện: phần cứng đồng nhất; scale theo bội số của kích thước subcluster; số node mỗi subcluster là bội số của RF; không hỗ trợ đổi RF. - Vấn đề skew…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…ưu chỉ đẩy trần lên ít so với tốc độ tăng gấp đôi, nên phải scale ngang bằng cách chia cụm. Bài học cho SWE - Gộp hai cụm có workload khác hẳn có thể làm lộ giả định công bằng của…
- The data platform cluster operator service for Hadoop cluster management Bài tóm tắt · Twitter · 2023
Twitter dùng Apache Hadoop bản gốc, không dùng giải pháp Hadoop enterprise, nên thiếu công cụ quản lý cụm chuẩn ở quy mô của họ.
- How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS, 10,000+ Instances Bài tóm tắt · Twitter · 2014
…highscalability.com/blog/2014/9/8/how-twitter-uses-redis-to-scale-105tb-ram-39mm-qps-10000-ins.html) Nguồn thứ cấp: HighScalability tóm tắt talk của Yao Yue (đội Cache của Twitter…
- Cook: A Fair Preemptive Resource Scheduler for Compute Clusters Bài tóm tắt · Two Sigma · 2016
Phần lớn tài nguyên compute của Two Sigma được cấp động cho ứng dụng theo nhu cầu, vì chia sẻ hiệu quả hơn cấp tĩnh. Có hai loại job, giống tiến trình foreground/background của OS: interactive (task nhỏ, người dùng chờ…
- Improving Resiliency and Stability of a Large-scale Monolithic API Service Bài tóm tắt · LinkedIn · 2017
…/blog/2017/11/improving-resiliency-and-stability-of-a-large-scale-api) Bối cảnh - Voyager-API : tầng API cho web và mobile của LinkedIn, ra đời từ chiến lược "mobile-first". Hai ng…
- How we scaled async workload processing at GitLab.com using Sidekiq Bài tóm tắt · GitLab · 2020
GitLab (Rails) xử lý việc nền bằng Sidekiq trên Redis. Lịch sử: 2013 mỗi worker class một queue, không ai quản; 2016 gom theo tính năng; 2017 lại mỗi worker class một queue, gom thành nhóm realtime, asap, besteffort để…
- Avoid pitfalls in scaling your Cassandra cluster: lessons and remedies Bài tóm tắt · Walmart · 2017
Nhiều team ở Walmart dùng Cassandra làm nguồn dữ liệu chính, đọc ghi hàng chục tới hàng trăm nghìn ops/giây. Theo bài, để tới được đó họ phải "quên" nhiều mẹo của thế giới RDBMS và chấp nhận schema trông "lạ" nhưng…
- Partitioning GitHub's relational databases to handle scale Bài tóm tắt · GitHub · 2021
…ng/infrastructure/partitioning-githubs-relational-databases-scale/) Bối cảnh - Hơn 10 năm trước GitHub bắt đầu bằng Rails + một MySQL . - Các bước tiến hoá trước 2019: tách vài tín…
- Autoscaling in Kubernetes: Why doesn't the Horizontal Pod Autoscaler work for me? Bài tóm tắt · Expedia · 2020
…autoscaling-in-kubernetes-why-doesnt-the-horizontal-pod-autoscaler-work-for-me-5f0094694054) Bài hướng dẫn (ví dụ minh hoạ, không phải số liệu production của Expedia), phần cuối củ…
- Scaling Kubernetes to 2,500 nodes Bài tóm tắt · OpenAI · 2018
…t thì quản lý VM trực tiếp). Kubernetes cho vòng lặp nhanh, scale vừa đủ, ít boilerplate. Trên đường lên 2.500 node , lần lượt các thành phần vỡ: etcd, master, kéo image, mạng, Kub…
- A Kubernetes Resource That Doesn't Exist: Caching CI Images on Ephemeral Runners Bài tóm tắt · Mercari · 2026
…h đúng một workflow pod). Hết OutOfPods , nhưng cluster autoscaler mô phỏng thấy node còn tài nguyên nên không scale , runner Pending chờ mãi. Ý định "workflow pod phải cùng node v…
- Monitoring Reliably at Scale Bài tóm tắt · Airbnb · 2026
…](https://airbnb.tech/infrastructure/monitoring-reliably-at-scale/) Bối cảnh - Airbnb có hơn 1.000 service chạy trên hạ tầng chung (Kubernetes, service mesh Istio). Team Observabil…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
…00 node , chọn vì hạ tầng đơn giản cho phép team nghiên cứu scale mà không đổi code. - Workload khác hẳn công ty thông thường: - một job ML lớn chiếm trọn các node (GPU nói chuyện…
- YouTube Architecture Bài tóm tắt · YouTube · 2007
…100 triệu, với một nhóm rất nhỏ (2 sysadmin, 2 kiến trúc sư scale, 2 dev tính năng, 2 kỹ sư mạng, 1 DBA). Stack: Apache, Python, Linux (SuSE), MySQL, psyco, lighttpd cho video. Tha…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…hopify.com/blogs/engineering/lessons-learned-apache-airflow-scale) Bối cảnh - Shopify chạy Airflow production hơn hai năm (2022) cho trích xuất dữ liệu, huấn luyện model, bảo trì b…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
Kafka ở Slack là xương sống của Job Queue (), pipeline log, trace, billing, analytics. Năm 2018 mỗi team tự chạy cụm Kafka riêng: nhiều phiên bản, lặp công sức.
- Constraint Management for cluster operation safety and reliability at Twitter Bài tóm tắt · Twitter · 2023
Team Messaging (Kafka và PubSub) chạy hàng chục cụm Kafka broker trên hybrid Mesos, mỗi cụm từ vài chục đến vài trăm broker. Dữ liệu replicate n bản nên mất tối đa n-1 máy là an toàn; mất nhiều hơn thì lỗi publish.
- We replaced Redis with MySQL for inventory reservations, and it scaled Bài tóm tắt · Shopify · 2026
Giữ hàng chống bán quá số lượng (oversell protection):
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
Khoảng 2015, data lake chuẩn của ngành là file, chỉ append, batch. Workload quan trọng của Uber thì khác: dữ liệu thay đổi (vòng đời chuyến, trạng thái đơn, thuộc tính thiết bị), stream có tỉ lệ update cao, và cần xử lý…
- Postgres backups under the hood Bài tóm tắt · PlanetScale · 2026
…026 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://planetscale.com/blog/postgres-backups-under-the-hood) Bài giải thích kỹ thuật của nhà cung cấp, phần lớn là cơ chế chung của P…
- Meta's Infrastructure Evolution and the Advent of AI Bài tóm tắt · Meta · 2025
…2025 phục vụ hơn 3,4 tỷ người. Thay đổi chính - 2004–2010: scale phần mềm rồi scale vật lý. - Mỗi trường đại học một database : web server dùng chung, nối sinh viên tới DB của trư…
- Designing a Better Kubernetes Experience for Developers Bài tóm tắt · Spotify · 2021
…t trang. - Hiện lỗi do Kubernetes báo, mức gần giới hạn autoscaler , số lần container restart, trạng thái từng pod; không cần ra CLI. - Gắn vào service catalog của Backstage, nơi đ…
- Atomic slot migration with Redis 8.4 Bài tóm tắt · Redis · 2026
…ần trong {} ), mỗi node giữ một tập slot. Phải dời slot khi scale out/in và khi một key, slot hay node quá tải (bộ nhớ, CPU, băng thông). - Phát hiện mất cân bằng: CLUSTER SHARDS ;…
- Scaling Production Globally — The service mesh facelift (Part-1) Bài tóm tắt · Achievers · 2022
…tài nguyên cả pod, thêm sidecar làm lệch ngưỡng; có service scale liên tục, có cái không scale, và khi Istio đẩy cấu hình mới cho envoy thì nhiều service cùng scale. Sửa bằng cách…
- Stack Overflow: The Architecture - 2016 Edition Bài tóm tắt · Stack Overflow · 2016
…ing build, headroom và dự phòng. Dự phòng (trả lời câu hỏi "scale dọc thì một điểm hỏng?") "Mọi thứ đều dư thừa": - mỗi server có một cặp ở rack còn lại; - 2 nguồn điện, 2 UPS, 2 m…
- Scaling Our Geo-Search Service For 10x Load Bài tóm tắt · Gojek · 2022
…lượt tìm/phút ; tăng capacity chỉ cần thêm node (trước chỉ scale dọc được). ADS trở thành thứ "mọi người mặc định là chạy". - Việc tiếp theo: autoscale replica Redis (đang chỉnh t…
- Stack Overflow: The Hardware - 2016 Edition Bài tóm tắt · Stack Overflow · 2016
…hàng loạt rồi mới giao việc. Danh sách câu hỏi khi chọn: - scale up hay scale out, cần dư thừa bao nhiêu; - đĩa: có chạm đĩa không, tải ghi ra sao (loại SSD nào), dữ liệu có tạm t…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…ane báo trạng thái sai và chặn mọi thay đổi (reboot broker, scale, thêm đĩa) đúng lúc cần nhất. 6. Scale chậm và không đối xứng: đĩa chỉ tăng được không giảm được; nâng instance là…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
3/2010: 2 nhà sáng lập, 1 kỹ sư, Rackspace, 1 web engine nhỏ, 1 MySQL nhỏ.
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…đường đánh giá alert khỏi query ad hoc (dashboard, CI), autoscale thành phần đọc; compaction của tenant lớn chia shard, mỗi worker tối đa 8 triệu series. Thành phần stateful chạy z…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
Hạ tầng analytics gần gấp đôi mỗi năm. Cụm lớn nhất: 20 PB cuối 2015 → 500 PB năm 2020; 145 triệu object namespace (2015) → 1,6 tỷ trong ba namespace volume, volume lớn nhất trên 1 tỷ. Tổng 1 exabyte trên mọi cụm…
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
…gốc](https://clickhouse.com/blog/linkedin-observability-at-scale) Bài của nhà cung cấp (ClickHouse) kể lại hệ thống của khách hàng LinkedIn, qua hai talk của kỹ sư LinkedIn. Compa…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- 5-year Evolution of Ele.me's Transaction System - Part 5 Bài tóm tắt · Ele.me · 2020
…o đơn hàng (7 node). - Một năm sau, cụm này chạm trần không scale thêm được, vì consumer lọc message ở local thay vì dùng routing của RabbitMQ. Theo tác giả, thiếu quản trị và chuẩ…
- How We Upgrade Kubernetes on GKE Bài tóm tắt · Gojek · 2020
…gistry ; CLI cho các bước nâng master, tắt/bật surge và autoscale, nâng node pool, đặt release channel. Bước sau: tự động hoá cả trình tự. - Luân phiên người làm: mỗi tuần một ngườ…