Tìm kiếm
22 kết quả cho “cluster manager”. Tìm không phân biệt dấu.
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…ering.linkedin.com/blog/2021/scaling-linkedin-s-hadoop-yarn-cluster-beyond-10-000-nodes) Bối cảnh - Cụm Hadoop gấp đôi mỗi năm ; cụm lớn nhất khoảng 10.000 node năm 2021. HDFS (một…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…gốc](https://slack.engineering/building-self-driving-kafka-clusters-using-open-source-components/) Bối cảnh - Kafka ở Slack là xương sống của Job Queue (), pipeline log, trace, bi…
- How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS, 10,000+ Instances Bài tóm tắt · Twitter · 2014
…đổi chính - Fork Redis 2.4 , thêm hai kiểu dữ liệu, quản lý cluster và log nội bộ (đổi lại bị kẹt ở bản cũ): - Hybrid List = danh sách liên kết của các ziplist kích thước cố định t…
- Meta's Infrastructure Evolution and the Advent of AI Bài tóm tắt · Meta · 2025
…p trung vào phần 2004–2020 (tiến hoá hệ thống web). Phần AI cluster chỉ tóm tắt ngắn. Bối cảnh Facebook khởi đầu trên LAMP (Linux, Apache, MySQL, PHP). Đến 2025 phục vụ hơn 3,4 tỷ…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…anager ngoài cụm). Mỗi Prometheus gắn externalLabels ( zero cluster: eks-cluster-dev ) để metric hai cụm không trùng nhau khi gom về một kho. - Alertmanager tập trung cho mọi Prome…
- Prometheus High Availability and Fault Tolerance Strategy, Long Term Storage with VictoriaMetrics Bài tóm tắt · Miro · 2020
…g giữ lâu thì đắt vì cần đĩa nhanh, và HA không có sẵn kiểu cluster. Federation hợp để gom một phần metric, không phải để HA. Thay đổi chính - HA cho Prometheus bằng dự phòng đơn g…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
…g điều này chỉ đúng với dữ liệu không có giá trị tiền bạc). Clustering hay sharding - Clustering (Cassandra, Membase, HBase: dữ liệu tự phân phối, tự di chuyển, node nói chuyện với…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…bằng Dynamometer rồi xác nhận trên production). - Satellite cluster cho file nhỏ: block 512 MB; tỉ lệ block/file khoảng 1,1 nghĩa là 90% file là file nhỏ. Thư mục /system (log, con…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
Một cụm duy nhất 7.500 node, chọn vì hạ tầng đơn giản cho phép team nghiên cứu scale mà không đổi code.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Project STAR*: Streamlining Our On-Call Process Bài tóm tắt · LinkedIn · 2018
Voyager On-Call: lịch trực cho app flagship (web, Android, iOS, frontend API). Người trực lo site chạy và giữ cho trunk và pipeline deploy khoẻ. Mỗi tuần một nhóm mới: một engineer mỗi nền tảng, kèm người của…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…r treo khi buffer phân tán đầy; buffer phân tán lớn. - Meta-cluster: tự viết wandist (transport kiểu dist trên gen tcp, dạng mesh giữa các node cần nói chuyện) cộng lớp định tuyến…
- Monitoring Reliably at Scale Bài tóm tắt · Airbnb · 2026
…phòng cho các miền lỗi bên ngoài. Thay đổi chính - Compute: cluster Kubernetes riêng nhưng vẫn do team Cloud vận hành. Hai cực bị loại: chạy chung cluster production (phụ thuộc vòn…
- Migrating billions of records: moving our active DNS database while it's in use Bài tóm tắt · Cloudflare · 2024
…d, phần lớn zone dưới 100. - Ban đầu Cloudflare dựa vào một cluster Postgres cfdb (primary + replica) cho hầu hết control plane. Từ khoảng 2017 nhiều service đã dời dữ liệu ra micr…
- Cloudflare Công ty Thành viên
Cloudflare bắt đầu bằng một cluster Postgres cfdb cho hầu hết control plane; từ 2017 các service dời dữ liệu ra dần. Đến 2022–2024 dữ liệu DNS (hàng tỷ record) được tách sang cluster riêng, sau khi mọi service đã đi qua…
- Online index migration and shard-scaling in OpenSearch with AOSC Bài tóm tắt · Atlassian · 2026
…ker trên mỗi data node làm phần của shard, coordinator trên cluster-manager điều phối toàn index; trao đổi qua cluster state (xuống) và transport action (lên). Có API trạng thái ch…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- Miro Công ty Thành viên
Năm 2020 Miro mô tả cách làm HA cho Prometheus bằng hai bản giống hệt cùng scrape, chia nhiều nhóm nhỏ theo phần hạ tầng, và tách lưu dài hạn sang VictoriaMetrics trên đĩa cloud rẻ . Khi user đồng thời tăng từ 12.000…