Tìm kiếm
40 kết quả cho “storage node”. Tìm không phân biệt dấu.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- A FUSE server for our in-house storage backend Bài tóm tắt · Jane Street · 2026
Nhiều workload xử lý dữ liệu cần truy cập thông lượng cao vào lượng lưu trữ lớn. Trước đây dùng sản phẩm mua ngoài (Dell Isilon, VAST); khi dataset lớn dần và nghiên cứu cần truy cập nhanh hơn tới nhiều dữ liệu hơn, họ…
- Scaling Kubernetes to 7,500 nodes Bài tóm tắt · OpenAI · 2021
…ad balancing hay canary của Kubernetes; dữ liệu đọc từ blob storage. Thay đổi chính - Mạng: bỏ Flannel, dùng mạng pod native của Azure VMSS (IP alias), đạt băng thông như host. Cụm…
- Modernizing Artifact Storage at Uber Bài tóm tắt · Uber · 2026
…i gốc](https://www.uber.com/us/en/blog/modernizing-artifact-storage/) Bối cảnh - Mọi build ở Uber (monorepo Go, Java, web, Android, iOS, Python và hàng nghìn microrepo) phụ thuộc h…
- Prometheus High Availability and Fault Tolerance Strategy, Long Term Storage with VictoriaMetrics Bài tóm tắt · Miro · 2020
…us-high-availability-and-fault-tolerance-strategy-long-term-storage-with-victoriametrics-82f6f3f0409e) Bài mang tính hướng dẫn kiến trúc hơn là kể chuyện tiến hoá; không có số liệu…
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…irbnb.tech/infrastructure/building-a-fault-tolerant-metrics-storage-system-at-airbnb/) Bài không nêu tên hệ storage mã nguồn mở bên dưới (chỉ nhắc rollout operator của Grafana và P…
- How We Rebuilt Our Log Storage and Search Infrastructure for Scale Bài tóm tắt · Railway · 2022
…file và query ngắn hạn) vừa ghi theo batch lên Google Cloud Storage để giữ lâu; query ngoài cửa sổ vài giờ thì đọc GCS. - Đọc: frontend mở GraphQL subscription → backend kiểm quyền…
- Scaling Time Series Data Storage — Part I Bài tóm tắt · Netflix · 2018
…i gốc](https://netflixtechblog.com/scaling-time-series-data-storage-part-i-ec2b6d44ba39) Bối cảnh - Lịch sử xem (viewing history) dùng cho bookmark và gợi ý; hội viên xem hơn 140 t…
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
…ylladb.com/2026/02/23/common-performance-pitfalls-of-modern-storage-i-o/) Bài tổng kết của nhà cung cấp database, rút từ các cuộc điều tra hiệu năng trên instance NVMe (AWS i7i). C…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…ộ (cập nhật qua ZooKeeper), scatter-gather cho multi-get. - Storage node: storage engine cắm được, production dùng MySQL/InnoDB ; binlog MySQL vừa để replicate trong cụm vừa làm ng…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…us/topics/infrastructure/2022/twitter-sparrow-tackles-data-storage-challenges-of-scale) Bối cảnh - Mọi tương tác (bấm, vuốt, cuộn) được log thành event từ hàng chục nghìn microser…
- Project Voldemort: Scaling Simple Storage at LinkedIn Bài tóm tắt · LinkedIn · 2009
…og.linkedin.com/2009/03/20/project-voldemort-scaling-simple-storage-at-linkedin) Bối cảnh - LinkedIn bắt đầu bằng một DB lớn và cụm front-end (cộng một đồ thị xã hội trong RAM trên…
- How We Built a Logging Stack at Grab Bài tóm tắt · Grab · 2019
…à "chạy query rồi đi pha nước". Cách cũ là một mớ: log trên storage cloud (mất hàng giờ mới lấy được), một nhà cung cấp SaaS hay timeout, hoặc nhờ SRE vào từng máy lấy log. - Khi b…
- The Evolution of Alibaba Cloud's Relational Database Services Architecture - PolarDB Bài tóm tắt · Alibaba · 2018
…MySQL trước PolarDB (2018): - Bản cơ bản: tách compute khỏi storage bằng cloud disk nhiều bản sao; dễ migrate, mở rộng đĩa, scale compute, nhưng không có HA. - Bản HA: active–stand…
- Technical Secrets of PolarDB: High Availability - Smooth Switchover Bài tóm tắt · Alibaba · 2025
…te binlog, mỗi bên một bản dữ liệu), PolarDB for MySQL dùng storage chia sẻ : primary (RW) và read-only (RO) trong cùng zone đọc chung một bản dữ liệu, nên dự phòng không tốn thêm…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…kể, tóm tắt ngắn. Bối cảnh - Bộ ba Kafka + Iceberg + object storage thành tổ hợp phổ biến: Kafka nhận dòng dữ liệu, Iceberg tổ chức thành bảng có schema và query được, object stora…
- A Trillion Transactions Bài tóm tắt · TigerBeetle · 2026
…cho nhiều RSM. Theo TigerBeetle, sharding gắn chặt network, storage, memory, compute và scale chúng cùng một kiểu; tốt cho storage nhưng phá cache locality của giao dịch chéo key,…
- Building Git infrastructure for agent-scale development Bài tóm tắt · GitHub · 2026
…vụ request Git) chuyển sang worker riêng làm trực tiếp trên storage bền. - Tách storage khỏi compute: bản có thẩm quyền nằm trong Azure Blob Storage (độ bền và replication có sẵn);…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…iữ để gắn EBS, đĩa phải cấp dư, nên lãng phí cả compute lẫn storage. - Log không nhạy latency , nên hợp với Kafka "diskless" trên object storage (latency cao hơn). Thay đổi chính -…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…tics/ML trỏ vào cùng dữ liệu trên S3, tức tách compute khỏi storage. Thay đổi chính - Cụm EMR mặc định: 1 master, 5 core (dùng HDFS cục bộ, chủ yếu cho Sqoop ghi tạm trước khi đổi…
- How WarpStream Powers Grafana Labs' Redesigned Architecture Bài tóm tắt · WarpStream · 2025
…giải quyết chuyện này. - Chọn WarpStream (Kafka trên object storage) cho Grafana Cloud: không phí mạng giữa AZ, không đĩa phải quản, stateless, tự scale. - Load test cùng WarpStrea…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
…dựng "shadow WAL" và đẩy liên tục các trang WAL lên object storage tương thích S3. Mất server thì khôi phục DB ở máy khác: "mất server nhưng không mất dữ liệu". - Sau đó, LiteFS:…
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
…là Kafka tương thích giao thức, dữ liệu chỉ nằm trên object storage ; Agent stateless, không có leader, bất kỳ Agent nào cũng nhận produce cho bất kỳ partition nào. Đổi lại là late…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…PU về bộ nhớ CPU của process; CRIU ghi cả cây process xuống storage chung (NFS/SMB). Restore ở node khác theo chiều ngược lại. Process tiếp tục đúng tại lệnh nó bị dừng, không biết…
- How to debug large db size issue? Bài tóm tắt · etcd (CNCF) · 2023
Dung lượng DB của etcd có quota (--quota-backend-bytes), mặc định 2 GB, khuyến nghị tối đa 8 GB. Vượt quota thì mọi lệnh ghi lỗi mvcc: database space exceeded và cụm bật alarm NOSPACE, endpoint báo không khoẻ.
- Scaling Prometheus to billions of samples a second Bài tóm tắt · Hudson River Trading · 2021
…và cho từng cặp shard, health check tự loại host chết. Thêm storage chịu hỏng ổ, snapshot từ xa. - Đọc remote đồng thời: query ban đầu chậm hơn đọc local; HRT đề xuất và cùng cộng…
- Microservice Architecture at Medium Bài tóm tắt · Medium · 2018
…nữa vẫn còn monolith cũng được". - Không chia sẻ persistent storage giữa service: một loại dữ liệu chỉ một service sở hữu; service khác gọi API, nhận sự kiện qua queue, hoặc giữ bả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng: