Tìm kiếm
40 kết quả cho “Object storage”. Tìm không phân biệt dấu.
- Globally Distributed Object Storage with Tigris Bài tóm tắt · Fly.io · 2024
…ì dễ; khó là giữ file để tải lại về sau, nên mọi người dùng object storage kiểu S3. Khách của Fly.io liên tục đòi có nó. - Theo Fly.io, S3 được thiết kế khi ứng dụng chạy ở một thà…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- How We Rebuilt Our Log Storage and Search Infrastructure for Scale Bài tóm tắt · Railway · 2022
…am (). - Hai tầng lưu: đĩa cục bộ cho dữ liệu nóng vài giờ, object storage cho lâu dài. Liên quan - - - - Cùng công ty:…
- A FUSE server for our in-house storage backend Bài tóm tắt · Jane Street · 2026
…ới hạn scale của các sản phẩm này. - Họ tự viết Depot , một object store kiểu S3 tối ưu cho nghiên cứu, bằng OCaml. Nhưng nhiều thành phần trong hạ tầng nghiên cứu giao dịch đọc fi…
- Kubernetes v1.37: Storage Version Migration Enabled by Default Bài tóm tắt · Kubernetes · 2026
…o định dạng cũ cho tới khi có ai ghi lại nó. Bối cảnh - Mỗi object của Kubernetes được ghi vào storage (etcd) theo một storage version (một dạng schema). Đổi storage version chỉ áp…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…khung kể, tóm tắt ngắn. Bối cảnh - Bộ ba Kafka + Iceberg + object storage thành tổ hợp phổ biến: Kafka nhận dòng dữ liệu, Iceberg tổ chức thành bảng có schema và query được, objec…
- Inside branch-based restores in Lakebase Postgres Bài tóm tắt · Neon · 2026
…ành page, dựng lại được bất kỳ page nào tại bất kỳ LSN nào; object storage giữ lịch sử bất biến dài hạn. - Commit tách khỏi việc tạo page, và page cũ không bị ghi đè : lịch sử của…
- A Trillion Transactions Bài tóm tắt · TigerBeetle · 2026
…tgres còn tốt hơn . 6. Tách storage và compute (đẩy hết lên object storage): storage vô hạn, nhưng latency quá cao cho giao dịch. 7. Diagonal scaling: giữ working set nóng trong mộ…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…Log không nhạy latency , nên hợp với Kafka "diskless" trên object storage (latency cao hơn). Thay đổi chính - Tách cụm Kafka nguyên khối thành hai cụm WarpStream : một cho dịch vụ…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
…nt WAL, dựng "shadow WAL" và đẩy liên tục các trang WAL lên object storage tương thích S3. Mất server thì khôi phục DB ở máy khác: "mất server nhưng không mất dữ liệu". - Sau đó, L…
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
…Stream là Kafka tương thích giao thức, dữ liệu chỉ nằm trên object storage ; Agent stateless, không có leader, bất kỳ Agent nào cũng nhận produce cho bất kỳ partition nào. Đổi lại…
- Secure by default: WarpStream's BYOC deployment model Bài tóm tắt · WarpStream · 2024
…truy cập: Agent của WarpStream chỉ cần quyền vào một bucket object storage và một kết nối outbound tới control plane; không IAM role hay policy rộng nào cấp cho nhà cung cấp. - Có…
- How WarpStream Powers Grafana Labs' Redesigned Architecture Bài tóm tắt · WarpStream · 2025
…không giải quyết chuyện này. - Chọn WarpStream (Kafka trên object storage) cho Grafana Cloud: không phí mạng giữa AZ, không đĩa phải quản, stateless, tự scale. - Load test cùng Wa…
- How we optimized infrastructure spend at GitLab Bài tóm tắt · GitLab · 2020
…cáo chi phí theo repo, pipeline, job để tối ưu CI nội bộ. - Object storage: backup Postgres cũ tốn nhiều; bật lifecycle policy, giảm 900 TB ở một bucket. - Mạng: một thay đổi kiến…
- Building Git infrastructure for agent-scale development Bài tóm tắt · GitHub · 2026
…y nhất của push thật sự cần đồng thuận là cập nhật ref; lưu object, kiểm tra kết nối object, quét secret nặng hơn nhiều nhưng phần lớn chạy song song với ghi khác. Đường găng của p…
- Running Cost-Efficient Export Workloads at Uber Bài tóm tắt · Uber · 2026
…phí lưu trữ, phí truy xuất, phí thao tác metadata loại B ( objects.get , objects.list ), egress và latency. Thay đổi chính - Secondary index của Hudi không giúp đủ: bản ghi của cù…
- How to debug large db size issue? Bài tóm tắt · etcd (CNCF) · 2023
…--etcd-servers-overrides=/events ... của API server. - Xoá object không cần rồi compaction + defrag. - Nếu tăng trưởng không bình thường: tìm nguyên nhân trước; mọi cách trên chỉ…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Redesigning Workers KV for increased availability and faster performance Bài tóm tắt · Cloudflare · 2025
…ẩm Cloudflare. - Thiết kế gốc (2018) , trước khi có Durable Objects và R2: dùng object storage của hai nhà cung cấp bên thứ ba , active-active. Ghi song song vào cả hai; xoá bằng t…
- Fly.io Công ty Thành viên
Fly.io khởi đầu (2019) là nền tảng edge app không có lưu trữ bền, từ chối làm database hơn 300 ngày. Họ thêm volume rồi ra Fly Postgres (2021) như một "automated database": một app Postgres HA (Stolon + Consul) chạy…
- RocketMQ High-Availability Paper Admitted to ACM FSE: Replication-Free Failover Bài tóm tắt · Alibaba · 2026
…m node thành stateless (viết lại storage engine, WAL chung, object storage). Thay đổi chính - Giữ nguyên đường dữ liệu bình thường: vẫn một replica, file system một node, cloud blo…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…u bằng Parquet và metadata cũng bằng file (JSON, Avro) trên object storage. Mỗi lần ghi nhỏ tạo một file dữ liệu mới và cập nhật metadata. - Với streaming (nhiều lần chèn nhỏ, liên…
- Session revocations at scale Bài tóm tắt · Canva · 2026
…Chia cửa sổ trượt 12 giờ thành khối 30 phút , mỗi khối một object; tên object chứa thời điểm bắt đầu nên liệt kê theo thứ tự là tìm được các khối cần. - Định dạng nhị phân: mỗi th…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- Kubernetes Công ty Thành viên
Hai nguồn đầu của dự án Kubernetes trong wiki kể quyết định kiến trúc nằm bên trong nền tảng mà nhiều công ty khác dựng lên trên. Năm 2018, kube-proxy dùng iptables (danh sách luật vốn cho firewall) là nút cổ chai thật…
- Neon Công ty Thành viên
Postgres serverless tách storage và compute, mỗi compute một pod Kubernetes. Sự cố 5/2025 ở us-east-1: compute rảnh không được tắt, subnet (cỡ nhỏ vì là region đời đầu) hết IP do hành vi giữ dư IP của AWS CNI; đổi cấu…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…(412 lần), 7,33 → 1,72 giây. Vì sao - Storage bất biến trên object storage đơn giản hoá đồng thời và snapshot, nhưng biến mọi thay đổi nhỏ thành ghi lớn; phải có lớp delta để chi p…
- No record left behind: How WarpStream can withstand cloud provider regional outages Bài tóm tắt · WarpStream · 2025
…iới thiệu tính năng của nhà cung cấp (Kafka "diskless" trên object storage). Nhận định và con số SLA là "theo WarpStream". Bối cảnh - Cụm thường của WarpStream dựa vào một region c…