Tìm kiếm
38 kết quả cho “object store”. Tìm không phân biệt dấu.
- Inside branch-based restores in Lakebase Postgres Bài tóm tắt · Neon · 2026
…ành page, dựng lại được bất kỳ page nào tại bất kỳ LSN nào; object storage giữ lịch sử bất biến dài hạn. - Commit tách khỏi việc tạo page, và page cũ không bị ghi đè : lịch sử của…
- Globally Distributed Object Storage with Tigris Bài tóm tắt · Fly.io · 2024
…ì dễ; khó là giữ file để tải lại về sau, nên mọi người dùng object storage kiểu S3. Khách của Fly.io liên tục đòi có nó. - Theo Fly.io, S3 được thiết kế khi ứng dụng chạy ở một thà…
- A FUSE server for our in-house storage backend Bài tóm tắt · Jane Street · 2026
…ới hạn scale của các sản phẩm này. - Họ tự viết Depot , một object store kiểu S3 tối ưu cho nghiên cứu, bằng OCaml. Nhưng nhiều thành phần trong hạ tầng nghiên cứu giao dịch đọc fi…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…ft đọc từ đó. - Năm 2018 S3 còn nhất quán cuối với list() : object mới chưa hiện, object đã xoá vẫn hiện. Dedupe và ETL dựa vào list nên có thể bỏ sót object vĩnh viễn; có ngày thấ…
- Attribute-Based Access Control at Uber Bài tóm tắt · Uber · 2023
…orkload/service-foo/production ). - Resource dạng UON (Uber Object Name, URI uon:// ): endpoint RPC, bảng hay cột DB, đối tượng nghiệp vụ; phần host là policy domain để nhóm policy…
- Cross Shard Transactions at 10 Million Requests Per Second Bài tóm tắt · Dropbox · 2018
…e 0 leader ghi một transaction record bền bên ngoài (là một object Edgestore, có thể đặt cùng shard với một participant); Phase 1 participant ghi bền ý định commit; Phase 2a leader…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…tion) Bối cảnh - Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thời gian thực lẫn batch lớn qua hai nền tảng nội bộ (Slide cho batch, Hugo cho in…
- LIquid: The soul of a new graph database, Part 1 Bài tóm tắt · LinkedIn · 2020
…m ms vào thời gian tải trang. Thay đổi chính - Đi từ đồ thị object trong bộ nhớ (cách ứng dụng MVC vẫn làm) và lý do OODB thất bại thập niên 1990: không có ngôn ngữ query khai báo,…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Redesigning Workers KV for increased availability and faster performance Bài tóm tắt · Cloudflare · 2025
…ẩm Cloudflare. - Thiết kế gốc (2018) , trước khi có Durable Objects và R2: dùng object storage của hai nhà cung cấp bên thứ ba , active-active. Ghi song song vào cả hai; xoá bằng t…
- How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server Bài tóm tắt · Kubernetes · 2026
…ùng lặp và giới hạn tốc độ: mười thay đổi liên tiếp của một object có thể thành một lần reconcile. - Controller chỉ bắt đầu reconcile khi mọi informer đã nạp xong và dựng xong inde…
- Kubernetes v1.37: Storage Version Migration Enabled by Default Bài tóm tắt · Kubernetes · 2026
…o định dạng cũ cho tới khi có ai ghi lại nó. Bối cảnh - Mỗi object của Kubernetes được ghi vào storage (etcd) theo một storage version (một dạng schema). Đổi storage version chỉ áp…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- Neon Công ty Thành viên
Postgres serverless tách storage và compute, mỗi compute một pod Kubernetes. Sự cố 5/2025 ở us-east-1: compute rảnh không được tắt, subnet (cỡ nhỏ vì là region đời đầu) hết IP do hành vi giữ dư IP của AWS CNI; đổi cấu…
- Anatomy of a serverless usage-based billing system Bài tóm tắt · WarpStream · 2024
…etering) phía WarpStream. Bối cảnh - WarpStream (Kafka trên object storage) tính tiền theo ba chiều: cluster minutes (cụm có xử lý request, tính theo khối 15 phút), throughput ghi…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- Zero Ops Schema Migration: WarpStream Schema Linking Bài tóm tắt · WarpStream · 2025
…ong VPC của khách (lấy schema, lấy metadata, ghi schema vào object store của khách). Schema không bao giờ rời môi trường khách; control plane chỉ thấy metadata (tên subject, schema…
- 6 Event-Driven Architecture Patterns — Part 1 Bài tóm tắt · Wix · 2020
…của nó gánh quá nhiều mối quan tâm của client; - stream mọi object metadata (tạo, sửa) lên một topic Kafka; tính nhất quán có được nhờ ghi DB bên trong consumer, hoặc dùng CDC (Deb…
- 500 Tbps of capacity: 16 years of scaling our global network Bài tóm tắt · Cloudflare · 2026
…y thì chạy luôn code của khách: Workers, sau đó KV, Durable Objects, và năm 2025 là Containers. - Giao thức: áp dụng sớm IPv6, RPKI (bỏ route không hợp lệ chống BGP hijack); tiếp t…
- Getting from tested to battle-tested Bài tóm tắt · Jane Street · 2025
…ntithesis team dám nhận dự án tham vọng hơn. Bước tiếp: một object store phân tán đang phát triển, các hệ không có lớp mạng/thời gian mock được (dùng phần mềm bên ngoài), và làm ng…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…để khỏi quét cả bảng. - Sinh code: SQL → C++ → GCC → shared object, nạp vào DB. Parser hai pha: lớp nhẹ bỏ hằng số để ra "hình dạng" query, tra trong hash table lock-free; trúng th…
- Scaling Verify with Wallet for Identity Verification at Uber Bài tóm tắt · Uber · 2026
…g khai) để chống replay. Ba bước: kiểm MSO (Mobile Security Object: dữ liệu không bị sửa từ lúc cấp, còn hạn); device binding (chữ ký thiết bị khớp khoá công khai trong MSO, tức là…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…đơn giản hơn cố đạt exactly-once ở nguồn. - Data lake trên object storage làm "nguồn lịch sử" chung cho nhiều team. Liên quan - - -…