Tìm kiếm
40 kết quả cho “Snapshot metadata”. Tìm không phân biệt dấu.
- Meet Chrono, our scalable, consistent, metadata caching solution Bài tóm tắt · Dropbox · 2024
…oặc cũ). - Panda có commit timestamp đơn điệu theo key, đọc snapshot theo timestamp, GetLatest trả kèm read timestamp, và Write(..., maxPermittedCommitTimestamp) từ chối nếu commit…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…ài gốc](https://technology.doximity.com/articles/from-batch-snapshots-to-near-real-time-data) Bối cảnh - Doximity đã có pipeline batch chép định kỳ snapshot của DB ứng dụng vào war…
- Business-Driven Upgrade of Alibaba Group: The Evolution of Dubbo 3.0 Bài tóm tắt · Alibaba · 2021
…ùng chế độ mới không, không đổi code nghiệp vụ) và metadata snapshot theo mỗi lần release (cấu hình mọi interface, ID snapshot nằm trong URL). Client cũ và mới cùng chạy được. - Gi…
- Building a Faster C# Driver for ScyllaDB…on our Self-Baked C#-Rust FFI Framework Bài tóm tắt · ScyllaDB · 2026
…e đối tượng Host toàn cục và tự đếm tham chiếu kiểu Arc cho snapshot native, vì GC chỉ thấy một wrapper nhỏ chứ không thấy bộ nhớ thật phía Rust. Schema metadata trước đây nửa cach…
- Making Order in CI/CD Mess Bài tóm tắt · Wix · 2020
…phiên bản ba bậc: commit vào master → build ở dev CI → bản SNAPSHOT lưu trong Artifactory; RC là promote bản snapshot cuối (copy sang repo RC, đổi số phiên bản thành duy nhất); GA…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…e mới bên cạnh file cũ. - Commit = dời con trỏ: lần ghi đọc snapshot hiện tại, ghi file dữ liệu và metadata mới, rồi xin catalog dời con trỏ nếu nó vẫn trỏ vào snapshot đã đọc . Ha…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…rage bất biến trên object storage đơn giản hoá đồng thời và snapshot, nhưng biến mọi thay đổi nhỏ thành ghi lớn; phải có lớp delta để chi phí ghi tỉ lệ với thay đổi thay vì với kíc…
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
…data service, dựng index trên shard đích. 2. Bulk import từ snapshot tại thời điểm T. Gom lô và chỉnh tham số engine không giúp; sắp dữ liệu theo thuộc tính index phổ biến nhất rồi…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…er bằng 0 thì đồng bộ hoàn toàn. Log đạt 2 GB thì nén thành snapshot; khôi phục = đọc snapshot (nhiều luồng) + replay phần log còn lại. Chỉ ghi tuần tự. - Replication: theo dòng, m…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Single-Store Vector Index: Architecture and Memory Efficiency Bài tóm tắt · Memgraph · 2026
…ex khác. Thay đổi chính - Một kho, một câu chuyện bền vững: snapshot và WAL phủ cả đồ thị lẫn mọi index; khôi phục dựng lại vector index cùng lượt với dữ liệu, không phải phát lại…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…- Chèn: vào bảng inlined trong catalog, kèm row id , begin snapshot , end snapshot để giữ time travel. - Xoá dòng còn inline: chỉ đặt end snapshot . Xoá dòng đã nằm trong Parquet:…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server Bài tóm tắt · Kubernetes · 2026
…ình watch từ đầu chứ không poll. Cơ chế - List + watch: lấy snapshot một lần (kèm resourceVersion ), rồi mở watch từ đúng version đó nên không hở khoảng nào giữa snapshot và luồng.…
- Inside branch-based restores in Lakebase Postgres Bài tóm tắt · Neon · 2026
…ry): instance lớn, volume EBS lớn thì mất lâu. 2. Khôi phục snapshot từ S3 về volume. Theo Neon, RDS báo available trước khi nạp xong; block chưa có thì volume lấy từ S3 khi được c…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…(data file + delete file cho insert/update/delete), commit snapshot Iceberg nguyên tử. - Trạng thái gom vào metadata của leader Kafka: tiến độ đổ vào lake lưu trong metadata của l…
- How We Halved Go Monorepo CI Build Time Bài tóm tắt · Uber · 2022
…là nhỏ và chi phí dựng môi trường lấn át. - Git nhanh hơn: snapshot Git làm mới định kỳ, tải nguyên khối về máy trước khi checkout; chỉ fetch các commit sau snapshot. - Container…
- Migrating Data Ingestion Systems at Meta Scale Bài tóm tắt · Meta · 2026
…ì mỗi lần tạo hoặc sửa đều phải full dump (đắt); - dùng lại snapshot của hệ cũ làm snapshot đầu. Kết quả Đã chuyển 100% workload và gỡ hẳn hệ cũ. Công cụ so chất lượng dữ liệu được…
- Evolution and Scale of Uber's Delivery Search Platform Bài tóm tắt · Uber · 2026
…index: workflow train hoặc lấy model, sinh embedding, dựng snapshot index mới mà không đụng đường đọc đang chạy. - Blue/green ở mức cột của index: mỗi index có hai cột cố định emb…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…tuần tự. Replay-and-compare trên hai bản khôi phục từ cùng snapshot lộ mẫu query không có thứ tự xác định (không ORDER BY , hoặc ORDER BY không có khoá phá hoà) trả dòng khác trên…
- ClickHouse Công ty Thành viên
ClickHouse Cloud có thêm Postgres managed, và với dịch vụ đó WAL archival là thứ bảo đảm khôi phục được. Năm 2026, khi đưa Postgres vào môi trường ít tài nguyên, họ viết lại WAL-G (Go) thành WAL-RUS (Rust) để bộ nhớ dự…