Tìm kiếm
40 kết quả cho “Snapshot + log”. Tìm không phân biệt dấu.
- Creating a Logical Replica from a Snapshot in RDS Postgres Bài tóm tắt · Instacart · 2020
…ttps://tech.instacart.com/creating-a-logical-replica-from-a-snapshot-in-rds-postgres-886d9d2c7343) Site chặn crawler; wiki đọc toàn văn qua trình duyệt, ghi chú bằng lời của wiki.…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…ài gốc](https://technology.doximity.com/articles/from-batch-snapshots-to-near-real-time-data) Bối cảnh - Doximity đã có pipeline batch chép định kỳ snapshot của DB ứng dụng vào war…
- Pushing Postgres beyond storage: scaling performance at Optiver Bài tóm tắt · Optiver · 2026
…hông có trong WAL thì với feed là không tồn tại. - Bài toán snapshot + stream: client lấy trạng thái hiện tại rồi nhận cập nhật từ đó, nhưng hai bước chồng nhau về thời gian; chuyể…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…er bằng 0 thì đồng bộ hoàn toàn. Log đạt 2 GB thì nén thành snapshot; khôi phục = đọc snapshot (nhiều luồng) + replay phần log còn lại. Chỉ ghi tuần tự. - Replication: theo dòng, m…
- The LMAX Architecture Bài tóm tắt · LMAX · 2011
…a BLP suy ra hoàn toàn từ chuỗi event đầu vào được ghi bền. Snapshot mỗi đêm; khởi động lại đầy đủ (JVM + snapshot + replay journal một ngày) dưới một phút. Chạy ba BLP cùng xử lý…
- What Powers Instagram: Hundreds of Instances, Dozens of Technologies Bài tóm tắt · Instagram · 2011
…rong RAM ; EBS ghép software RAID. - Streaming replication, snapshot EBS (đóng băng XFS để snapshot nhất quán). - PgBouncer pool kết nối, được nhắc là thay đổi có tác động lớn tới…
- LIquid: The soul of a new graph database, Part 1 Bài tóm tắt · LinkedIn · 2020
…thất bại thập niên 1990: không có ngôn ngữ query khai báo, snapshot nhất quán quá đắt khi vượt một máy, schema theo kế thừa khó tiến hoá. - Cạnh tổng quát là bộ ba chuỗi (subject,…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Scaling our Observability platform beyond 100 Petabytes by embracing wide events and replacing OTel Bài tóm tắt · ClickHouse · 2025
…g 6 ), lúc đọc gộp mọi phiên bản bằng Merge table engine. - Snapshot định kỳ các bảng trạng thái trong bộ nhớ ( system.processes , schema, settings) để "du hành thời gian" khi điều…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…- Chèn: vào bảng inlined trong catalog, kèm row id , begin snapshot , end snapshot để giữ time travel. - Xoá dòng còn inline: chỉ đặt end snapshot . Xoá dòng đã nằm trong Parquet:…
- The Evolution of Alibaba Cloud's Relational Database Services Architecture - PolarDB Bài tóm tắt · Alibaba · 2018
…le system user-space (không theo đủ POSIX để đơn giản hơn); snapshot copy-on-write + redo log cho restore theo thời điểm; node DB chạy trong Docker. Vì sao - Theo Alibaba, đẩy repl…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…nh. Thay đổi chính - Chuỗi job Dataflow (Apache Beam): chụp snapshot ảnh, snapshot tag, lấy chỗ ở có ảnh đổi, dựng gallery, snapshot gallery, kiểm tra , rồi stream thay đổi qua Kaf…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server Bài tóm tắt · Kubernetes · 2026
…ình watch từ đầu chứ không poll. Cơ chế - List + watch: lấy snapshot một lần (kèm resourceVersion ), rồi mở watch từ đúng version đó nên không hở khoảng nào giữa snapshot và luồng.…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…ng). - Năm cơ chế "dự phòng": pg dump hằng ngày lên S3, LVM snapshot hằng ngày (dùng để chép production sang staging), snapshot đĩa Azure (chỉ bật cho máy NFS, không cho DB), và re…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Getting from tested to battle-tested Bài tóm tắt · Jane Street · 2025
…mở rộng để phục vụ client ở vùng khác . Sau khi restart từ snapshot và trước khi ring buffer đầy, nếu client hỏi offset trước snapshot thì server trả về byte NUL từ vùng trống tha…
- Follow Up - Preventing Upgrade Failures from etcd v3.5 to v3.6 Bài tóm tắt · etcd (CNCF) · 2025
…nâng control plane Kubernetes), một learner mới có thể nhận snapshot từ một thành viên cũ (≤ v3.5.19) mang membership sai. Trên v3.5 vẫn không sao; lên v3.6 thì lại hỏng. - Sửa ở v…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…m ở data center khác, batch theo partition cho đường WAN. - Snapshot service khôi phục backup thành file Avro để ETL vào HDFS và bootstrap consumer Databus mới (Databus chỉ giữ buf…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…gic. Robin stateless, chạy trên Kubernetes, quyết định theo snapshot tài nguyên định kỳ. Chính sách thắng trong mô phỏng: cụm có nhiều tài nguyên tuyệt đối nhất . Hai sub-cluster Y…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Single-Store Vector Index: Architecture and Memory Efficiency Bài tóm tắt · Memgraph · 2026
…ex khác. Thay đổi chính - Một kho, một câu chuyện bền vững: snapshot và WAL phủ cả đồ thị lẫn mọi index; khôi phục dựng lại vector index cùng lượt với dữ liệu, không phải phát lại…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…roduction nên DBA phải dựng replica chỉ đọc, có DB phải đọc snapshot cũ một ngày. - Team sản phẩm tự ghi lên S3: JSON, CSV, text tuỳ team, không ai kiểm schema, backfill không nhất…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…r đọc API AWS (băng thông và sức khoẻ đường P2P, chính sách snapshot EBS). Vì sao - Theo Zerodha: giữ ít phụ thuộc ở ứng dụng quan trọng, và chọn thành phần vận hành đơn giản (một…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…