Tìm kiếm
37 kết quả cho “snapshot S3”. Tìm không phân biệt dấu.
- Creating a Logical Replica from a Snapshot in RDS Postgres Bài tóm tắt · Instacart · 2020
…ttps://tech.instacart.com/creating-a-logical-replica-from-a-snapshot-in-rds-postgres-886d9d2c7343) Site chặn crawler; wiki đọc toàn văn qua trình duyệt, ghi chú bằng lời của wiki.…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…site, nhận cập nhật realtime từ Kafka, thao tác hàng loạt (snapshot, compact, nạp feature tính offline, thay cả cột), chi phí vận hành thấp. Thay đổi chính - Nebula : kho dữ liệu…
- Sitar-agent: Building a reliable dynamic configuration sidecar at scale Bài tóm tắt · Airbnb · 2026
…onfig: commit vào Sitar Service (version, changelog, ACL) → Snapshot Service mỗi giờ đóng gói toàn bộ config lên S3 → khi pod khởi động, sidecar chạy trước, tải snapshot từ S3 vào…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…ng). - Năm cơ chế "dự phòng": pg dump hằng ngày lên S3, LVM snapshot hằng ngày (dùng để chép production sang staging), snapshot đĩa Azure (chỉ bật cho máy NFS, không cho DB), và re…
- Deployment of etcd on AWS EC2 Bài tóm tắt · etcd · 2017
…thành viên; càng nhiều miền lỗi độc lập càng khó mất hẳn); snapshot của etcd v3 đủ rẻ (vài phút) để chạy thường xuyên và đẩy lên S3; EBS là block device qua mạng, vòng đời tách kh…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
…data service, dựng index trên shard đích. 2. Bulk import từ snapshot tại thời điểm T. Gom lô và chỉnh tham số engine không giúp; sắp dữ liệu theo thuộc tính index phổ biến nhất rồi…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…để nhanh, giới hạn tốc độ để không làm hại production (). - Snapshot định kỳ ra object storage (S3) rồi nạp vào nhiều đích là dạng pipeline batch đơn giản nhất: nguồn chỉ bị đọc mộ…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…- Chèn: vào bảng inlined trong catalog, kèm row id , begin snapshot , end snapshot để giữ time travel. - Xoá dòng còn inline: chỉ đặt end snapshot . Xoá dòng đã nằm trong Parquet:…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- Inside branch-based restores in Lakebase Postgres Bài tóm tắt · Neon · 2026
…ry): instance lớn, volume EBS lớn thì mất lâu. 2. Khôi phục snapshot từ S3 về volume. Theo Neon, RDS báo available trước khi nạp xong; block chưa có thì volume lấy từ S3 khi được c…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- etcd Công ty Thành viên
Hai nguồn của etcd trong wiki. Hướng dẫn triển khai trên AWS EC2 (đăng 2017): theo etcd, kho đồng thuận mạnh thêm node là thêm độ bền nhưng ghi chậm đi, nên scale dọc chứ không scale ngang; ASG dùng để giữ số node chứ…
- Postgres backups under the hood Bài tóm tắt · PlanetScale · 2026
…đổi chính (ba cách và cách PlanetScale làm) - pg dump: xuất snapshot nhất quán dưới dạng lệnh dựng lại dữ liệu; nhỏ (không có dead tuple, index), hợp cho migration . Nhưng ở cỡ 30…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
…testream cũ: khôi phục phải tải và phát lại mọi thay đổi từ snapshot gần nhất (một trang đổi nghìn lần là phát lại nghìn lần); tiến trình Litestream có thể chết riêng và bỏ sót tha…
- Fly.io Công ty Thành viên
Fly.io khởi đầu (2019) là nền tảng edge app không có lưu trữ bền, từ chối làm database hơn 300 ngày. Họ thêm volume rồi ra Fly Postgres (2021) như một "automated database": một app Postgres HA (Stolon + Consul) chạy…
- What Powers Instagram: Hundreds of Instances, Dozens of Technologies Bài tóm tắt · Instagram · 2011
…rong RAM ; EBS ghép software RAID. - Streaming replication, snapshot EBS (đóng băng XFS để snapshot nhất quán). - PgBouncer pool kết nối, được nhắc là thay đổi có tác động lớn tới…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…roduction nên DBA phải dựng replica chỉ đọc, có DB phải đọc snapshot cũ một ngày. - Team sản phẩm tự ghi lên S3: JSON, CSV, text tuỳ team, không ai kiểm schema, backfill không nhất…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…(data file + delete file cho insert/update/delete), commit snapshot Iceberg nguyên tử. - Trạng thái gom vào metadata của leader Kafka: tiến độ đổ vào lake lưu trong metadata của l…
- ClickHouse Công ty Thành viên
ClickHouse Cloud có thêm Postgres managed, và với dịch vụ đó WAL archival là thứ bảo đảm khôi phục được. Năm 2026, khi đưa Postgres vào môi trường ít tài nguyên, họ viết lại WAL-G (Go) thành WAL-RUS (Rust) để bộ nhớ dự…
- Scaling our Observability platform beyond 100 Petabytes by embracing wide events and replacing OTel Bài tóm tắt · ClickHouse · 2025
…g 6 ), lúc đọc gộp mọi phiên bản bằng Merge table engine. - Snapshot định kỳ các bảng trạng thái trong bộ nhớ ( system.processes , schema, settings) để "du hành thời gian" khi điều…
- GitLab Công ty Thành viên
GitLab.com (~3 triệu user, 2019) dùng một replica Postgres trễ 8 giờ để khôi phục sau một lần xoá nhầm trong 90 phút . Cùng năm, team Delivery bỏ release tháng có feature freeze và làm continuous delivery ngay trên hạ…
- Prometheus High Availability and Fault Tolerance Strategy, Long Term Storage with VictoriaMetrics Bài tóm tắt · Miro · 2020
…ulti-AZ làm state, nhiều instance sau load balancer. Có thể snapshot vmstorage lên S3 để giữ lâu hơn nữa. Bài học cho SWE - Tách ngắn hạn/nóng (Prometheus nhỏ, đĩa nhanh, nhân đôi)…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
…lr; bỏ Cassandra, Mongo, Membase. - Redis cho home feed chỉ snapshot mỗi 3 giờ, không replication: mất máy thì mất vài giờ dữ liệu, chấp nhận để đơn giản (bình luận dưới bài phản b…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…r đọc API AWS (băng thông và sức khoẻ đường P2P, chính sách snapshot EBS). Vì sao - Theo Zerodha: giữ ít phụ thuộc ở ứng dụng quan trọng, và chọn thành phần vận hành đơn giản (một…