Tìm kiếm
40 kết quả cho “Khôi phục dữ liệu”. Tìm không phân biệt dấu.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Incident report: Vercel environment variables cleared during synchronization Bài tóm tắt · Trigger.dev · 2026
…2 tìm ra nguyên nhân → 15:10 tắt tính năng (2 giờ 49 phút). Khôi phục - Không lấy lại được từ Vercel vì API không trả giá trị Sensitive. Phải dựng lại bản sao database ngay trước s…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Scaling beyond one: How Airbnb evolved its data architecture for a multi-product world Bài tóm tắt · Airbnb · 2025
…sao; người dùng phía dưới query thế nào; khả năng bảo trì; khối lượng dữ liệu; tương thích (không làm hỏng Homes); số liệu kinh doanh vẫn đúng. Câu hỏi quyết định nhất: thuộc tính…
- Fastest Table Sort in the West – Redesigning DuckDB's Sort Bài tóm tắt · DuckDB Labs · 2021
…nó gom bằng radix sort; rồi cascade merge (mỗi lần gộp hai khối, hiệu quả trong bộ nhớ) thay vì k-way merge (ít I/O hơn, kiểu truyền thống cho sort ngoài). Khi số khối ít hơn số l…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Evaluating MySQL Parallel Replication Part 3: Benchmarks in Production Bài tóm tắt · Booking.com · 2015
…ột master, vài intermediate master, một slave lá. Bài test: khôi phục backup, chạy slave ít nhất 12 giờ, rồi đo thời gian đuổi kịp 24 giờ transaction thật . - Thay đổi cấu hình bin…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, đồng bộ thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…nders mặc định 3; max connections = 8000 làm Postgres không khởi động lại được khi tăng max wal senders ). - Một kỹ sư xoá thư mục dữ liệu, tưởng đang ở secondary nhưng là primary…
- Netflix Billing Migration to AWS Bài tóm tắt · Netflix · 2016
…ộng cho nước cũ lớn (Mỹ có cả DVD). - Tách luồng người dùng khỏi downtime: chuyển tích hợp signup/đổi gói sang mô hình bất đồng bộ có retry và quản lý trạng thái lạc quan, nên lúc…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…ata lake (Parquet trên HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Onehouse, đưa upsert xuống khoảng 10 phút và độ tươi đầu-cuối từ 24 giờ xuốn…
- March 20 ChatGPT outage: Here's what happened Bài tóm tắt · OpenAI · 2023
…Redis để giảm lỗi kết nối khi tải cao. - Lịch sử chat được khôi phục, trừ vài giờ. Bài học cho SWE - Cache dùng chung giữa user cần lớp bảo vệ cuối: kiểm tra chủ sở hữu của dữ liệ…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…hác, batch theo partition cho đường WAN. - Snapshot service khôi phục backup thành file Avro để ETL vào HDFS và bootstrap consumer Databus mới (Databus chỉ giữ buffer cố định); việ…
- Why We're Moving on From Nix (Introducing Railpack) Bài tóm tắt · Railway · 2025
…ng được (). Bài học cho SWE - Tách phiên bản từng phụ thuộc khỏi nhau; một con trỏ chung cho mọi gói biến mỗi lần nâng cấp thành thay đổi toàn cục. - Khoá phụ thuộc của lần build t…
- Outage post-mortem Bài tóm tắt · Dropbox · 2014
…ần lớn chức năng trở lại sau khoảng 3 giờ, nhưng vài DB lớn khôi phục chậm nên tới 16:40 Chủ nhật mới đầy đủ. Vì sao (bài học Dropbox rút ra) - Script kiểm trạng thái từ xa đã sai;…
- Implementing ChatOps into our Incident Management Procedure Bài tóm tắt · Shopify · 2018
…nhầm lẫn ai đang làm gì. Bài học cho SWE - Tách vai chỉ huy khỏi vai sửa : người chỉ huy giữ bức tranh chung và liên lạc, không chui vào debug (). - Đưa thao tác giảm thiểu (failov…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Building Git infrastructure for agent-scale development Bài tóm tắt · GitHub · 2026
…ường găng của push co lại còn bước nhỏ đó. - Đưa bảo trì ra khỏi đường phục vụ: nén và GC (hiện chạy trên chính máy phục vụ request Git) chuyển sang worker riêng làm trực tiếp trên…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- A monolithic architecture for our clients' hundreds of versions: how we write and support tests Bài tóm tắt · Bumble · 2019
…c0bc) Bối cảnh - Backend Badoo là monolith PHP 12 năm tuổi, khởi đầu không có test. Backend developer viết tính năng và đưa lên production trước mọi client (app mobile, site), bọc…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Stack Overflow: How We Do Monitoring - 2018 Edition Bài tóm tắt · Stack Overflow · 2018
…–20 giây để sẵn sàng; đi từ MAINT (traffic dồn vào ngay khi khởi động) mất 2–3 phút vì thread pool bị đói; - web server gọi thẳng từng tag engine (không qua HAProxy) và ping mỗi gi…
- How we optimized Magic Pocket for cold storage Bài tóm tắt · Dropbox · 2019
…, giảm 25% đĩa ; 4 region 3+1 giảm 33%. Dữ liệu chưa bị xoá khỏi warm cho tới khi qua nhiều vòng kiểm tra. Vì sao - Cross-region đầy đủ là chi phí lớn nhất; cold data hiếm khi đọc…
- Automatic Apache Kafka Migrations With Orbit Bài tóm tắt · WarpStream · 2026
…là dừng mọi producer của topic, chờ lag về 0, tắt nhân bản, khởi động lại producer trỏ sang WarpStream. Tức là có downtime, có người ngồi canh dashboard, và chỉ cần một producer bị…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…này nên phải rollout chậm. Vì sao - Tách huấn luyện (Spark) khỏi phục vụ (Python + Java) làm phát sinh nguy cơ lệch feature; dark launch là cách rẻ để kiểm hai đường cho cùng kết q…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Postgres backups under the hood Bài tóm tắt · PlanetScale · 2026
…SWE - Phân biệt backup để migration (logical) với backup để khôi phục thảm hoạ (physical + WAL) (). - Một transaction dài là rủi ro vận hành (chặn vacuum, tiến tới wraparound), kể…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…quá lớn (user ở rất nhiều group, hàng nghìn tin/giờ) bị đẩy khỏi cache vì làm bẩn cache. - Bảng account 512 fragment: tăng gấp đôi số host lại làm throughput giảm, vì cách băm tạo…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Designing for latency and iteration Bài tóm tắt · Optiver · 2026
…atency. - Một tầng biên dịch/DSL giúp tách người viết logic khỏi runtime, nhưng chính nó có thể thành sản phẩm phải nuôi. - Viết lại từ đầu có lý khi nút thắt đã nằm ở chính thiết…
- グローバル展開を支える基盤の裏側 (Behind the Infrastructure Powering Global Expansion) Bài tóm tắt · Mercari · 2025
…giả định 1 repo, 1 binary, 1 container, 1 Deployment; lệch khỏi khuôn đó thì phải tự viết và tự bảo trì workflow. Thay đổi chính - Modular monolith tách được: cả hệ build thành mộ…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Infrastructure patterns for agentic applications Bài tóm tắt · Render · 2026
…g lặp không tất định. Thay đổi chính - Mẫu 1: tách lần chạy khỏi request. Request chỉ tạo bản ghi run bền, đẩy việc vào queue, trả về run ID ngay; worker làm việc; DB ghi tiến độ;…
- Failing to Auto Scale Elasticsearch in Kubernetes Bài tóm tắt · Zalando · 2024
…-1a ; vì zone awareness, Elasticsearch từ chối dời shard ra khỏi nó. Operator thử dời 999 lần suốt đêm. - Lẽ ra khi resource đổi (lịch scale ra buổi sáng) operator phải bỏ việc đan…
- Embedded SRE at Mercari Bài tóm tắt · Mercari · 2022
…Checklist chung: Production Readiness Checklist, backup và khôi phục, observability, on-call và xử lý sự cố, playbook. Mục tiêu đặt bằng OKR: team sản phẩm có KR về độ tin cậy (đặ…