Tìm kiếm
40 kết quả cho “mất dữ liệu”. Tìm không phân biệt dấu.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…báo phát hành của nhà cung cấp; giữ lại vì cho thấy một format tiến hoá trong một năm từ bản phác thảo tới bản production, và phần phụ lục phân loại công việc. Mọi nhận định là th…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- ADMIRE: A Product-Driven Approach to Automating Migrations Bài tóm tắt · Two Sigma · 2021
…osigma.com/articles/admire-a-product-driven-approach-to-automating-migrations/) Bối cảnh - Đội Platform Engineering của Two Sigma chắc chắn phải làm migration (đổi DC, đổi containe…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- 3 Changes to Expand DoorDash's Product Search Beyond Delivery Bài tóm tắt · DoorDash · 2022
…Hạ tầng search dựng lại từ đầu: - Indexing thế hệ mới: tạo materialized view của tài liệu search trước khi đưa vào index, nên rebuild nhanh hơn và tất định, tái lập được. Cập nhật…
- Scaling beyond one: How Airbnb evolved its data architecture for a multi-product world Bài tóm tắt · Airbnb · 2025
…(5/2025): Airbnb thiết kế lại app, làm lại Experiences, ra mắt Services. Kho dữ liệu offline (phục vụ phân tích, khoảng 10 năm tuổi, xây quanh Homes) phải đón thêm hai trụ sản phẩ…
- The Ultimate Load Test Bài tóm tắt · Tinder · 2020
…h — [bài gốc](https://medium.com/tinder-engineering/the-ultimate-load-test-c32b37adc11b) Bối cảnh - Swipe Night (video tương tác) ra mắt ở Mỹ tối Chủ nhật 6/10/2019, chỉ trong khun…
- Incident report: Vercel environment variables cleared during synchronization Bài tóm tắt · Trigger.dev · 2026
…h năng cho phép lưu chuỗi rỗng (một số ứng dụng cần biến có mặt nhưng trống). Hành vi vứt giá trị rỗng biến mất, nên bug sync lộ ra : giá trị thật bị ghi đè bằng chuỗi rỗng. - Đã t…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…/) Bài ngoài sheet. Một trong số ít postmortem công khai về mất dữ liệu production thật , do chính GitLab viết (CEO đứng tên xin lỗi). Bối cảnh - Đầu 2017, GitLab.com chạy một prim…
- Automatic Apache Kafka Migrations With Orbit Bài tóm tắt · WarpStream · 2026
…oard, và chỉ cần một producer bị quên còn ghi vào cụm cũ là mất dữ liệu, nên mọi team phải chuyển cùng lúc. - Một số khách tự làm bằng feature flag động hoặc dùng ACL trên cụm nguồ…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
…nằm ở S3, có thể dựng lại ClickHouse ở bất cứ đâu mà không mất lịch sử, đổi định nghĩa bảng hay thêm bảng dẫn xuất mà không phải phát lại lưu lượng nạp. Phần lớn dữ liệu nằm trong…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…eature → train → mô phỏng). Tạo feature một ngày thị trường mất 1 giờ thì 1.000 ngày giao dịch mất khoảng sáu tuần; chia theo ngày thì về lại khoảng một giờ. Thêm 100 công cụ là hơ…
- Moving e2e testing into production with multi-tenancy for increased speed and reliability Bài tóm tắt · DoorDash · 2022
Thời monolith, nhu cầu test end-to-end được đáp ứng bằng sandbox. Sang microservices, chạy hết các service trên một máy không nổi, nên dựng môi trường staging riêng (bản sao production không có PII).
- Jepsen: NATS 2.12.1 Bài tóm tắt · Jepsen · 2025
…hân bản stream bằng Raft, hứa giao "ít nhất một lần" (không mất message đã ack), log có thứ tự toàn phần, và tài liệu nói vừa "linearizable" vừa "tự lành và luôn sẵn sàng"; theo Je…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…bằng TICK script: alert deadman khi heartbeat của scheduler mất 5 phút; ngưỡng warn/crit cho số Celery worker. Họ nhắc phải giám sát cả InfluxDB, Kapacitor, Grafana. Vì sao - Với n…
- Infrastructure Security as a product for Hotstar Bài tóm tắt · Disney Hotstar · 2020
…lập được vài tháng (cuối 2019), trước mùa cricket lớn. - Bề mặt tấn công: hơn 20 tài khoản cloud , hai chữ số cụm Kubernetes . Năm vùng cần siết: tài nguyên nội bộ lộ public (ingre…
- Introducing OxCaml Bài tóm tắt · Jane Street · 2025
…sửa: quản lý package tương thích dune/opam, LSP server, formatter. - Thư viện mã nguồn mở của Jane Street phát hành hai bản: một bản cho OCaml upstream (đã gỡ phần mở rộng), một b…
- Introducing Fly Kubernetes Bài tóm tắt · Fly.io · 2023
…hó: Trung bình — [bài gốc](https://fly.io/blog/fks/) Bài ra mắt sản phẩm (beta). Đọc cùng (vì sao Fly.io bỏ scheduler toàn cục). Bối cảnh - Fly.io chạy container dưới dạng microVM…
- Cook: A Fair Preemptive Resource Scheduler for Compute Clusters Bài tóm tắt · Two Sigma · 2016
…thì huỷ một số task batch để lấy lại tài nguyên. Cái giá là mất phần tính toán đã làm, vì đa số job không hỗ trợ checkpoint. - Cumulative Resource Share (CRS): khó nói task của use…
- Building the Neural Zestimate Bài tóm tắt · Zillow · 2023
…i gốc](https://www.zillow.com/news/building-the-neural-zestimate/) Bối cảnh - Zestimate ra 2/2006 cho 40 triệu nhà, cập nhật hằng tháng; nay hơn 100 triệu nhà, cập nhật vài lần mỗi…
- Deconstructing the Monolith: Designing Software that Maximizes Developer Productivity Bài tóm tắt · Shopify · 2019
…g một PR "big bang" sinh tự động. Không đổi logic. Cái giá: mất nhiều lịch sử Git trên GitHub (move bị hiểu là xoá + tạo mới). 2. Cô lập phụ thuộc: mỗi component có public API và s…
- Automated Incident Management Through Slack Bài tóm tắt · Airbnb · 2022
…hất là biết service nào hỏng và phải page ai. - Người xử lý mất nhiều thời gian chuyển qua lại giữa Slack, PagerDuty và Jira để mở sự cố, gọi người và cung cấp bối cảnh. Thay đổi c…
- How Reliability and Product Teams Collaborate at Booking.com Bài tóm tắt · Booking.com · 2019
…alert giả do thay đổi của team sản phẩm, vi phạm chuẩn bảo mật/kỹ thuật, hoặc để đổi chỗ. Hạ mức nghĩa là team sản phẩm nhận lại pager. - Ownership Map: bảng hệ thống của một team…
- How we reduced our text similarity runtime by 99.96% Bài tóm tắt · Microsoft · 2021
Mỗi lần chạy phải chấm 100.000 tới 1,5 triệu bài báo mới so với mọi review (mỗi review là một tập bài đã chọn), trong vài giờ. Model chính xác nhất là TF-IDF + cosine với từng bài trong review rồi gộp (ví dụ trung bình…
- How we improved reporting and monitoring of test automation results Bài tóm tắt · trivago · 2023
…-02-15-how-we-improved-reporting-and-monitoring-of-test-automation-results) Bối cảnh - Từ 2015 trivago đã đẩy kết quả test tự động vào ELK. Với web app viết lại (Warp) và continuou…
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, đồng bộ thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…job theo lịch; Hive Sync chép dữ liệu sang region phụ, khi mất region thì một cụm Presto dự phòng chạy job ưu tiên cao, còn lại chạy với SLA giảm; retry tự động khi deploy/restart…
- Simplifying Data and Product Integrations with a Data Abstraction Layer Bài tóm tắt · Uber · 2026
…ian, chiều phân tách, metric; trước đó dựng một báo cáo mới mất vài tuần tới vài tháng . Thay đổi chính - DAL (Data Abstraction Layer) là một service RPC đứng giữa consumer (fronte…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…ộ khó: Dễ — [bài gốc](https://blog.allegro.tech/2024/12/automating-periodic-data-transfer-from-operational-database-to-a-data-warehouse.html) Bài mô tả giải pháp ở mức khái niệm ("…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
Grab chuyển từ một đội Data Engineering trung tâm sang data mesh: các team tự publish data product, được chứng nhận (chủ sở hữu, tài liệu, lineage, kiểm chất lượng) qua Hubble (metadata, lineage), Genchi (quan sát chất…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…rồi phát transition. Node chết thì ephemeral node ZooKeeper mất, slave được nâng lên master; trong khoảng ngắn partition không nhận ghi nhưng router vẫn đọc từ slave. - SCN 64 bit…
- Why We're Moving on From Nix (Introducing Railpack) Bài tóm tắt · Railway · 2025
…ốc](https://blog.railway.com/p/introducing-railpack) Bài ra mắt sản phẩm; mọi số liệu là theo Railway. Hệ được nói tới là builder biến code của người dùng thành image, tức là "CI"…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…over DC. TTL hữu hạn để dọn bản ghi lệch (ví dụ lệnh xoá bị mất khi Kafka sự cố), cộng bootstrap định kỳ trong chu kỳ ngắn hơn TTL. - Chống lệch: ba bên cùng ghi cache (router, cac…
- How we seamlessly migrated high volume real-time streaming traffic with zero data loss and duplication Bài tóm tắt · Grab · 2024
…ứng service mới trên production trước khi chuyển hẳn; không mất, không trùng dữ liệu , không downtime. Thay đổi chính - Loại feature flag (đã có nền tảng config/experiment): trong…
- Implementation of a monitoring strategy for products based on microservices Bài tóm tắt · Salesforce · 2019
…ạo được job mới, còn chỗ lưu kết quả, và các job giống nhau mất thời gian giống nhau . Metric throughput khó so khi thời gian xử lý tuỳ nội dung bản ghi, và không có tín hiệu khi k…
- AI Agent Observability: Making Silent Production Failures Visible and Actionable Bài tóm tắt · Salesforce · 2026
…vượt ngưỡng token). - Phát hiện chất lượng còn dở: ảo giác, mất ngữ cảnh, grounding kém cần tổ hợp tín hiệu khác nhau theo use case, và mỗi khách định nghĩa "không chấp nhận được"…