Tìm kiếm
40 kết quả cho “Backfill”. Tìm không phân biệt dấu.
- Scaling Exact COUNT(DISTINCT) for High-Cardinality Non-Rollup Metrics Bài tóm tắt · Uber · 2026
…job đang chạy), và các job song song sinh số trùng nhau nên backfill phải chạy tuần tự; backfill hai năm mất hơn 20 ngày. - Bitmap-64 (Roaring64Bitmap, hash UUID thẳng ra 64-bit, k…
- Himeji: A Scalable Centralized System for Authorization at Airbnb Bài tóm tắt · Airbnb · 2021
…ms; hàng chục tỉ quan hệ. - Công cụ để các team chịu dùng: backfill tuple theo cấu hình (Airflow + Spark, chủ service chỉ khai báo cách dựng tuple từ bản export DB), sinh code Jav…
- Update: Elasticsearch lessons learnt for Advanced Global Search Bài tóm tắt · GitLab · 2019
…roup/project vào danh sách index, GitLab tự xếp hàng tác vụ backfill , và tự gỡ record khi bị bỏ khỏi danh sách (trước đó phải chạy tay chuỗi rake task chậm, sai bước là kết quả th…
- The AI Lied to Me — And That's When I Learned How to Use It Bài tóm tắt · Mercari · 2025
…i review cũng không bắt. - Thiết kế migration: live sync và backfill dùng chung một luồng upsert idempotent luôn đọc từ nguồn sự thật . - Chạy agent không hỏi quyền ( --dangerously…
- How PayPal Uses Real-time Graph Database and Graph Analysis to Fight Fraud Bài tóm tắt · PayPal · 2021
…bằng giây, scale ngang có chịu lỗi, khoảng một triệu QPS , backfill linh hoạt từ offline lên online, đáp ứng yêu cầu bảo mật và riêng tư. - Đường ghi hai kênh gói trong một servic…
- How Slack Rebuilt Notifications Bài tóm tắt · Slack · 2026
…có push trên desktop hay không. Vì nó chưa từng tồn tại nên backfill được cho mọi user dựa trên việc họ có đặt "off" hay không, không ảnh hưởng trải nghiệm hiện tại. - Diễn giải lú…
- Scaling Etsy Payments with Vitess: Part 1 – The Data Model Bài tóm tắt · Etsy · 2023
…m cột, sửa primary/unique key khi DB đang thiếu tài nguyên, backfill hàng tỉ dòng bằng script chỉnh tốc độ lúc chạy (nhanh tới 60 lần nhờ INSERT … ON DUPLICATE KEY UPDATE ), sửa hà…
- From Local to Global: Building Seamless B2C Product Integration at Mercari Bài tóm tắt · Mercari · 2025
…s: · · (cùng ý một luồng upsert idempotent cho live sync và backfill) - Index dẫn xuất phát sau commit:…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
Dashboard của Stripe Billing hiển thị MRR, churn, tỉ lệ chuyển đổi trial... Hệ cũ chạy batch, trễ trung bình 24 giờ: trạng thái hiện tại của một subscription được tính lại bằng cách phân tích toàn bộ lịch sử của nó từ…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Online index migration and shard-scaling in OpenSearch with AOSC Bài tóm tắt · Atlassian · 2026
…h sử từ số này trở đi", để luồng phát lại còn đó khi cần. - Backfill bằng Engine.Searcher (giữ các segment cần đọc, không chặn merge); cutover bằng đổi alias nguyên tử. Search Plat…
- Scaling our Observability platform beyond 100 Petabytes by embracing wide events and replacing OTel Bài tóm tắt · ClickHouse · 2025
…spike thì không mất dữ liệu, chỉ cần scrape lại cửa sổ cũ (backfill tự nhiên, không cần buffer retry phức tạp). - Schema system table đổi thường xuyên: SysEx hash schema , chưa có…
- Herding elephants: Lessons learned from sharding Postgres at Notion Bài tóm tắt · Notion · 2021
…ầu. Họ chuẩn bị sẵn audit log ngược để quay về monolith. 2. Backfill: khoảng 3 ngày trên máy 96 CPU, so version bản ghi để không ghi đè dữ liệu mới hơn. 3. Kiểm chứng: script so ng…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Migrating Data Ingestion Systems at Meta Scale Bài tóm tắt · Meta · 2026
…ng còn lệch thì bỏ job cũ. - Tín hiệu sớm: sau rollout chạy backfill trên cả hai job; lệch thì rollback trước khi người dùng dữ liệu bị ảnh hưởng. - Chặn lỗi lan truyền: partition…
- Migration from HBase to MyRocks at Quora Bài tóm tắt · Quora · 2021
…khi khôi phục host. - Quy trình migrate mỗi bảng: ghi kép → backfill bằng INSERT IGNORE (không đè dữ liệu ghi kép) → shadow read ~5% so sánh, log chỗ lệch → cắt sang MyRocks làm ng…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Re-architecting Slack's Workspace Preferences: Moving to an EAV Model Bài tóm tắt · Slack · 2018
…ách thành nhiều hàng mới; - viết hàm tách; ghi kép + script backfill , trong vài ngày bảng mới đã đầy đủ. - Đọc: - "dark mode" : đọc cả hai, so sánh, vẫn trả về dữ liệu cũ, đo thời…
- Why We Switched Our Data Orchestration Service Bài tóm tắt · Spotify · 2022
…ể tự động áp cho mọi người) và mở đường cho tự động hoá (tự backfill phía sau, hành động theo event, huỷ khi có alert, báo consumer khi workflow trễ/hỏng), mà cần nhìn thấy task và…
- Tracking the Money — Scaling Financial Reporting at Airbnb Bài tóm tắt · Airbnb · 2017
…y vì tính phần chênh: đơn giản hơn khi sửa chồng sửa và khi backfill. - Kết quả (3/2017): chạy đêm 4–5 giờ, scale ngang; một nguồn sự thật để điều tra lệch số; unit test cho từng h…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…ine thành thứ chạy lại thủ công được cho một khoảng bất kỳ (backfill). Liên quan - Cùng công ty: · · · - ·…
- Atlassian Công ty Thành viên
Atlassian lên AWS năm 2016. Tenant Context Service (ánh xạ tenant → vị trí, gọi nhiều lần trong mỗi request) được tối ưu qua bốn bài học "không có phép màu": DynamoDB, load balancer, cache, client . Cùng năm 2019, nền…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…ịu thêm vài trăm ms là chấp nhận được. Giảm mạnh chi phí và backfill không còn tranh IOPS với consumer realtime. Những gì vỡ ở quy mô này 1. Giới hạn mạng của broker quan trọng hơn…
- Migrating 300+ namespaces from self-hosted Temporal to Temporal Cloud Bài tóm tắt · Coinbase · 2026
…settlement, quy trình pháp lý (xoá dữ liệu GDPR, KYC), ETL, backfill, cấp phát hạ tầng. - Ban đầu: một cụm Temporal dùng chung với tầng persistence tự viết. Giúp các team áp dụng n…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…ctly-once theo checkpoint, phân thư mục để batch đọc nhanh, backfill được khi Kafka hết hạn giữ, mở đường cho lake với Trino) → Snowpipe nạp vào Snowflake khi có thông báo SQS. Mỗi…
- Integrating Neo4j Into Your Stack Bài tóm tắt · Doximity · 2022
…consumer group mới đọc lại toàn bộ trạng thái mà không cần backfill; tombstone xoá bản ghi đã xoá. Avro + schema registry làm hợp đồng; unique constraint trên UUID làm lưới an toà…
- Reducing Image File Size in the Photos Infrastructure Bài tóm tắt · Etsy · 2017
…n cần thử trên đủ loại ảnh và biết cách lùi, kể cả khi phải backfill lại ảnh đã xử lý. Liên quan - · - · · (ngân sách byte) ·…
- How Figma's databases team lived to tell the scale Bài tóm tắt · Figma · 2024
…h hưởng ít nhất; scale-out về sau không phải sửa app; không backfill đắt ; làm từng bước; không có migration một chiều (luôn rollback được); nhất quán mạnh, không ghi kép ; tận dụn…
- GitLab Công ty Thành viên
GitLab.com (~3 triệu user, 2019) dùng một replica Postgres trễ 8 giờ để khôi phục sau một lần xoá nhầm trong 90 phút . Cùng năm, team Delivery bỏ release tháng có feature freeze và làm continuous delivery ngay trên hạ…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…ngày trước vẫn tính là chưa khoẻ tới khi partition đó được backfill và kiểm lại. Khử trùng : tín hiệu mới cập nhật DPI đang mở; DPI cùng nguyên nhân được gom. - Chẩn đoán và giao…
- Creating a Logical Replica from a Snapshot in RDS Postgres Bài tóm tắt · Instacart · 2020
…ị trí của slot: snapshot + phát lại từ điểm đó, cùng khung "backfill + CDC" với . - Promote replica logic cần nhớ những thứ không đi theo replication logic, như sequence . - Slot c…
- DBLog: A Generic Change-Data-Capture Framework Bài tóm tắt · Netflix · 2019
…biết SELECT chạy ở vị trí nào khi DB không cho biết. - Dump/backfill nên là thao tác thường ngày chạy theo yêu cầu, không chỉ một lần lúc khởi tạo. - Tránh khoá bảng và tính năng r…