Tìm kiếm
14 kết quả cho “watermark”. Tìm không phân biệt dấu.
- Achieving observability in async workflows Bài tóm tắt · Netflix · 2021
…cle Distribution (công cụ cho đoàn làm phim gửi tài liệu có watermark riêng cho từng người nhận, theo dõi việc nhận): một job 10 file × 20 người nhận là 200 tài liệu watermark riên…
- DBLog: A Generic Change-Data-Capture Framework Bài tóm tắt · Netflix · 2019
…chunk lúc đang chạy; tạm dừng và chạy tiếp từ chunk cuối. - Watermark để chunk không ghi đè lịch sử mới hơn: một bảng một dòng trong namespace riêng. Các bước: tạm dừng xử lý log n…
- Eliminating toil with fully automated load testing Bài tóm tắt · LinkedIn · 2019
…onitoring kịp báo), sau đó tiến từ từ trong cửa sổ giữa low watermark và high watermark quanh mục tiêu bằng hai hàm bước tăng/giảm số bucket. - Trễ của pipeline metric làm quyết đị…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- How we built a queue on top of Kafka Bài tóm tắt · Monzo · 2024
…edOffsetManager theo dõi các message đang bay và commit tới watermark liên tục đã xong. - Chỉ cho bật kiểu này khi đã có deadletter, để offset chắc chắn tiến sau maxAttempts . - "M…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…bảng CDC liên quan có thể không cùng thời điểm (outer join, watermark, model tăng dần bị ảnh hưởng). Consumer chọn: nhất quán theo thời điểm, hay latency thấp. - Khởi tạo từ snapsh…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…ã ingest tới bốn ngày trước. Job vẫn báo thành công, chỉ có watermark ngừng tiến; 1,5 ngày sau người dùng hạ nguồn mới hỏi vì sao thiếu dữ liệu. Rollback ngay, nhưng với tốc độ ghi…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…rmer (mảng cửa hàng) vượt giới hạn payload Kafka và làm khó watermark theo từng cửa hàng; hệ đọc chiều của model (cache reflection) để nhận ra feature mảng và trải phẳng thành từng…