Tìm kiếm
13 kết quả cho “Dedup”. Tìm không phân biệt dấu.
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…et nguồn S3 (có thể trùng do Kafka giao lại), job MapReduce dedupe sang bucket đích, Hive và ETL sang Redshift đọc từ đó. - Năm 2018 S3 còn nhất quán cuối với list() : object mới c…
- HRTWorker: A SharedWorker Framework Bài tóm tắt · Hudson River Trading · 2025
Đội Fullstack của HRT xây bộ web app nội bộ "Ops GUIs" cho đội Run The Day và các đội khác theo dõi, phản ứng với trạng thái giao dịch trong ngày: trạng thái process, reject từ sàn, kết quả health check, cập nhật dưới…
- How Instacart Uses Embeddings to Improve Search Relevance Bài tóm tắt · Instacart · 2022
2022: catalog hơn 1 tỉ sản phẩm từ hơn 900 nhà bán lẻ. Query lệch mạnh: dưới 1.000 query phổ biến chiếm hơn 50% traffic, còn lại là đuôi dài từ rất cụ thể tới rất rộng. Với query phổ biến hoặc cụ thể có thể dựa vào…
- From Local to Global: Building Seamless B2C Product Integration at Mercari Bài tóm tắt · Mercari · 2025
Sản phẩm của các shop B2C Nhật (Mercari Shops) phải xuất hiện gần real-time trên Global Foundation. Hai thế giới khác data model: C2C một món một listing; B2C một sản phẩm có nhiều biến thể (cỡ, màu), mỗi biến thể tồn…
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
Log của ứng dụng lõi Salesforce trong các data center phục vụ nhiều nhóm (Product Intelligence, Security, điều tra sự cố), nên phải tới "Secure Zone" gần như đầy đủ. Pipeline cũ (agent tự viết + LFTP + SAN) ngày càng…
- Executing Cron Scripts Reliably At Scale Bài tóm tắt · Slack · 2023
Cron chạy chức năng then chốt: nhắc việc đúng giờ, gửi email, dọn DB. Ban đầu là một máy chứa mọi script và một crontab; số script và dữ liệu tăng thì đổi máy to hơn. Một máy nên lỗi cấp phát, xoay vòng hay cấu hình là…
- From Monitoring to Observability: Our Ultra-Marathon to a Cloud-Native Platform Bài tóm tắt · Uber · 2026
Hệ giám sát cũ là một khối thương mại: chắc chắn nhưng chậm, khó mở rộng, phí license định kỳ.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Box Công ty Thành viên
Dịch vụ lưu trữ và chia sẻ file cho doanh nghiệp; nguồn duy nhất trong wiki là bài 11/2018 về hạ tầng analytics. Box coi S3 là nguồn sự thật cho dữ liệu analytics, nên tính nhất quán cuối của list() (lúc đó) biến thành…
- Open sourcing kubenetmon: how we monitor data transfer in ClickHouse Cloud Bài tóm tắt · ClickHouse · 2025
…môi trường ít tải lô không được flush đúng hạn. Đặt insert deduplication token ngẫu nhiên để hai lô trùng hệt nhau không bị ClickHouse coi là trùng lặp. Kết quả (theo ClickHouse)…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…chỉ giữ metadata cần thiết, xoá bản ghi ngay sau khi join, dedupe đầu vào. Thông lượng đến từ nhiều cải tiến nhỏ (dùng lại object, payload có kiểu, cache cấu hình, bớt serialize),…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…tic); bỏ chúng giảm khoảng 120 ms không hồi quy conversion. Dedupe chuỗi cửa hàng sớm hơn. Gom item theo sản phẩm bằng embedding mức sản phẩm: số lượt tra dữ liệu giảm hơn 100 lần,…