Tìm kiếm
6 kết quả cho “Apache Beam”. Tìm không phân biệt dấu.
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
…át cắt cross-validation × tổ hợp tham số (lúc đầu gọi thẳng Apache Beam, sau gói thành thư viện nội bộ) → chọn top model theo sai số có trọng số, kiểm trên holdout → chạy model tốt…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…nh năng và độ ổn định. Thay đổi chính - Chuỗi job Dataflow (Apache Beam): chụp snapshot ảnh, snapshot tag, lấy chỗ ở có ảnh đổi, dựng gallery, snapshot gallery, kiểm tra , rồi stre…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…bỏ pipeline ID đắt tiền chạy trên AWS; - ingest batch bằng Apache Beam (Dataflow) ; ID thống nhất giúp khử trùng ảnh cùng URL hay từ nhiều đối tác; ảnh ở GCS sau CDN; - thống nhất…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…(Kafka hoặc Google Pub/Sub); Streaming Event Processor chạy Apache Beam trên Google Dataflow đọc queue, biến đổi/đổi định dạng rồi ghi liên tục vào BigQuery và Cloud Storage. - Pip…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…