Tìm kiếm
14 kết quả cho “Dataflow”. Tìm không phân biệt dấu.
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…để thêm tính năng và độ ổn định. Thay đổi chính - Chuỗi job Dataflow (Apache Beam): chụp snapshot ảnh, snapshot tag, lấy chỗ ở có ảnh đổi, dựng gallery, snapshot gallery, kiểm tra…
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
…au) → tự sinh tóm tắt và biểu đồ cho cả công ty. - Công cụ: Dataflow (Beam do Google quản lý) cho việc cần song song lớn; job Python đóng Docker chạy trên Kubernetes cho việc nhỏ.…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…ID đắt tiền chạy trên AWS; - ingest batch bằng Apache Beam (Dataflow) ; ID thống nhất giúp khử trùng ảnh cùng URL hay từ nhiều đối tác; ảnh ở GCS sau CDN; - thống nhất schema topic…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…ub); Streaming Event Processor chạy Apache Beam trên Google Dataflow đọc queue, biến đổi/đổi định dạng rồi ghi liên tục vào BigQuery và Cloud Storage. - Pipeline phải phục vụ cả st…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Scaling data access by moving an exabyte of data to Google Cloud Bài tóm tắt · Twitter · 2022
…loud để chuyển một phần hạ tầng dữ liệu sang GCP (BigQuery, Dataflow, Data Studio). - Dữ liệu cũ chủ yếu trên HDFS on-prem, định dạng Thrift , xử lý bằng job Scalding (map-reduce).…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…được mất dòng nào . Thay đổi chính - Loại các công cụ GCP (Dataflow, BigQuery Data Transfer Service, Datastream CDC) vì đều cần kết nối tới Postgres. - Loại outbox + Debezium + Ka…
- Spotify Công ty Thành viên
Hai nguồn của Spotify trong wiki đều về nền tảng nội bộ Backstage. Năm 2021, khi team hạ tầng giữ cluster Kubernetes ở nhiều region và team tính năng chỉ deploy lên, Spotify viết plugin Kubernetes cho Backstage để người…
- trivago Công ty Thành viên
Service PSE-kafka đẩy giá khách sạn sang dịch vụ Ads bị consumer lag kéo dài (19 sự cố P1) dù CPU chỉ 10%. Năm 2026 một đợt điều tra tìm ra ba nút thắt cùng lúc (consumer tự viết từ 2019, độ trễ cố ý trong RAM, pool…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…orm . Thị trường đã có Flink, Spark Streaming, Samza, Apex, Dataflow, và các benchmark có sẵn không giống tải thật. - Team Storm của Yahoo tự viết benchmark (mã nguồn mở) để biết S…