Tìm kiếm
15 kết quả cho “Apache Spark”. Tìm không phân biệt dấu.
- Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day Bài tóm tắt · Salesforce · 2026
…: Trung bình — [bài gốc](https://engineering.salesforce.com/apache-spark-resource-optimization-lessons-from-eight-million-jobs-a-day/) Có nhắc một "agentic profiling skill" sinh SQ…
- Introducing Flint: A Time-Series Library for Apache Spark Bài tóm tắt · Two Sigma · 2018
…ma.com/articles/introducing-flint-a-time-series-library-for-apache-spark/) Bối cảnh - Dữ liệu tăng tới mức giải pháp một máy không còn đủ; Spark đã thành chuẩn cho big data, nhưng…
- Scaling up your microservice testing with Apache Spark Bài tóm tắt · Stripe · 2026
…[bài gốc](https://stripe.dev/blog/microservice-testing-with-apache-spark) Phần 1 (vì sao replay); phần 2 (cách dựng harness): . Bài mô tả pattern, không nêu số liệu vận hành. Bối c…
- Scaling up your microservice testing with Apache Spark, Part 2 Bài tóm tắt · Stripe · 2026
…[bài gốc](https://stripe.dev/blog/microservice-testing-with-apache-spark-part-2) Phần 2; phần 1 (vì sao replay): . Bối cảnh - Câu hỏi của phần này: dựng harness replay thế nào mà k…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…https://medium.engineering/mediums-dynamodb-data-source-for-apache-spark-62c6599a6dfd) Bài rất ngắn, công bố một thư viện mã nguồn mở. Đọc qua trình duyệt (Medium chặn crawler); gh…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…ình — [bài gốc](https://engineering.grab.com/our-journey-to-apache-iceberg-adoption) Bối cảnh - Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thờ…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…n · Độ khó: Khó — [bài gốc](https://www.uber.com/us/en/blog/apache-hudi-at-uber/) Bối cảnh - Khoảng 2015, data lake chuẩn của ngành là file, chỉ append, batch. Workload quan trọng…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…ing-streaming-computation-engines-at) Bối cảnh - Yahoo dùng Apache Storm cho streaming từ 2012 (thay S4 tự làm); cuối 2015 có khoảng 2.300 node Storm . Thị trường đã có Flink, Spar…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…n HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Onehouse, đưa upsert xuống khoảng 10 phút và độ tươi đầu-cuối từ 24 giờ xuống một giờ, vì xử lý t…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…bỏ pipeline ID đắt tiền chạy trên AWS; - ingest batch bằng Apache Beam (Dataflow) ; ID thống nhất giúp khử trùng ảnh cùng URL hay từ nhiều đối tác; ảnh ở GCS sau CDN; - thống nhất…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
Team Data Science and Engineering (DSE) chạy nhiều ETL; trước đó mỗi job là một service tự lên lịch riêng. Gặp Airflow năm 2016.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…