Tìm kiếm
40 kết quả cho “Stream processing”. Tìm không phân biệt dấu.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- How we seamlessly migrated high volume real-time streaming traffic with zero data loss and duplication Bài tóm tắt · Grab · 2024
…ce riêng để scale độc lập . - Bài kể việc chuyển phần xử lý stream (ghi) sang service mới: trung bình 20.000 lượt đọc/giây từ 16 Kafka stream , ghi ra các stream khác và nhiều bảng…
- Ensuring High Availability of Ads Realtime Streaming Services Bài tóm tắt · Pinterest · 2021
…rest-engineering/ensuring-high-availability-of-ads-realtime-streaming-services-ea3889420490) Bối cảnh - Mảng quảng cáo của Pinterest tăng nhiều lần trong vài năm. Luồng thời gian t…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…ng · Độ khó: Cơ bản — [bài gốc](https://www.zillow.com/news/streaming-data-architecture/) Bài ngắn, mô tả hướng đi lúc bắt đầu chuyển; không có số liệu. Bối cảnh - Team data scienc…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…(https://yahooeng.tumblr.com/post/135321837876/benchmarking-streaming-computation-engines-at) Bối cảnh - Yahoo dùng Apache Storm cho streaming từ 2012 (thay S4 tự làm); cuối 2015 c…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…PU broker giảm 30–40%. - Tiêu thụ bằng Flink ở hai mức: DataStream API (clone template, cấu hình bằng Terraform, mỗi job một cụm standalone trên Kubernetes qua Helm để cô lập lỗi v…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
….com/us/en/blog/high-throughput-processing/) Bối cảnh - Gulfstream , nền tảng thanh toán lõi của Uber: kế toán bút toán kép, tuân thủ SOX, kiến trúc theo job/transaction, hàng triệ…
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
Zillow xử lý hơn 3 triệu ảnh mới mỗi ngày (2015): ảnh listing, ảnh hồ sơ, ảnh Zillow Digs; một phần upload tay, phần lớn đến theo feed hàng loạt từ hàng trăm nguồn, dồn cục trong ngày.
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
…B/s. - Hai giới hạn: - không chia partition gọn theo cả hai stream được, nên mỗi pod phải đọc toàn bộ interaction event; - không có checkpoint , nên mỗi lần deploy hay rescale mất…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…nhị phân dùng chung cho bộ nhớ, đĩa và mạng (zero-copy). - Stream processing: job batch chạy hằng ngày thường chỉ là tính toán liên tục với cửa sổ một ngày; khi dữ liệu có sẵn dạn…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…Grab dùng (). Bối cảnh - Thế hệ trước là Keystone (pipeline stream) phục vụ tốt nhiều nhu cầu, nhưng có những use case mới chưa phủ. Năm trước (2021), Data Mesh được giới thiệu như…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…đổi (vòng đời chuyến, trạng thái đơn, thuộc tính thiết bị), stream có tỉ lệ update cao, và cần xử lý tăng dần thay vì tính lại cả bảng. Uber tự làm Hudi (sau thành dự án Apache): đ…
- Lessons from Building Observability Tools at Netflix Bài tóm tắt · Netflix · 2018
…chậm. Ngoài việc giảm thời gian giữ, họ chuyển sang Mantis (stream processing realtime): log chảy trong bộ nhớ, chỉ giữ dòng khớp tiêu chí kiểu SQL, người dùng tuỳ chọn biến đổi và…
- Automatic Apache Kafka Migrations With Orbit Bài tóm tắt · WarpStream · 2026
…6 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://www.warpstream.com/blog/orbit-kafka-auto-migration) Bài của nhà cung cấp, giới thiệu tính năng sản phẩm (Orbit Auto Migration).…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
…atch tính lại lịch sử theo định nghĩa mới. 2. Song song vẫn stream sự kiện mới theo định nghĩa cũ. 3. Đồng thời đệm sự kiện mới trong RAM của ứng dụng Flink. 4. Xong batch thì vá s…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…rrow bắt đầu từ Hack Week 2020: làm lại pipeline theo hướng streaming-first . - Streaming Event Aggregator gom event từ service đẩy vào message queue (Kafka hoặc Google Pub/Sub); S…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…bất biến được đưa song song vào hệ batch (MapReduce) và hệ stream (Storm); logic biến đổi viết hai lần , kết quả hai bên ghép lại lúc truy vấn. - Theo Kreps, điểm hay: giữ nguyên…
- Samza Aeon: Latency Insights for Asynchronous One-Way Flows Bài tóm tắt · LinkedIn · 2018
…cho gần mọi hành động, nên đo luồng bất đồng bộ chỉ cần một stream join chứ không cần sửa code các hệ trong luồng. Bài học cho SWE - Với luồng một chiều, latency đầu-cuối là một st…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…t availability do ứng dụng quản lý tồn kho phát ra. - Spark Streaming đọc Kafka, xử lý và upsert vào Cassandra : cần kho chịu lượng upsert lớn mà đọc vẫn nhanh. Theo Walmart, RDBMS…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…event từ Kafka, viết bằng Samza SQL để giới hạn ở lọc, join stream-table (thuộc tính lấy từ Venice), projection, nên processor luôn nhẹ. Kết quả qua Kafka vào Pinot , giữ 96 giờ ,…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…ới jp-JA online); lineage ETL mong manh (thiếu partition, upstream đổi); một số feature quan trọng trễ nhiều ngày từ production tới dữ liệu train; developer mất hàng tuần để lần ra…
- Finding Kafka's throughput limit in Dropbox infrastructure Bài tóm tắt · Dropbox · 2019
…Kafka ở Dropbox phục vụ analytics, ML, monitoring, search, stream processing (Cape); đội Jetstream vận hành và cần biết giới hạn throughput để cấp cluster. Thay đổi chính - Nền tả…
- Zero Sum by Design: 10 Years of Uber's Payments Platform Bài tóm tắt · Uber · 2026
…ber.com/us/en/blog/ubers-payments-platform/) Bối cảnh - Gulfstream bắt đầu năm 2016 trong một phòng họp, với một nhóm nhỏ dựng bộ microservice nền; mười năm sau nhiều service đó vẫ…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…ần cứng tăng nhanh. - Nhiều consumer cần xử lý trễ (nguồn upstream chưa sẵn sàng khi event tới) và tự viết retry hay cơ chế delay riêng. - Cần cô lập : message non-production không…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…đời cho Espresso) lo quản lý cụm và được dùng cho storage, stream processing, search, analytics. - Voldemort Read-Only là nơi phục vụ dữ liệu dẫn xuất: Hadoop tính dataset (ví dụ…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…hướng này rõ hơn. - Đường truyền thống: Kafka → Flink/Spark Streaming → bảng → object storage . Vẫn đúng khi cần làm sạch phức tạp, tổng hợp theo cửa sổ, join nhiều stream. Nhưng n…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…g có updated at : dòng có ở snapshot mà thiếu hoặc cũ hơn ở stream thì upsert, dòng cũ chỉ có ở stream thì xoá, kèm ghi nhận bất thường. - Đo: lag từ CreateTime của bản ghi Kafka t…