Tìm kiếm
40 kết quả cho “Stream processing log”. Tìm không phân biệt dấu.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…nhị phân dùng chung cho bộ nhớ, đĩa và mạng (zero-copy). - Stream processing: job batch chạy hằng ngày thường chỉ là tính toán liên tục với cửa sổ một ngày; khi dữ liệu có sẵn dạn…
- How we seamlessly migrated high volume real-time streaming traffic with zero data loss and duplication Bài tóm tắt · Grab · 2024
…ce riêng để scale độc lập . - Bài kể việc chuyển phần xử lý stream (ghi) sang service mới: trung bình 20.000 lượt đọc/giây từ 16 Kafka stream , ghi ra các stream khác và nhiều bảng…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
….com/us/en/blog/high-throughput-processing/) Bối cảnh - Gulfstream , nền tảng thanh toán lõi của Uber: kế toán bút toán kép, tuân thủ SOX, kiến trúc theo job/transaction, hàng triệ…
- Lessons from Building Observability Tools at Netflix Bài tóm tắt · Netflix · 2018
…chậm. Ngoài việc giảm thời gian giữ, họ chuyển sang Mantis (stream processing realtime): log chảy trong bộ nhớ, chỉ giữ dòng khớp tiêu chí kiểu SQL, người dùng tuỳ chọn biến đổi và…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…Grab dùng (). Bối cảnh - Thế hệ trước là Keystone (pipeline stream) phục vụ tốt nhiều nhu cầu, nhưng có những use case mới chưa phủ. Năm trước (2021), Data Mesh được giới thiệu như…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…ới jp-JA online); lineage ETL mong manh (thiếu partition, upstream đổi); một số feature quan trọng trễ nhiều ngày từ production tới dữ liệu train; developer mất hàng tuần để lần ra…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…rrow bắt đầu từ Hack Week 2020: làm lại pipeline theo hướng streaming-first . - Streaming Event Aggregator gom event từ service đẩy vào message queue (Kafka hoặc Google Pub/Sub); S…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…event từ Kafka, viết bằng Samza SQL để giới hạn ở lọc, join stream-table (thuộc tính lấy từ Venice), projection, nên processor luôn nhẹ. Kết quả qua Kafka vào Pinot , giữ 96 giờ ,…
- Zero Sum by Design: 10 Years of Uber's Payments Platform Bài tóm tắt · Uber · 2026
…ber.com/us/en/blog/ubers-payments-platform/) Bối cảnh - Gulfstream bắt đầu năm 2016 trong một phòng họp, với một nhóm nhỏ dựng bộ microservice nền; mười năm sau nhiều service đó vẫ…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…đổi (vòng đời chuyến, trạng thái đơn, thuộc tính thiết bị), stream có tỉ lệ update cao, và cần xử lý tăng dần thay vì tính lại cả bảng. Uber tự làm Hudi (sau thành dự án Apache): đ…
- Automatic Apache Kafka Migrations With Orbit Bài tóm tắt · WarpStream · 2026
…6 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://www.warpstream.com/blog/orbit-kafka-auto-migration) Bài của nhà cung cấp, giới thiệu tính năng sản phẩm (Orbit Auto Migration).…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…g có updated at : dòng có ở snapshot mà thiếu hoặc cũ hơn ở stream thì upsert, dòng cũ chỉ có ở stream thì xoá, kèm ghi nhận bất thường. - Đo: lag từ CreateTime của bản ghi Kafka t…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…bất biến được đưa song song vào hệ batch (MapReduce) và hệ stream (Storm); logic biến đổi viết hai lần , kết quả hai bên ghép lại lúc truy vấn. - Theo Kreps, điểm hay: giữ nguyên…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
…atch tính lại lịch sử theo định nghĩa mới. 2. Song song vẫn stream sự kiện mới theo định nghĩa cũ. 3. Đồng thời đệm sự kiện mới trong RAM của ứng dụng Flink. 4. Xong batch thì vá s…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Samza Aeon: Latency Insights for Asynchronous One-Way Flows Bài tóm tắt · LinkedIn · 2018
…cho gần mọi hành động, nên đo luồng bất đồng bộ chỉ cần một stream join chứ không cần sửa code các hệ trong luồng. Bài học cho SWE - Với luồng một chiều, latency đầu-cuối là một st…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…ần cứng tăng nhanh. - Nhiều consumer cần xử lý trễ (nguồn upstream chưa sẵn sàng khi event tới) và tự viết retry hay cơ chế delay riêng. - Cần cô lập : message non-production không…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…đời cho Espresso) lo quản lý cụm và được dùng cho storage, stream processing, search, analytics. - Voldemort Read-Only là nơi phục vụ dữ liệu dẫn xuất: Hadoop tính dataset (ví dụ…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…hướng này rõ hơn. - Đường truyền thống: Kafka → Flink/Spark Streaming → bảng → object storage . Vẫn đúng khi cần làm sạch phức tạp, tổng hợp theo cửa sổ, join nhiều stream. Nhưng n…
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…dịch/ngày, 2,8 triệu người đồng thời, hàng tỉ sự kiện clickstream/ngày. - OLTP là AWS Aurora , không hợp truy vấn tổng hợp; warehouse là Redshift , nạp bằng ETL mỗi giờ , nên khôn…
- Yahoo Công ty Thành viên
Yahoo tạo BookKeeper năm 2009 làm WAL cho HDFS: một kho log tuần tự nhân bản theo quorum trên phần cứng phổ thông, metadata trong ZooKeeper. Đến 2015 nó là lớp lưu bền cho Cloud Messaging Service đa tenant (hơn 60 ứng…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- Designing AI-Driven User Memory for Personalization Bài tóm tắt · Zillow · 2025
…hạn có tốc độ đổi khác nhau nên hợp với hai đường batch và streaming (); gộp lại thành một "bộ nhớ" phục vụ nhiều bề mặt cá nhân hoá (). Bài học cho SWE - Chọn độ trễ xử lý theo t…