Tìm kiếm
40 kết quả cho “Streaming”. Tìm không phân biệt dấu.
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…(https://yahooeng.tumblr.com/post/135321837876/benchmarking-streaming-computation-engines-at) Bối cảnh - Yahoo dùng Apache Storm cho streaming từ 2012 (thay S4 tự làm); cuối 2015 c…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ình — [bài gốc](https://www.zillow.com/tech/building-a-data-streaming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Data Sci…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…hi nhỏ tạo một file dữ liệu mới và cập nhật metadata. - Với streaming (nhiều lần chèn nhỏ, liên tục), đó là "small files problem" : 1.000 lần chèn mỗi giây là 1.000 file nhỏ; query…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…rộng bằng cách viết consumer/producer mới. Hai nhóm dùng: - Streaming bridge: giữa cloud (Kinesis, Azure), giữa cụm, giữa data center; có thể áp chính sách toàn công ty tại một chỗ…
- Ensuring High Availability of Ads Realtime Streaming Services Bài tóm tắt · Pinterest · 2021
…rest-engineering/ensuring-high-availability-of-ads-realtime-streaming-services-ea3889420490) Bối cảnh - Mảng quảng cáo của Pinterest tăng nhiều lần trong vài năm. Luồng thời gian t…
- Remote Read Meets Streaming Bài tóm tắt · Prometheus · 2019
…ốc](https://prometheus.io/blog/2019/10/10/remote-read-meets-streaming/) Bài của dự án mã nguồn mở (tác giả là maintainer của Prometheus và Thanos), giải thích một thay đổi giao thứ…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…ng · Độ khó: Cơ bản — [bài gốc](https://www.zillow.com/news/streaming-data-architecture/) Bài ngắn, mô tả hướng đi lúc bắt đầu chuyển; không có số liệu. Bối cảnh - Team data scienc…
- How we seamlessly migrated high volume real-time streaming traffic with zero data loss and duplication Bài tóm tắt · Grab · 2024
Grab tách phần đọc và phần ghi của một backend service thành hai service riêng để scale độc lập.
- Kubernetes 1.31: Streaming Transitions from SPDY to WebSockets Bài tóm tắt · Kubernetes (CNCF) · 2024
…ach , cp , port-forward ) được nâng cấp từ HTTP lên kết nối streaming hai chiều. Từ đầu, Kubernetes dùng SPDY/3.1 cho việc này. - SPDY đã bị bỏ khoảng 8 năm và chưa từng được chuẩn…
- Keeping Customers Streaming — The Centralized Site Reliability Practice at Netflix Bài tóm tắt · Netflix · 2020
…ễ — [bài gốc](https://netflixtechblog.com/keeping-customers-streaming-the-centralized-site-reliability-practice-at-netflix-205cc37aa9fb) Bối cảnh - Netflix theo mô hình service own…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…ãnh đạo đầu tư Kafka; phần về Zillow là quyết định lập team Streaming Platform. Các so sánh Kinesis/Kafka ghi theo tác giả. Bối cảnh - Zillow chạy trên AWS và dùng SQS, SNS, Kinesi…
- How Discord Reduced Websocket Traffic by 40% Bài tóm tắt · Discord · 2024
…hoảng 250 byte với zlib, hơn 750 byte với zstd) vì zlib nén streaming (giữ ngữ cảnh suốt kết nối) còn zstd nén từng message nhỏ. Fork thư viện ezstd thêm streaming (đóng góp ngược…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…rrow bắt đầu từ Hack Week 2020: làm lại pipeline theo hướng streaming-first . - Streaming Event Aggregator gom event từ service đẩy vào message queue (Kafka hoặc Google Pub/Sub); S…
- How Zillow Tests Clickstream Analytics Bài tóm tắt · Zillow · 2020
…i event cho cả nhà cung cấp analytics lẫn bản test của Data Streaming Platform ; DSP ghi vào topic Kafka (và Kafka Connect lưu S3), nên event đọc được ngay. - Test chức năng: Selen…
- Distributed tracing at Pinterest with new open source tools Bài tóm tắt · Pinterest · 2017
…iữ trace giá trị cao. Họ viết Pintrace collector bằng Spark Streaming: kiểm chất lượng span → lọc → gộp theo trace ID hoặc theo cửa sổ thời gian → lưu Elasticsearch, xem bằng Zipki…
- AI Agent Observability: Making Silent Production Failures Visible and Actionable Bài tóm tắt · Salesforce · 2026
…người quản trị nhận alert. Chuyển ingest của Data 360 sang streaming và đơn giản hoá query để đánh giá alert thường hơn; còn vài phút . Mục tiêu điều tra: dưới 120 giây từ lúc bấm…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…schema không tương thích. - Vào warehouse hai bước : Flink StreamingFileSink ghi Parquet lên S3 (exactly-once theo checkpoint, phân thư mục để batch đọc nhanh, backfill được khi K…
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…tốt hơn. - Nền tảng mới: là use case đầu tiên của pipeline streaming realtime và bộ công cụ MLOps Griffin (có feature store) của Instacart. - API nhiều phiên bản điểm: query chỉ đ…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…runbook. - Hướng tiếp: IngestionNext chuyển ingest batch → streaming, ghi checkpoint ID của Flink vào commit metadata để phục hồi tất định không trùng dữ liệu, merge theo row grou…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…t availability do ứng dụng quản lý tồn kho phát ra. - Spark Streaming đọc Kafka, xử lý và upsert vào Cassandra : cần kho chịu lượng upsert lớn mà đọc vẫn nhanh. Theo Walmart, RDBMS…
- Redesigning DuckDB's Sort, Again Bài tóm tắt · DuckDB Labs · 2025
Thiết kế 2021 () chạy tốt, nhưng từ đó hash join và hash aggregation cũng được làm cho chạy vượt RAM bằng một layout trang tràn đĩa (spillable) mới tốt hơn. Sort còn dùng cách cũ, nên bốn năm sau họ viết lại sort trên…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
2020, Litestream: chạy cạnh ứng dụng SQLite mà ứng dụng không cần biết; giữ một transaction đọc dài để chặn checkpoint WAL, dựng "shadow WAL" và đẩy liên tục các trang WAL lên object storage tương thích S3. Mất server…
- HRTWorker: A SharedWorker Framework Bài tóm tắt · Hudson River Trading · 2025
Đội Fullstack của HRT xây bộ web app nội bộ "Ops GUIs" cho đội Run The Day và các đội khác theo dõi, phản ứng với trạng thái giao dịch trong ngày: trạng thái process, reject từ sàn, kết quả health check, cập nhật dưới…
- How We Rebuilt Our Log Storage and Search Infrastructure for Scale Bài tóm tắt · Railway · 2022
Đầu 2022, hơn 500.000 deployment trên Railway lấy log thẳng từ Docker: mỗi lần mở trang log, request đi tới hạ tầng deployment, đọc log từ Docker rồi trả về frontend, bằng polling mỗi 2 giây.
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
Dashboard của Stripe Billing hiển thị MRR, churn, tỉ lệ chuyển đổi trial... Hệ cũ chạy batch, trễ trung bình 24 giờ: trạng thái hiện tại của một subscription được tính lại bằng cách phân tích toàn bộ lịch sử của nó từ…
- Scaling Exact COUNT(DISTINCT) for High-Cardinality Non-Rollup Metrics Bài tóm tắt · Uber · 2026
Một lớp metric (user hoạt động theo tháng, giữ chân theo quý) phải tính chính xác và là non-rollup: không ghép được từ số theo ngày (một user hoạt động thứ Hai và thứ Tư chỉ tính một lần trong tuần). Theo quý, phải giữ…
- Migrating HotPads to an Isomorphic Stack with React Bài tóm tắt · Zillow · 2016
HotPads (thương hiệu thuê nhà của Zillow Group): sau 10 năm, front-end là JSP + jQuery + RequireJS + CSS toàn cục, dính chặt vào back-end monolith. Dev front-end mới phải học cả codebase lớn; mỗi nội dung động qua AJAX…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.