Tìm kiếm
40 kết quả cho “streaming”. Tìm không phân biệt dấu.
- Streaming output for language models Bài tóm tắt · Replicate · 2023
…trưởng · Độ khó: Dễ — [bài gốc](https://replicate.com/blog/streaming) Replicate là nền tảng chạy model qua API; số đo và nhận định về sản phẩm là "theo Replicate" (họ tự đo). Bối…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…(https://yahooeng.tumblr.com/post/135321837876/benchmarking-streaming-computation-engines-at) Bối cảnh - Yahoo dùng Apache Storm cho streaming từ 2012 (thay S4 tự làm); cuối 2015 c…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ình — [bài gốc](https://www.zillow.com/tech/building-a-data-streaming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Data Sci…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…hi nhỏ tạo một file dữ liệu mới và cập nhật metadata. - Với streaming (nhiều lần chèn nhỏ, liên tục), đó là "small files problem" : 1.000 lần chèn mỗi giây là 1.000 file nhỏ; query…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…rộng bằng cách viết consumer/producer mới. Hai nhóm dùng: - Streaming bridge: giữa cloud (Kinesis, Azure), giữa cluster, giữa data center; có thể áp chính sách toàn công ty tại một…
- Ensuring High Availability of Ads Realtime Streaming Services Bài tóm tắt · Pinterest · 2021
…rest-engineering/ensuring-high-availability-of-ads-realtime-streaming-services-ea3889420490) Bối cảnh - Mảng quảng cáo của Pinterest tăng nhiều lần trong vài năm. Luồng thời gian t…
- Remote Read Meets Streaming Bài tóm tắt · Prometheus · 2019
…ốc](https://prometheus.io/blog/2019/10/10/remote-read-meets-streaming/) Bài của dự án mã nguồn mở (tác giả là maintainer của Prometheus và Thanos), giải thích một thay đổi giao thứ…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…ng · Độ khó: Cơ bản — [bài gốc](https://www.zillow.com/news/streaming-data-architecture/) Bài ngắn, mô tả hướng đi lúc bắt đầu chuyển; không có số liệu. Bối cảnh - Team data scienc…
- How we seamlessly migrated high volume real-time streaming traffic with zero data loss and duplication Bài tóm tắt · Grab · 2024
Grab tách phần đọc và phần ghi của một backend service thành hai service riêng để scale độc lập.
- Kubernetes 1.31: Streaming Transitions from SPDY to WebSockets Bài tóm tắt · Kubernetes (CNCF) · 2024
…ach , cp , port-forward ) được nâng cấp từ HTTP lên kết nối streaming hai chiều. Từ đầu, Kubernetes dùng SPDY/3.1 cho việc này. - SPDY đã bị bỏ khoảng 8 năm và chưa từng được chuẩn…
- Keeping Customers Streaming — The Centralized Site Reliability Practice at Netflix Bài tóm tắt · Netflix · 2020
…ễ — [bài gốc](https://netflixtechblog.com/keeping-customers-streaming-the-centralized-site-reliability-practice-at-netflix-205cc37aa9fb) Bối cảnh - Netflix theo mô hình service own…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…ãnh đạo đầu tư Kafka; phần về Zillow là quyết định lập team Streaming Platform. Các so sánh Kinesis/Kafka ghi theo tác giả. Bối cảnh - Zillow chạy trên AWS và dùng SQS, SNS, Kinesi…
- How Discord Reduced Websocket Traffic by 40% Bài tóm tắt · Discord · 2024
…hoảng 250 byte với zlib, hơn 750 byte với zstd) vì zlib nén streaming (giữ ngữ cảnh suốt kết nối) còn zstd nén từng message nhỏ. Fork thư viện ezstd thêm streaming (đóng góp ngược…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…rrow bắt đầu từ Hack Week 2020: làm lại pipeline theo hướng streaming-first . - Streaming Event Aggregator gom event từ service đẩy vào message queue (Kafka hoặc Google Pub/Sub); S…
- How Zillow Tests Clickstream Analytics Bài tóm tắt · Zillow · 2020
…i event cho cả nhà cung cấp analytics lẫn bản test của Data Streaming Platform ; DSP ghi vào topic Kafka (và Kafka Connect lưu S3), nên event đọc được ngay. - Test chức năng: Selen…
- Distributed tracing at Pinterest with new open source tools Bài tóm tắt · Pinterest · 2017
…iữ trace giá trị cao. Họ viết Pintrace collector bằng Spark Streaming: kiểm chất lượng span → lọc → gộp theo trace ID hoặc theo cửa sổ thời gian → lưu Elasticsearch, xem bằng Zipki…
- AI Agent Observability: Making Silent Production Failures Visible and Actionable Bài tóm tắt · Salesforce · 2026
…người quản trị nhận alert. Chuyển ingest của Data 360 sang streaming và đơn giản hoá query để đánh giá alert thường hơn; còn vài phút . Mục tiêu điều tra: dưới 120 giây từ lúc bấm…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…schema không tương thích. - Vào warehouse hai bước : Flink StreamingFileSink ghi Parquet lên S3 (exactly-once theo checkpoint, phân thư mục để batch đọc nhanh, backfill được khi K…
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…tốt hơn. - Nền tảng mới: là use case đầu tiên của pipeline streaming realtime và bộ công cụ MLOps Griffin (có feature store) của Instacart. - API nhiều phiên bản điểm: query chỉ đ…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…runbook. - Hướng tiếp: IngestionNext chuyển ingest batch → streaming, ghi checkpoint ID của Flink vào commit metadata để phục hồi tất định không trùng dữ liệu, merge theo row grou…
- Next.js App Router Update Bài tóm tắt · Vercel · 2023
…ối cảnh - Theo Vercel, Pages Router không được thiết kế cho streaming, nên muốn dùng Server Components, Suspense thì phải đổi lõi kiến trúc. Bài viết ngày 22/6/2023, khoảng bảy tuầ…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…t availability do ứng dụng quản lý tồn kho phát ra. - Spark Streaming đọc Kafka, xử lý và upsert vào Cassandra : cần kho chịu lượng upsert lớn mà đọc vẫn nhanh. Theo Walmart, RDBMS…
- Redesigning DuckDB's Sort, Again Bài tóm tắt · DuckDB Labs · 2025
Thiết kế 2021 () chạy tốt, nhưng từ đó hash join và hash aggregation cũng được làm cho chạy vượt RAM bằng một layout trang tràn đĩa (spillable) mới tốt hơn. Sort còn dùng cách cũ, nên bốn năm sau họ viết lại sort trên…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
2020, Litestream: chạy cạnh ứng dụng SQLite mà ứng dụng không cần biết; giữ một transaction đọc dài để chặn checkpoint WAL, dựng "shadow WAL" và đẩy liên tục các trang WAL lên object storage tương thích S3. Mất server…
- HRTWorker: A SharedWorker Framework Bài tóm tắt · Hudson River Trading · 2025
Đội Fullstack của HRT xây bộ web app nội bộ "Ops GUIs" cho đội Run The Day và các đội khác theo dõi, phản ứng với trạng thái giao dịch trong ngày: trạng thái process, reject từ sàn, kết quả health check, cập nhật dưới…
- How We Rebuilt Our Log Storage and Search Infrastructure for Scale Bài tóm tắt · Railway · 2022
Đầu 2022, hơn 500.000 deployment trên Railway lấy log thẳng từ Docker: mỗi lần mở trang log, request đi tới hạ tầng deployment, đọc log từ Docker rồi trả về frontend, bằng polling mỗi 2 giây.
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
Dashboard của Stripe Billing hiển thị MRR, churn, tỉ lệ chuyển đổi trial... Hệ cũ chạy batch, trễ trung bình 24 giờ: trạng thái hiện tại của một subscription được tính lại bằng cách phân tích toàn bộ lịch sử của nó từ…
- Scaling Exact COUNT(DISTINCT) for High-Cardinality Non-Rollup Metrics Bài tóm tắt · Uber · 2026
Một lớp metric (user hoạt động theo tháng, giữ chân theo quý) phải tính chính xác và là non-rollup: không ghép được từ số theo ngày (một user hoạt động thứ Hai và thứ Tư chỉ tính một lần trong tuần). Theo quý, phải giữ…
- Next.js 12.2 Bài tóm tắt · Vercel · 2022
ISR theo yêu cầu (on-demand) ổn định: cập nhật trang tĩnh ngay khi dữ liệu ở CMS hay hệ thương mại đổi, không cần deploy lại và không phải chờ chu kỳ revalidate. Theo Vercel, khi chạy trên Vercel việc revalidate lan ra…
- Next.js 13 Bài tóm tắt · Vercel · 2022
Thư mục app/ (beta, chưa khuyên dùng production): hiện thực RFC layouts năm 2022: layout lồng nhau giữ state khi điều hướng, Server Components mặc định, stream từng phần UI kèm trạng thái loading. pages/ vẫn ổn định và…
- Migrating HotPads to an Isomorphic Stack with React Bài tóm tắt · Zillow · 2016
HotPads (thương hiệu thuê nhà của Zillow Group): sau 10 năm, front-end là JSP + jQuery + RequireJS + CSS toàn cục, dính chặt vào back-end monolith. Dev front-end mới phải học cả codebase lớn; mỗi nội dung động qua AJAX…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một data…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), synchronous call từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một network round-trip, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…