Tìm kiếm
37 kết quả cho “Real-time analytics”. Tìm không phân biệt dấu.
- Real-time Analytics at Massive Scale with Pinot Bài tóm tắt · LinkedIn · 2014
…bình — [bài gốc](https://engineering.linkedin.com/analytics/real-time-analytics-massive-scale-pinot) Bối cảnh - Khoảng 2012, các sản phẩm phân tích chạy trên Oracle và Voldemort, k…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
…ng bình — [bài gốc](https://stripe.dev/blog/how-we-built-it-real-time-analytics-for-stripe-billing) Bài vừa kỹ thuật vừa giới thiệu tính năng; ít số liệu quy mô. Bối cảnh - Dashboa…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…gốc](https://blog.dream11engineering.com/building-scalable-real-time-analytics-alerting-and-anomaly-detection-architecture-at-dream11-e20edec91d33) Site chặn crawler; wiki đọc toà…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- How PayPal Uses Real-time Graph Database and Graph Analysis to Fight Fraud Bài tóm tắt · PayPal · 2021
…— [bài gốc](https://medium.com/paypal-tech/how-paypal-uses-real-time-graph-database-and-graph-analysis-to-fight-fraud-96a2b918619a) Bài nói mô hình dữ liệu đồ thị trong ví dụ khôn…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…chnology.doximity.com/articles/from-batch-snapshots-to-near-real-time-data) Bối cảnh - Doximity đã có pipeline batch chép định kỳ snapshot của DB ứng dụng vào warehouse (Snowflake)…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…— [bài gốc](https://www.alibabacloud.com/blog/in-the-ai-era-real-time-data-lake-ingestion-is-saying-goodbye-to-etl-architectural-subtraction-from-kafka-to-iceberg 603582) Bài của t…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying) Bài luận dài của Jay Kreps (khi đó ở LinkedIn). Phần lớn là lý thuyết về log; trang này tóm ph…
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
Hệ tracing dựa trên OpenTelemetry theo request từ app của member xuống mọi service. Lấy mẫu đầu 1% mà vẫn sinh khoảng 0,8 nghìn tỉ span và 200 TB chưa nén mỗi ngày.
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
Bài toán không chỉ là chuyển nhiều dữ liệu, mà là số loại hệ nguồn và đích tăng nhanh (Espresso, Oracle, MySQL, Kafka, Azure Event Hubs, Kinesis).
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…ch.instacart.com/how-instacart-modernized-the-prediction-of-real-time-availability-for-hundreds-of-millions-of-items-59b2a82c89fe) Phần 2 trong series ba phần; phần 3 (kiến trúc ph…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
Năm 2024 DWH có 19 nguồn nạp theo giờ hoặc theo ngày; mỗi ngày ghi khoảng 6 tỉ dòng, 50 TB chưa nén; đang lưu 470 TB đã nén của hai năm, tăng 23% trong 30 ngày; khoảng 70 user chạy SELECT mỗi tuần (2023: 13 TB nén, 10…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…ưới một phút, ví dụ cân bằng surge pricing, nối với Kafka); real-time (món phổ biến gần bạn trên Uber Eats, tươi nhanh, tới khoảng 2.000 QPS qua RPC); interactive (báo cáo ngày cho…
- Instacart's Item Availability Architecture: Solving for scale and consistency Bài tóm tắt · Instacart · 2023
…ết từ bản đọc qua trình duyệt. Bối cảnh - Điểm availability real-time từ phần 2 phải phục vụ ba nhu cầu: lấy qua RPC của team ML; lọc hàng loạt ở bước retrieval của search (RPC quá…
- PayPal Công ty Thành viên
Nguồn đầu tiên của PayPal trong wiki là về tổ chức: các team sản phẩm tự chủ cao, không có cơ quan trung tâm quy định quy trình. Từ cuối 2019 một nhóm tình nguyện liên phòng ban định nghĩa thế nào là sự cố, mức nghiêm…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…e/) Bài quan điểm của Jay Kreps (lúc đó dẫn hạ tầng dữ liệu real-time ở LinkedIn, đồng tác giả Kafka), đăng trên O'Reilly chứ không trên blog LinkedIn. Đây là bài đặt tên "Kappa ar…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
ClickHouse Cloud ra private preview 5/2022. Lúc đầu VP Product phân tích workload khách hàng bằng Excel, tra cứu tay mỗi ngày. Từ đó có DWH nội bộ đầu tiên.
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…](https://doordash.engineering/2022/08/02/building-scalable-real-time-event-processing-with-kafka-and-flink/) Bối cảnh - Event từ service và thiết bị phải tới warehouse OLAP (Snowf…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
Gần 20 team dữ liệu của Doximity dùng Airflow điều phối hơn 900 DAG đang chạy, hàng chục lần cập nhật mỗi ngày (2025). Airflow chạy trên EC2 bằng Docker Compose, dự định chuyển sang EKS.
- Migrating Doximity's iOS Newsfeed to SwiftUI Without Disrupting Users or Development Bài tóm tắt · Doximity · 2026
Newsfeed là màn hình được dùng nhiều nhất của app iOS. Feed là server-driven: server chọn card, section trong mỗi card và thứ tự; app sở hữu cách vẽ và hành vi của từng loại section đã biết.
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
Thế hệ trước là Keystone (pipeline stream) phục vụ tốt nhiều nhu cầu, nhưng có những use case mới chưa phủ. Năm trước (2021), Data Mesh được giới thiệu như một sản phẩm pipeline stream được quản lý hoàn toàn cho CDC của…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…ghi vào dataset nào thì metadata HMS phải sang dataset kia. Real-Time Synchronizer : app Flink nghe cập nhật HMS, kích một trong 10 pipeline Piper chờ sẵn (chọn ngẫu nhiên) để đồng…
- Instacart Công ty Thành viên
Năm 2020, để bật mã hoá at-rest cho RDS Postgres vài TB mà không downtime nhiều giờ, Instacart dựng replica logic từ snapshot (đẩy vị trí replication khớp LSN của snapshot) thay vì copy toàn bộ; cách này về sau dùng cho…
- Distributed tracing at Pinterest with new open source tools Bài tóm tắt · Pinterest · 2017
Backend Pinterest (2017): hàng trăm microservice trên hàng chục nghìn máy; một request home feed có thể gọi mạng hàng trăm lần tới hàng chục service. Metric (OpenTSDB) và log (ELK) cho biết request chậm, không cho biết…
- Salesforce Công ty Thành viên
Cloud Atlas là kho dữ liệu định danh toàn cầu phía sau phần lớn việc xác thực của Salesforce, mục tiêu five nines. Năm 2026 họ bỏ rate limit theo từng instance (sai khi autoscale, không thấy tổng tải của khách) và tránh…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…-only nhưng bảng tổng hợp tăng dần thành dữ liệu thay đổi), real-time bằng Flink (500 bảng, độ tươi dưới 15 phút; tối ưu file chạy bất đồng bộ qua Table Services Platform để không…