Tìm kiếm
40 kết quả cho “Analytics event”. Tìm không phân biệt dấu.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- How Zillow Tests Clickstream Analytics Bài tóm tắt · Zillow · 2020
…c](https://www.zillow.com/tech/how-zillow-tests-clickstream-analytics/) Bối cảnh - Event analytics (page view, sự kiện) do dev gắn vào trang, gửi Google Analytics, rồi được kéo từ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…nt. - Cấu hình Kafka mặc định thiên về nhất quán; với event analytics có thể đổi bớt độ bền lấy thông lượng, nhưng phải có chủ đích. - Kiểm tương thích schema ở CI biến lỗi runtime…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…/medium.com/@Pinterest Engineering/behind-the-pins-building-analytics-f7b508cdacab) Site chặn crawler; ghi chú viết từ bản đọc qua trình duyệt. Bối cảnh - 8/2014 Pinterest ra bản 2…
- Postgres as Your Platform: Building Event-Driven Systems with Schema Changes Bài tóm tắt · Neon · 2025
…ình gây ra. - So với : Allegro bỏ outbox + CDC cho pipeline analytics vì, theo Allegro, lỗi kết nối hay consumer gây mất hoặc trùng; ở đây outbox dùng cho automation nội bộ, nơi at…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
…[bài gốc](https://stripe.dev/blog/how-we-built-it-real-time-analytics-for-stripe-billing) Bài vừa kỹ thuật vừa giới thiệu tính năng; ít số liệu quy mô. Bối cảnh - Dashboard của Str…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…s://blog.dream11engineering.com/building-scalable-real-time-analytics-alerting-and-anomaly-detection-architecture-at-dream11-e20edec91d33) Site chặn crawler; wiki đọc toàn văn qua…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…g dẫn xuất và công cụ phân tích. Warehouse có vài trăm bảng analytics (2024). Thay đổi chính - Schema từ nguồn, bằng TypeScript: thay vì Protobuf/Avro/JSON Schema như thường lệ, dù…
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
Mảng quảng cáo (Sponsored Products) phải ghép mỗi lượt xem hoặc click với phiên đấu giá gốc trong cửa sổ 15 phút để tính tiền. Event đến sau 15 phút bị bỏ, nên tỷ lệ ghép là chỉ số sống còn.
- Building a strong foundation to accelerate StreetEasy's data science efforts Bài tóm tắt · Zillow · 2024
…dashboard certified cho khoảng 80% câu hỏi lặp lại; "80-20 analytics" (dùng proxy để trả lời nhanh phần lớn câu hỏi mới); đào tạo stakeholder biết SQL. Vì sao - Biến đổi một lần ở…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…m nghìn event mỗi giây và chuyển tới hàng trăm đích (Google Analytics, Salesforce, webhook của khách). Bất kỳ lúc nào cũng có vài chục đích đang hỏng: latency tăng 10 lần, 5xx, rat…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
Memgraph (graph database) chạy ở nhiều môi trường, từ máy dev tới production lớn. Cách làm đơn giản lúc đầu không còn đủ khi lượng, độ đa dạng và tầm quan trọng của telemetry tăng; họ cần nạp nhanh, giữ lâu, phân tích…
- Preventing Rogue Cookies with the Zillow Cookie Checker Bài tóm tắt · Zillow · 2019
Từ 2018 Zillow dọn cookie và nâng banner tuỳ chọn cookie: người dùng tắt cookie quảng cáo/chức năng thì không trang nào được tạo các cookie đó. Cookie đến từ tag trong Google Tag Manager và từ code của Zillow.
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
Phần 1 đặt nguyên tắc (sở hữu, hợp đồng, chứng nhận). Theo Grab, văn hoá chỉ đổi khi công cụ đổi thói quen hằng ngày, nên phần này kể ba nền tảng làm việc chứng nhận chạy được trên hàng trăm nghìn dataset, stream, thuộc…
- Tracking the Money — Scaling Financial Reporting at Airbnb Bài tóm tắt · Airbnb · 2017
Thanh toán của Airbnb chạy ở 191 nước, hơn 70 loại tiền, hơn 20 bộ xử lý thanh toán (2017); sản phẩm mở rộng ngoài đặt phòng (trả tiền thợ ảnh, phiên dịch, trải nghiệm).
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
WhereHows (mở mã nguồn 2016): kho metadata trung tâm cho dataset (schema, owner, lineage, job) kèm search. Khi mở rộng sang nhiều loại metadata, LinkedIn rút ra năm bài học:
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
Team data science & engineering của Zillow nhận dữ liệu bất động sản liên tục từ hồ sơ công, feed của user/agent, Multiple Listing Services. Trước đây dữ liệu nằm trong SQL Server và xử lý bằng kỹ thuật cache tự làm.
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…iả từng xây Espresso, Databus, Kafka; khi sang team hạ tầng analytics (Hadoop) thấy người ta hỏi nhau "dataset nào đúng" suốt: lưu trữ và tính toán đã scale nhưng tìm dữ liệu thì c…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
Bài toán không chỉ là chuyển nhiều dữ liệu, mà là số loại hệ nguồn và đích tăng nhanh (Espresso, Oracle, MySQL, Kafka, Azure Event Hubs, Kinesis).
- How PayPal Uses Real-time Graph Database and Graph Analysis to Fight Fraud Bài tóm tắt · PayPal · 2021
…t, có trực quan hoá, cho back office và điều tra rửa tiền); analytics (thuật toán đồ thị, tạo feature/embedding, train graph ML). - Build thay vì buy: đánh giá nhiều vendor và dự á…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
…được báo ngay. - Khi dữ liệu vận hành bắt đầu được dùng cho analytics và sản phẩm, chốt schema bằng hợp đồng (protobuf) và gửi bất đồng bộ. Liên quan - · · - · ·…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…g-consistency-back-into-s3-f1db2b21a07a) Bối cảnh - Hạ tầng analytics của Box coi S3 là nguồn sự thật trên cloud: dữ liệu ghi vào Kafka on-prem, committer chép sang bucket nguồn S3…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Anatomy of a serverless usage-based billing system Bài tóm tắt · WarpStream · 2024
WarpStream (Kafka trên object storage) tính tiền theo ba chiều: cluster minutes (cụm có xử lý request, tính theo khối 15 phút), throughput ghi (GiB/s), lưu trữ (GiB-giờ). Theo họ, hệ billing theo usage tốt phải tách…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
Yahoo dùng Apache Storm cho streaming từ 2012 (thay S4 tự làm); cuối 2015 có khoảng 2.300 node Storm. Thị trường đã có Flink, Spark Streaming, Samza, Apex, Dataflow, và các benchmark có sẵn không giống tải thật.
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
Mọi tương tác (bấm, vuốt, cuộn) được log thành event từ hàng chục nghìn microservice ở nhiều data center; quy mô hàng chục nghìn node, hàng trăm petabyte, hàng nghìn tỉ event/ngày (2022).
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…