Tìm kiếm
40 kết quả cho “Analytics”. Tìm không phân biệt dấu.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- How Zillow Tests Clickstream Analytics Bài tóm tắt · Zillow · 2020
…c](https://www.zillow.com/tech/how-zillow-tests-clickstream-analytics/) Bối cảnh - Event analytics (page view, sự kiện) do dev gắn vào trang, gửi Google Analytics, rồi được kéo từ…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…/medium.com/@Pinterest Engineering/behind-the-pins-building-analytics-f7b508cdacab) Site chặn crawler; ghi chú viết từ bản đọc qua trình duyệt. Bối cảnh - 8/2014 Pinterest ra bản 2…
- Real-time Analytics at Massive Scale with Pinot Bài tóm tắt · LinkedIn · 2014
…hó: Trung bình — [bài gốc](https://engineering.linkedin.com/analytics/real-time-analytics-massive-scale-pinot) Bối cảnh - Khoảng 2012, các sản phẩm phân tích chạy trên Oracle và Vo…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
…[bài gốc](https://stripe.dev/blog/how-we-built-it-real-time-analytics-for-stripe-billing) Bài vừa kỹ thuật vừa giới thiệu tính năng; ít số liệu quy mô. Bối cảnh - Dashboard của Str…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…i gốc](https://medium.com/walmartlabs/how-we-build-a-robust-analytics-platform-using-spark-kafka-and-cassandra-lambda-architecture-70c2d1bc8981) Bài ngắn (3 phút đọc), mô tả kiến t…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…s://blog.dream11engineering.com/building-scalable-real-time-analytics-alerting-and-anomaly-detection-architecture-at-dream11-e20edec91d33) Site chặn crawler; wiki đọc toàn văn qua…
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
Hệ tracing dựa trên OpenTelemetry theo request từ app của member xuống mọi service. Lấy mẫu đầu 1% mà vẫn sinh khoảng 0,8 nghìn tỉ span và 200 TB chưa nén mỗi ngày.
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…g dẫn xuất và công cụ phân tích. Warehouse có vài trăm bảng analytics (2024). Thay đổi chính - Schema từ nguồn, bằng TypeScript: thay vì Protobuf/Avro/JSON Schema như thường lệ, dù…
- Building a strong foundation to accelerate StreetEasy's data science efforts Bài tóm tắt · Zillow · 2024
…dashboard certified cho khoảng 80% câu hỏi lặp lại; "80-20 analytics" (dùng proxy để trả lời nhanh phần lớn câu hỏi mới); đào tạo stakeholder biết SQL. Vì sao - Biến đổi một lần ở…
- When The Cloud Gets Dark — How Amazon's Outage Affected Airbnb Bài tóm tắt · Airbnb · 2011
…server chỉ dùng master nên site chạy tiếp; slave (dùng cho analytics, background task) treo tới hôm sau, email/nhắc việc trễ tới 8 giờ. Sửa bằng trỏ background task sang master. -…
- How we're building Scam Alert on WhatsApp Bài tóm tắt · WhatsApp · 2026
…ng chủ động báo. - Đo mà không thấy (confidential federated analytics): chỉ thu hai loại số đếm (số lần cảnh báo, số lần user tin/chặn) để đo precision và tỉ lệ báo nhầm. - Client…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, đồng bộ thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- TimescaleDB to ClickHouse replication: Use cases, features, and how we built it Bài tóm tắt · ClickHouse · 2025
…g (theo ClickHouse) - Migrate online một lần: khách đã chạy analytics trên TimescaleDB, khi dữ liệu lớn lên thì phải tinh chỉnh nhiều; chuyển sang ClickHouse. - Migrate từng bước:…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…r gửi việc về đúng nơi đã cache. Liên quan - - · (Pinot cho analytics thời gian thực) · · - ·…
- Walmart Công ty Thành viên
Nhiều team ở Walmart dùng Cassandra làm nguồn chính (hàng chục tới hàng trăm nghìn ops/giây). Năm bài học (2017): shard key nhân tạo chống partition lệch, tách Solr khỏi Cassandra, không đọc/ghi cả hàng, cẩn thận với…
- Box Công ty Thành viên
Dịch vụ lưu trữ và chia sẻ file cho doanh nghiệp; nguồn duy nhất trong wiki là bài 11/2018 về hạ tầng analytics. Box coi S3 là nguồn sự thật cho dữ liệu analytics, nên tính nhất quán cuối của list() (lúc đó) biến thành…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…hoảng 4 tỉ dòng/ngày , gần nghìn tỉ dòng tổng; event Google Analytics dạng mảng lồng; bản đổ từ DB NoSQL của control plane dạng JSON. Đưa ra cả dạng thô (user tự trích trường JSON…
- Dream11 Công ty Thành viên
Fantasy sports với hơn 100 triệu user, traffic dồn theo từng trận đấu nhanh hơn autoscaling phản ứng. Dream11 dự báo concurrency theo giờ, kiểm năng lực bằng game day, rồi scale chủ động theo bậc trước, trong và sau…
- Instacart's Item Availability Architecture: Solving for scale and consistency Bài tóm tắt · Instacart · 2023
…iểm do pipeline ML sinh ra là dữ liệu dẫn xuất như mọi bảng analytics: cần đường nạp, hạn tuổi và cách thử phiên bản mới (). Liên quan - - Cùng công ty: · - ·…