Tìm kiếm
29 kết quả cho “Cardinality”. Tìm không phân biệt dấu.
- Scaling Exact COUNT(DISTINCT) for High-Cardinality Non-Rollup Metrics Bài tóm tắt · Uber · 2026
…năm trung bình 8,58 → 2,96 ngày (−65%, tới −94% ở pipeline cardinality cao nhất; một metric grocery 19,1 → 1,1 ngày; trung bình nhanh 3,8 lần với 3 cửa sổ song song); pipeline ngà…
- October 2024 queue retrospective Bài tóm tắt · Inngest · 2024
…Throughput tụt sau release Key Queues (flow control cho key cardinality cao) Mỗi key một queue con. Xử lý một queue tốn gấp 4 lần thao tác so với một item; cardinality cực cao sinh…
- Scaling our Observability platform beyond 100 Petabytes by embracing wide events and replacing OTel Bài tóm tắt · ClickHouse · 2025
…pipeline OTel nhỏ lại. - Chuyển hướng sang wide event, high cardinality : lưu từng sự kiện với đủ chiều (pod, version, bảng, cửa sổ...) thay vì tiền tổng hợp thành metric; tổng hợp…
- Implementation of a monitoring strategy for products based on microservices Bài tóm tắt · Salesforce · 2019
…ghi xử lý, thêm mới, thời gian) để trong log , vì job ID có cardinality cao, kho metric không hợp. Trace theo request qua chuỗi service và theo bản ghi qua các pha ETL; theo tác gi…
- HeraclesQL: A Python DSL for Writing Alerts Bài tóm tắt · Hudson River Trading · 2025
…hai vector vừa là cộng vừa là lọc theo nhãn; annotation no cardinality change sinh meta-alert khi số series thay đổi ngoài ý muốn. - Ví dụ Jenkins: plugin xuất hai metric kết quả…
- Snowflake Optima Planning: cross-query performance Bài tóm tắt · Snowflake · 2026
Optimizer của Snowflake dựa trên chi phí: ước lượng số dòng của từng operator rồi chọn plan rẻ nhất. Ước lượng sai thì chọn sai thứ tự join hay sai bên build, có khi sinh hàng tỉ dòng trung gian không cần. Tương quan…
- Building a data plane from scratch: Stripe's own high-performance distributed proxy Bài tóm tắt · Stripe · 2026
Mục tiêu độ tin cậy 99,9995% cho request thanh toán; service mesh nội bộ xử lý hàng triệu request/giây giữa hàng nghìn service (2026). Gần 10 năm dùng Envoy làm data plane.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Open sourcing kubenetmon: how we monitor data transfer in ClickHouse Cloud Bài tóm tắt · ClickHouse · 2025
…ác sai quá rộng. Ngoài ra mô hình metric Prometheus đắt với cardinality cao. Thay đổi chính - Thu thập bằng conntrack: bảng theo dõi kết nối có sẵn của netfilter, chỉ cần bật accou…
- The Day Our Own Queries DoS'ed Us: Inside Zalando Search Bài tóm tắt · Zalando · 2025
…ố. Nguyên nhân - Query facet làm aggregation trên trường có cardinality rất cao (SKU, ID duy nhất) , vô nghĩa về nghiệp vụ. Một công việc bảo trì cộng một bug khiến workload vốn hi…
- Avoiding Double Payments in a Distributed Payments System Bài tóm tắt · Airbnb · 2019
…tiền lần nữa. Scale master bằng shard theo idempotency key (cardinality cao, phân bố đều). - Kết quả theo Airbnb: nhất quán thanh toán đạt "five nines" trong khi khối lượng thanh t…
- The evolution of SQL-based Observability Bài tóm tắt · ClickHouse · 2024
…tính PromQL, không đẩy aggregation xuống, nên query dài và cardinality cao còn kém. Vì sao - Thuộc tính tuỳ ý theo nguồn là bản chất của dữ liệu observability; kiểu lưu nào bắt qu…
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
…00 span/giây ổn định, đỉnh hơn 1,2 triệu. - Tối ưu: xếp cột cardinality thấp lên đầu khoá sắp xếp, partition lại theo trường thật sự hay query, chỉnh tỉ lệ dương tính giả của Bloom…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…sự kiện), danh sách đen/trắng, giá trị mới chưa từng thấy, cardinality. - Giám sát chính pipeline bằng New Relic: trong IPL, độ trễ đầu-cuối tối đa dưới 2 phút. - Kết quả theo Dre…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…file; bucket partitioning bằng murmur3 như Iceberg cho cột cardinality cao. - Variant (nhị phân, nhiều kiểu hơn JSON, tách được thành cột nguyên thuỷ có thống kê); thống kê boundi…
- How a durable workflow engine works: you might not need a queue Bài tóm tắt · Inngest · 2023
…hông bỏ queue mà giấu nó; khi hệ lớn, các vấn đề của queue (cardinality, fairness, backpressure) quay lại ở tầng engine, như chính Inngest gặp năm 2024. - Ghép event phải so mọi ev…
- Predicting the real-time availability of 200 million grocery items Bài tóm tắt · Instacart · 2018
…y gần nhất), theo thời gian, và mean encoding cho các mã có cardinality rất cao (sản phẩm hàng triệu, cửa hàng hàng chục nghìn): thay mã bằng tỉ lệ tìm thấy lịch sử của nhóm đó. Fe…
- LIquid: The soul of a new graph database, Part 2 Bài tóm tắt · LinkedIn · 2020
…mô tả trong đồ thị: predicate khởi tạo liquid/type , liquid/cardinality khai kiểu vô hướng và số cạnh tối đa ở mỗi đầu, để ánh xạ được về bảng chuẩn hoá. - Compound edge cho quan h…
- Salesforce Công ty Thành viên
Cloud Atlas là kho dữ liệu định danh toàn cầu phía sau phần lớn việc xác thực của Salesforce, mục tiêu five nines. Năm 2026 họ bỏ rate limit theo từng instance (sai khi autoscale, không thấy tổng tải của khách) và tránh…
- Stack Overflow: How We Do Monitoring - 2018 Edition Bài tóm tắt · Stack Overflow · 2018
…–100K metric/giây chỉ tốn khoảng 5% CPU) nhưng vài truy vấn cardinality cao quá nặng. - Điểm tác giả thích nhất: chạy thử alert trên dữ liệu lịch sử để thấy nó sẽ bắn lúc nào trước…
- The Real Cost of a Single Insert in Postgres Bài tóm tắt · Tiger Data · 2026
…ăng dần dồn mọi insert vào lá ngoài cùng bên phải; index có cardinality cao rải insert khắp cây, page cần thường không có sẵn trong shared buffers . - WAL: mỗi lần chèn heap và mỗi…
- Knowing When Your Composite Index Earns Its Write Cost Bài tóm tắt · Tiger Data · 2026
…m ghi không" mà là "index có rải ghi ra không" : cột đầu có cardinality cao làm cây phình, WAL nhiều và cache kém (). - Có index không có nghĩa planner dùng nó tốt: index không khớ…
- Simplifying Data and Product Integrations with a Data Abstraction Layer Bài tóm tắt · Uber · 2026
…xạ khoảng thời gian → bảng, chỗ chồng lấn thì chọn bảng có cardinality gần yêu cầu nhất. Ví dụ: 3 ngày gần nhất từ bảng realtime, 4 ngày trước đó từ bảng daily. Đồ thị phụ thuộc g…