Tìm kiếm
21 kết quả cho “OLAP”. Tìm không phân biệt dấu.
- How we store and process millions of orders daily Bài tóm tắt · Grab · 2022
…cale và chi phí; nhất quán mạnh cho OLTP, nhất quán sau cho OLAP . Thay đổi chính - Hai DB cho hai loại truy vấn: - OLTP = DynamoDB. Dữ liệu giữ ngắn (3 tháng), là nguồn sự thật ch…
- Real-time Analytics at Massive Scale with Pinot Bài tóm tắt · LinkedIn · 2014
…phẩm phân tích chạy trên Oracle và Voldemort, không hợp với OLAP; dữ liệu tăng theo cả chiều rộng lẫn chiều sâu. Ví dụ Jobs Analytics: xử lý và nén trên Hadoop rồi đẩy lại vào Orac…
- Simplifying Data and Product Integrations with a Data Abstraction Layer Bài tóm tắt · Uber · 2026
…nhiều công nghệ DB. - Sinh và chạy query theo từng loại DB (OLAP nội bộ, Docstore, Hive...), trộn được nhiều loại trong một request. - Ghép kết quả: nối các dataset liền nhau theo…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Scaling beyond one: How Airbnb evolved its data architecture for a multi-product world Bài tóm tắt · Airbnb · 2025
…o online khác mô hình tối ưu cho phân tích. Cùng ý với OLTP/OLAP của Grab (). - Đây là bài về data warehouse, ít liên quan tới scale hệ thống online. Liên quan - -…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…"im lặng" mà ngưỡng trên không bắt. - So với Grab tách OLTP/OLAP cho đơn hàng (). Liên quan - - Cùng công ty: · · - ·…
- The evolution of SQL-based Observability Bài tóm tắt · ClickHouse · 2024
…2023: observability là một bài toán dữ liệu, nên SQL và hệ OLAP giải được; nén tốt, object storage gần như không giới hạn, không phải lấy mẫu log để tiết kiệm. OpenTelemetry biến…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…Bối cảnh - Event từ service và thiết bị phải tới warehouse OLAP (Snowflake), tới nền tảng ML (feature realtime như thời gian chờ trung bình của nhà hàng), tới backend metric (Chro…
- Centralized Application Logging at eBay (CAL Ingress) Bài tóm tắt · eBay · 2019
…a ra: raw log tới Filer, metric VID (gộp lại) qua Kafka tới OLAP, heartbeat tới kho metric. - Quy mô: khoảng 2,5 PB log mỗi ngày , trung bình 105 TB/giờ (29,87 GB/s), đỉnh 58 GB/s;…
- Search architecture revamp Bài tóm tắt · Grab · 2022
Trước 2021, search của Grab (Food, Mart) chỉ khớp văn bản qua inverted index, xếp hạng bằng trọng số viết cứng (khớp tên merchant luôn ưu tiên, kể cả khi người dùng rõ ràng tìm một món).
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thời gian thực lẫn batch lớn qua hai nền tảng nội bộ (Slide cho batch, Hugo cho ingest từ hệ online). Nhiều năm, phần lớn bảng là Hive…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
Grab chuyển từ một đội Data Engineering trung tâm sang data mesh: các team tự publish data product, được chứng nhận (chủ sở hữu, tài liệu, lineage, kiểm chất lượng) qua Hubble (metadata, lineage), Genchi (quan sát chất…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…Voldemort (key-value), Espresso (document), recommendation, OLAP, Hadoop, Teradata, inGraphs. - Hạ tầng log sớm nhất là Databus : lớp cache log trên các bảng Oracle cũ, để nhiều hệ…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…tự động dựng các store và index (search, graph, data lake, OLAP) như một "database tách rời"; lỗi index thì dựng lại từ log. Model mở rộng được theo domain: các team tự thêm aspec…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
…gần realtime. Thêm một bước tiền tổng hợp trước khi đưa vào OLAP (Pinot). Thay đổi chính - Pipeline event-driven với Flink: cập nhật của object subscription và invoice thành sự kiệ…