Tìm kiếm
40 kết quả cho “Data warehouse”. Tìm không phân biệt dấu.
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…ung bình — [bài gốc](https://clickhouse.com/blog/building-a-data-warehouse-with-clickhouse) Phần 1 của hai bài về DWH nội bộ của ClickHouse; phần tiếp theo một năm sau: . Nhà cung…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…gốc](https://blog.allegro.tech/2024/12/automating-periodic-data-transfer-from-operational-database-to-a-data-warehouse.html) Bài mô tả giải pháp ở mức khái niệm ("cần chỉnh theo n…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…ung bình — [bài gốc](https://clickhouse.com/blog/building-a-data-warehouse-with-clickhouse-part-2) Phần 2, viết một năm sau . Bài của nhà cung cấp về chính sản phẩm của họ; các nhậ…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…khó: Trung bình — [bài gốc](https://www.uber.com/us/en/blog/database-federation/) Bối cảnh - Một data warehouse của mảng Delivery có hơn 16.000 dataset Hive, 10 PB của nhiều domain…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ài gốc](https://netflixtechblog.com/using-presto-in-our-big-data-platform-on-aws-938035909fd4) Bối cảnh - Nền big data của Netflix (2014) đặt data warehouse trên S3 : compute tách…
- Scaling data access by moving an exabyte of data to Google Cloud Bài tóm tắt · Twitter · 2022
….x.com/engineering/en us/topics/infrastructure/2022/scaling-data-access-by-moving-an-exabyte-of-data-to-google-cloud) Bối cảnh - 2019: Twitter muốn "dân chủ hoá" việc phân tích dữ…
- Scaling beyond one: How Airbnb evolved its data architecture for a multi-product world Bài tóm tắt · Airbnb · 2025
…ech/uncategorized/scaling-beyond-one-how-airbnb-evolved-its-data-architecture-for-a-multi-product-world/) Bối cảnh - Bản Summer Release (5/2025): Airbnb thiết kế lại app, làm lại E…
- Migrating Data Ingestion Systems at Meta Scale Bài tóm tắt · Meta · 2026
…Nâng cao — [bài gốc](https://engineering.fb.com/2026/05/12/data-infrastructure/migrating-data-ingestion-systems-at-meta-scale/) Bối cảnh - Mỗi ngày, hệ ingestion của Meta cào tăng…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…16): không sửa tại chỗ, mọi thay đổi phải thành file và metadata mới. - Với copy-on-write, sửa vài dòng nghĩa là chép cả các dòng không đổi sang file thay thế: write amplification…
- Data Mesh at Grab Part I: Building trust through certification Bài tóm tắt · Grab · 2025
…ngineering.grab.com/signals-market-place) Phần 1 của series Data Mesh (Signals Marketplace). Phần 2: (công cụ); phần 3: (sự cố dữ liệu tự động). Bài thiên về tổ chức và cách đo, ít…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…: Trung bình — [bài gốc](https://ducklake.select/2026/04/02/data-inlining-in-ducklake/) Bài của nhà cung cấp quảng bá tính năng của chính họ; benchmark so với Iceberg do họ tự dựng…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…gốc](https://www.notion.com/blog/a-brief-history-of-notions-data-catalog) Phần sinh mô tả bảng bằng LLM được tóm tắt ngắn; lõi của bài là đưa schema về nguồn (code) và lan metadata…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…og-what-every-software-engineer-should-know-about-real-time-datas-unifying) Bài luận dài của Jay Kreps (khi đó ở LinkedIn). Phần lớn là lý thuyết về log; trang này tóm phần kể chuy…
- The growing pains of database architecture Bài tóm tắt · Figma · 2023
…ốc](https://www.figma.com/blog/how-figma-scaled-to-multiple-databases/) Bối cảnh - 2020: thêm tính năng, chuẩn bị ra sản phẩm thứ hai, user tăng. Traffic DB tăng khoảng 3 lần mỗi n…
- How Figma's databases team lived to tell the scale Bài tóm tắt · Figma · 2024
…Nâng cao — [bài gốc](https://www.figma.com/blog/how-figmas-databases-team-lived-to-tell-the-scale/) Bối cảnh - Stack DB của Figma tăng gần 100 lần từ 2020 . Cuối 2022 đã có cache,…
- DBLog: A Generic Change-Data-Capture Framework Bài tóm tắt · Netflix · 2019
…bài gốc](https://netflixtechblog.com/dblog-a-generic-change-data-capture-framework-69351fb9099b) Bối cảnh - Nền tảng Delta của Netflix giữ nhiều kho dữ liệu đồng bộ: một kho là ngu…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…oximity.com/articles/from-batch-snapshots-to-near-real-time-data) Bối cảnh - Doximity đã có pipeline batch chép định kỳ snapshot của DB ứng dụng vào warehouse (Snowflake): tin cậy,…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…Dễ — [bài gốc](https://medium.engineering/mediums-dynamodb-data-source-for-apache-spark-62c6599a6dfd) Bài rất ngắn, công bố một thư viện mã nguồn mở. Đọc qua trình duyệt (Medium c…
- From 3TB to 100GB: A Cost-Saving Journey in Database Maintenance Bài tóm tắt · Allegro · 2023
…gốc](https://blog.allegro.tech/2023/07/save-money-on-large-database.html) Bối cảnh - Một database Azure SQL (mô hình vCore) chứa nhiều dữ liệu lịch sử, phục vụ audit. Ở 4 vCore, d…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…. Mọi nhận định là theo DuckDB Labs. Đọc cùng (cây file metadata của Iceberg) và . Bối cảnh - Manifesto 5/2025: theo DuckDB Labs, metadata của lakehouse nên nằm trong một database…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…onolith (servlet cho mọi trang, business logic, kết nối vài database). - Service đầu tiên là member graph ("Cloud"): đồ thị kết nối cần duyệt trong bộ nhớ, có profile tải khác hẳn…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- ClickHouse Công ty Thành viên
ClickHouse Cloud có thêm Postgres managed, và với dịch vụ đó WAL archival là thứ bảo đảm khôi phục được. Năm 2026, khi đưa Postgres vào môi trường ít tài nguyên, họ viết lại WAL-G (Go) thành WAL-RUS (Rust) để bộ nhớ dự…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
…ian lận, hỗ trợ) cần feature tính theo hai cách: batch trên data warehouse Hive (ví dụ lịch sử huỷ chuyến một năm của user) và stream từ Kafka (ví dụ giá ước tính cho chuyến hiện t…
- Allegro Công ty Thành viên
Allegro (Ba Lan) đi từ 3 developer với dữ liệu lưu trong file (1999) → scale bằng tự viết cache, connection pool, search engine bằng C trên Oracle (~2005) → framework tự chế trong cùng codebase (2008–2009, code mới vẫn…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…bù bằng retry và theo dõi ack), readiness probe nạp sẵn metadata và ghi thử để tránh cold start. Proxy chạy trên Kubernetes với HPA theo CPU. - Tinh chỉnh cho event không giao dịch…
- Postgres as Your Platform: Building Event-Driven Systems with Schema Changes Bài tóm tắt · Neon · 2025
…chính - Theo Neon, đội platform thường dựng giàn giáo quanh database (message queue để phát thay đổi, cron đồng bộ schema, webhook báo hệ phía sau). Postgres đã có sẵn đủ thứ để th…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- Maintaining Machine Learning Model Accuracy Through Monitoring Bài tóm tắt · DoorDash · 2021
…i log mọi dự đoán (kết quả, ID, giá trị feature, model) vào data warehouse: đủ để đào sâu một ca, không đủ để thấy bức tranh chung. Thay đổi chính - Hai hướng được cân nhắc: "unit…
- Driving Southeast Asia Forward with AWS Bài tóm tắt · Grab · 2017
…không kể chi tiết. - Nền tảng phân tích: MySQL → Redshift → data lake trên S3 + EMR + Presto (đang chờ Athena). Hàng trăm triệu điểm GPS mỗi ngày, dữ liệu nhiều petabyte. - Ứng dụn…