Tìm kiếm
40 kết quả cho “ETL”. Tìm không phân biệt dấu.
- TigerBeetle Công ty Thành viên
TigerBeetle là database chỉ cho OLTP kiểu debit/credit. Bài 2026 (bản viết của một talk) lập luận rằng scale là khả năng sống sót, rằng sharding thua scale dọc khi có tranh chấp, và đề xuất "diagonal scaling":…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…e-ai-era-real-time-data-lake-ingestion-is-saying-goodbye-to-etl-architectural-subtraction-from-kafka-to-iceberg 603582) Bài của team Messaging của Alibaba Cloud, quảng bá tính năng…
- Rediscovering Transaction Processing From History and First Principles Bài tóm tắt · TigerBeetle · 2024
…Tăng trưởng · Độ khó: Trung bình — [bài gốc](https://tigerbeetle.com/blog/2024-07-23-rediscovering-transaction-processing-from-history-and-first-principles) Bài của nhà sáng lập Ti…
- Low Latency Optimization: Using Huge Pages on Linux (Part 2) Bài tóm tắt · Hudson River Trading · 2022
…ần mềm lớn (MongoDB, Redis, Couchbase) khuyên tắt THP. - hugetlbfs ("explicit huge page"): một pool trang cấp sẵn, cấp phát nhanh như trang 4 KiB nếu pool còn; bộ nhớ trong pool kh…
- Protocol-Aware Deterministic Simulation Testing Bài tóm tắt · TigerBeetle · 2026
…26 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://tigerbeetle.com/blog/2026-08-20-protocol-aware-dst) Bài nhà cung cấp; mọi nhận định ghi "theo TigerBeetle". Bối cảnh - TigerBee…
- A Trillion Transactions Bài tóm tắt · TigerBeetle · 2026
…26 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://tigerbeetle.com/blog/2026-03-19-a-trillion-transactions) Bản viết của một talk, do nhà cung cấp (TigerBeetle) viết; phần demo m…
- Implementation of a monitoring strategy for products based on microservices Bài tóm tắt · Salesforce · 2019
…e. - Hai luồng: truy vấn dữ liệu (đồng bộ, nhanh) và ingest ETL (bất đồng bộ, từ vài giây tới hàng giờ, phát lại được từng phần). Thay đổi chính - Từ trên xuống: định nghĩa khả dụn…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…ain ghép từ app log, bảng feature Hive, click log qua nhiều ETL phụ thuộc nhau; pipeline offline bắt đầu sinh định dạng khác ( jp JA so với jp-JA online); lineage ETL mong manh (th…
- Tracking the Money — Scaling Financial Reporting at Airbnb Bài tóm tắt · Airbnb · 2017
…m). - Hệ báo cáo tài chính cũ (đầu 2012 → cuối 2016) là một ETL MySQL chạy đêm: trigger trên các bảng chính ghi lại mọi thay đổi của reservation và payment (để có lịch sử bất biến…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…. Medium chọn cách này thay vì AWS Data Pipeline để mọi job ETL và phân tích có cùng một kiểu viết. - DataFrame: DynamoDB không ép schema, nên schema được suy ra bằng cách lấy mẫu…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…i cảnh - Team Data Science and Engineering (DSE) chạy nhiều ETL; trước đó mỗi job là một service tự lên lịch riêng. Gặp Airflow năm 2016. Thay đổi chính - Cụm Airflow chạy trên Ama…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…erShell + SQL Server. Code dùng lớp trừu tượng theo version ETL để sửa chung. - V4 (2017–2018): xuất JSON về "raw data lake" trên S3, Spark trên EMR chuyển sang Parquet vào data la…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…/2021-07-07-image-gallery-pipeline) Bối cảnh - Một pipeline ETL sinh gallery ảnh đã sắp thứ tự cho mỗi chỗ ở (theo tag nội dung và chất lượng ảnh) rồi gửi cho các đội frontend. Pip…
- Building Uber's Multi-Cloud Secrets Management Platform to Enhance Security Bài tóm tắt · Uber · 2025
Hơn 5.000 microservice, 5.000 database, hơn 500.000 job phân tích mỗi ngày, hơn 400 tích hợp nhà cung cấp và 400 ứng dụng SaaS; hơn 150.000 secret dùng để xác thực giữa chúng. Credential bị lộ là một nguyên nhân hàng…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Chaos Testing a Distributed System with Jepsen Bài tóm tắt · Appian · 2019
…hả năng. Liên quan - · (Jepsen là kiểm từ ngoài vào; TigerBeetle bổ sung kiểm từ trong ra) · -…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…a giao lại), job MapReduce dedupe sang bucket đích, Hive và ETL sang Redshift đọc từ đó. - Năm 2018 S3 còn nhất quán cuối với list() : object mới chưa hiện, object đã xoá vẫn hiện.…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…): một service chỉ đọc cho BI, một service đọc-ghi 24/7 cho ETL quan trọng, một service đọc-ghi khác cho ETL ít quan trọng (cập nhật mỗi ngày) có thể tắt khi rảnh để tiết kiệm. Vì…
- Meet Chrono, our scalable, consistent, metadata caching solution Bài tóm tắt · Dropbox · 2024
…timestamp đơn điệu theo key, đọc snapshot theo timestamp, GetLatest trả kèm read timestamp, và Write(..., maxPermittedCommitTimestamp) từ chối nếu commit timestamp vượt mức cho ph…
- Hudson River Trading Công ty Thành viên
Công ty giao dịch thuật toán (HRT), phần lớn hạ tầng on-premises, nhiều site trên thế giới. Năm 2021 họ scale Prometheus bằng shard chỉ ingest cộng query node đọc remote, vì federation mất khả năng tổng hợp ad-hoc trên…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ạm) cùng đọc chung dữ liệu. User viết job Pig hoặc Hive cho ETL và phân tích; một phần nhỏ kết quả và dữ liệu tổng hợp chuyển sang Teradata cho truy vấn tương tác và báo cáo. - Còn…
- Netflix Billing Migration to AWS — Part III Bài tóm tắt · Netflix · 2016
…hi vẫn trong SLA); read replica cùng region và khác region, ETL đọc từ replica. Master hỏng thì failover sang bản DRBD và đổi bản ghi Route53; ứng dụng billing là batch nên chịu đư…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…/save-money-emr-autoscaling-spot/) Bối cảnh - Hàng trăm job ETL batch (Spark, Hive, Sqoop) mỗi ngày, khối lượng đổi theo giờ; có lúc một mẻ tới 10 TB . - Mô hình S3 data lake : S3…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- Chaos Testing a Distributed System with Jepsen — Part II Bài tóm tắt · Appian · 2019
Sau khi chọn Jepsen, việc khó là đưa nó vào hạ tầng thật: hệ cần test (SUT) phụ thuộc Kafka và Zookeeper, binary và thư viện nằm trong kho nội bộ có xác thực, và test phải chạy liên tục chứ không chỉ trên máy dev.
- Box Công ty Thành viên
Dịch vụ lưu trữ và chia sẻ file cho doanh nghiệp; nguồn duy nhất trong wiki là bài 11/2018 về hạ tầng analytics. Box coi S3 là nguồn sự thật cho dữ liệu analytics, nên tính nhất quán cuối của list() (lúc đó) biến thành…