Tìm kiếm
17 kết quả cho “Presto”. Tìm không phân biệt dấu.
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ó: Trung bình — [bài gốc](https://netflixtechblog.com/using-presto-in-our-big-data-platform-on-aws-938035909fd4) Bối cảnh - Nền big data của Netflix (2014) đặt data warehouse trên…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…nh. Nhánh realtime: Kafka → Flink → Pinot , trên đó một lớp Presto tự viết cho phép viết Presto SQL chạy trên Pinot như backend production. Nhánh batch: ingest bằng Spark vào data…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…ETL tạo ra nó). Đối tượng được mô tả: bảng trong kho (Hive, Presto, MySQL, S3), dashboard, event/schema, stream (Kafka, Kinesis), job xử lý, và cả con người (team, dữ liệu hay dùng…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
…protobuf vào Kafka; consumer gom lô ghi S3; định kỳ nạp vào Presto và Redshift để phân tích nhiều tháng bằng SQL (ví dụ: tỉ lệ phiên bản Go của client). - Cùng dữ liệu đó còn nuôi…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Onehouse Công ty Thành viên
Nguồn duy nhất của Onehouse trong wiki là bản tóm tắt (2024) talk năm 2023 của Uber về hạ tầng dữ liệu, nên mọi nhận định là theo Uber qua lời kể của Onehouse: kiến trúc Lambda phục vụ bốn loại nhu cầu từ streaming dưới…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Driving Southeast Asia Forward with AWS Bài tóm tắt · Grab · 2017
…ảng phân tích: MySQL → Redshift → data lake trên S3 + EMR + Presto (đang chờ Athena). Hàng trăm triệu điểm GPS mỗi ngày, dữ liệu nhiều petabyte. - Ứng dụng dữ liệu realtime: bản đồ…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…e cho mọi model của mình. Dữ liệu train từ warehouse (Hive, Presto, Spark); metadata model ở RDS Aurora; image ở ECR; dữ liệu tạm trên EFS gắn làm volume cho mỗi người. - Lúc viết:…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…action, clean, clustering) mỗi ngày; 4 triệu query/tuần qua Presto và Spark; bảng lớn nhất trên 400 tỉ dòng cập nhật liên tục. - Bốn lớp workload, cấu hình khác nhau: append-only (…