Tìm kiếm
22 kết quả cho “Redshift”. Tìm không phân biệt dấu.
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…nhiều và nhanh. - Công cụ phân tích thí nghiệm quen dùng là Redshift. Thay đổi chính - Hạ rào thêm metric: metric mới chỉ cần là một rollup viết bằng truy vấn Redshift theo hợp đồn…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…chuyển sang CSV (làm phẳng, tính cột), upload S3, COPY vào Redshift . Lịch bằng SSIS/SQL Server Agent. - V2: dữ liệu tăng, gộp ba bước đầu thành đọc–biến đổi–ghi trong bộ nhớ, 8 l…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…i), job MapReduce dedupe sang bucket đích, Hive và ETL sang Redshift đọc từ đó. - Năm 2018 S3 còn nhất quán cuối với list() : object mới chưa hiện, object đã xoá vẫn hiện. Dedupe v…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…P là AWS Aurora , không hợp truy vấn tổng hợp; warehouse là Redshift , nạp bằng ETL mỗi giờ , nên không có số liệu thời gian thực. - Cần biết ngay: tốc độ người tham gia contest, t…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…dạng JSON bằng Spark; các job Spark khác nạp bản backup vào Redshift, Databricks. Medium chọn cách này thay vì AWS Data Pipeline để mọi job ETL và phân tích có cùng một kiểu viết.…
- The Stack That Helped Medium Drive 2.6 Millennia of Reading Time Bài tóm tắt · Medium · 2016
…ài–tag–collection, đi đồ thị để gợi ý. - Dữ liệu phân tích: Redshift; nạp liên tục dữ liệu lõi từ Dynamo và event log từ S3. Bộ lập lịch nội bộ Conduit chạy job theo điều kiện phụ…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
…ào Kafka; consumer gom lô ghi S3; định kỳ nạp vào Presto và Redshift để phân tích nhiều tháng bằng SQL (ví dụ: tỉ lệ phiên bản Go của client). - Cùng dữ liệu đó còn nuôi Developer…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Medium Công ty Thành viên
Năm 2015 Medium gặp throttle trên DynamoDB dù tổng capacity còn dư, vì capacity bị chia cho các partition ẩn; họ tự dựng access log qua ELK để tìm key nóng . Đầu 2018 Medium chuyển monolith Node.js có từ 2012 sang…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Driving Southeast Asia Forward with AWS Bài tóm tắt · Grab · 2017
…ỉ nhắc chứ không kể chi tiết. - Nền tảng phân tích: MySQL → Redshift → data lake trên S3 + EMR + Presto (đang chờ Athena). Hàng trăm triệu điểm GPS mỗi ngày, dữ liệu nhiều petabyte…
- Auditing AWS IAM for better security practices Bài tóm tắt · Postman · 2019
…RDS, ElastiCache, nhóm Data Science dùng DynamoDB, Kinesis, Redshift, EMR…). Thay đổi chính - IAM phản ánh sơ đồ tổ chức: IAM user theo email nhân viên; IAM group theo team (Servic…
- The million dollar engineering problem Bài tóm tắt · Segment · 2017
…. - Đọc hoá đơn từng dòng: bật AWS Detailed Billing, đổ vào Redshift để phân tích. Họ tìm ra ~15 điểm, chiếm khoảng 40% hoá đơn tháng. Nhiều điểm rất bình thường: hàng trăm ổ EBS l…
- Keeping Counts In Sync Bài tóm tắt · SoundCloud · 2018
…lớn chứa mọi event): không khả thi; database phân tích cột (Redshift, BigQuery, Kudu, Vertica) trả lời trong giây chứ không phải mili giây. - Tiền tổng hợp kiểu khác (cây Fenwick,…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…hính - Ba phần: pipeline train offline (Python + Spark trên Redshift, hàng chục triệu mẫu), phục vụ online, và analytics báo cáo hiệu năng model. - Phục vụ: service online viết bằn…