Tìm kiếm
25 kết quả cho “EMR”. Tìm không phân biệt dấu.
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…cking-efficiency-and-performance-navigating-the-spark-3-and-emr-6-upgrade-journey-at-slack/) Bối cảnh - Data Engineering của Slack (2024): mô hình liên bang hơn 60 cụm EMR phục vụ…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…/from-ssh-to-rest-a-security-driven-modernization-of-slacks-emr-data-pipelines/) Bối cảnh - Data platform của Slack dựng khoảng 2017 theo cách đơn giản: Airflow cần chạy job trên c…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…khó: Dễ — [bài gốc](https://www.zillow.com/tech/save-money-emr-autoscaling-spot/) Bối cảnh - Hàng trăm job ETL batch (Spark, Hive, Sqoop) mỗi ngày, khối lượng đổi theo giờ; có lúc…
- Balancing cost and reliability for Spark on Kubernetes Bài tóm tắt · Notion · 2026
…đắt, retry làm tệ hơn và job hỏng hẳn. - Trước đó chạy trên EMR với EC2 cố định : cluster hay thừa, dùng ít, phải chỉnh theo từng job, tốn công bảo trì. Thay đổi chính - Bước 0, go…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…- Airflow chỉ chạy job nhỏ; job nặng (Spark, Hive) đẩy sang EMR qua operator SSH. - CI/CD cho DAG: mỗi push/merge vào repo DAG tự deploy; cập nhật backend bằng một lệnh. - Ba môi t…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…iệm hay từng metric). - Pipeline batch Spark hằng ngày trên EMR on-demand , chia ba khối để dễ checkpoint và bảo trì: gán thí nghiệm (giải các loại định danh), metric (từ S3 và Red…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…017–2018): xuất JSON về "raw data lake" trên S3, Spark trên EMR chuyển sang Parquet vào data lake; Airflow thay lịch cũ; bảng Hive trên S3 thay bảng Redshift ; Hive Metastore để tr…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…ystem, không xử lý delete/rename, chặn hụt thì im lặng) hay EMR Consistent View (đang dùng Qubole, thêm chi phí). - Snitch kế thừa S3AFileSystem, ghi thêm metastore trong DynamoDB:…
- Saving Millions : Leveraging EC2 Spots at scale Bài tóm tắt · Disney Hotstar · 2018
…o ML/data science : Spot tiết kiệm đến khoảng 80% (2018). - EMR : luật vàng là task node luôn chạy Spot (20–60 node tuỳ khối lượng). Cụm chạy lâu thì master và data node On-Demand,…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Disney Hotstar Công ty Thành viên
Traffic "sóng thần" của cricket: đỉnh user đồng thời 4,7 triệu (2017) → 10,3 triệu (2018) → 25 triệu (2019). Sau IPL 2018, EC2 + ASG không theo kịp (khởi động chậm, giới hạn region, bị throttle API), nên họ chuyển sang…
- Notion Công ty Thành viên
Một Postgres monolith chạy 5 năm tới khi vacuum kẹt và TXID wraparound đe doạ; năm 2021 Notion shard ở tầng ứng dụng theo workspace ID thành 480 shard logic trên 32 DB, migrate bằng audit log, chuyển trong 5 phút bảo…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Driving Southeast Asia Forward with AWS Bài tóm tắt · Grab · 2017
…Nền tảng phân tích: MySQL → Redshift → data lake trên S3 + EMR + Presto (đang chờ Athena). Hàng trăm triệu điểm GPS mỗi ngày, dữ liệu nhiều petabyte. - Ứng dụng dữ liệu realtime:…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…w ở US vì nó không đụng dữ liệu khách, chỉ gửi việc tới cụm EMR của đúng region. DAG lặp qua các region và sinh task theo region. - Event logging: - client gửi header workspace ID,…
- Auditing AWS IAM for better security practices Bài tóm tắt · Postman · 2019
…iCache, nhóm Data Science dùng DynamoDB, Kinesis, Redshift, EMR…). Thay đổi chính - IAM phản ánh sơ đồ tổ chức: IAM user theo email nhân viên; IAM group theo team (Services, App, D…
- Tinder Công ty Thành viên
Nhiều năm Tinder dùng một index Elasticsearch cho gợi ý; năm 2019 chia thành 40–100 geoshard cân theo load score trên S2 . Shard được hiện thực là nhiều index trong một cluster, chốt cỡ bằng performance test, và rải…