Tìm kiếm
23 kết quả cho “MapReduce”. Tìm không phân biệt dấu.
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…sang bucket nguồn S3 (có thể trùng do Kafka giao lại), job MapReduce dedupe sang bucket đích, Hive và ETL sang Redshift đọc từ đó. - Năm 2018 S3 còn nhất quán cuối với list() : ob…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…ion. Thay đổi chính - Bốn thành phần: pipeline batch Hadoop MapReduce tạo một dataset mới mỗi ngày → HBase phục vụ với độ trễ thấp → API (có kiểm quyền truy cập) → web app. - Pipel…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…–biến đổi–ghi trong bộ nhớ, 8 luồng song song. - V3: Hadoop MapReduce (Java) thay .NET, cụm 100 node dựng lên rồi tắt mỗi lần chạy; lịch bằng PowerShell + SQL Server. Code dùng lớp…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
…ăm broker; theo bài là cụm Kafka lớn nhất họ biết) → Camus (MapReduce) → HDFS (DeepSea). Mục tiêu: 99,999% đầy đủ , trễ tối đa 5 ngày. Thay đổi chính (theo từng tháng đo) - 12/2016…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…lk lẫn tăng dần, dùng Distcp của Hadoop (copy phân tán bằng MapReduce) cho bản sao lớn hơn 256 MB. - Q3/2022, điểm gãy: lượng nhân bản mỗi ngày từ 250 TB lên 1 PB trong một quý. Ha…
- The Chubby lock service for loosely-coupled distributed systems Bài tóm tắt · Google · 2006
…Chubby thành name service chính của Google, nơi hẹn gặp của MapReduce, nơi GFS và Bigtable bầu primary, kho file cần HA (ACL). Lý do thay DNS: job hàng nghìn process gọi lẫn nhau t…
- Did you mean "Galene"? Bài tóm tắt · LinkedIn · 2014
…al ở Federator. - Dựng index offline trên Hadoop bằng chuỗi MapReduce (làm giàu dữ liệu bằng thuật toán relevance, rồi template dựng index và data model). - Static rank tính offlin…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…một luồng dữ liệu bất biến được đưa song song vào hệ batch (MapReduce) và hệ stream (Storm); logic biến đổi viết hai lần , kết quả hai bên ghép lại lúc truy vấn. - Theo Kreps, điểm…
- Dynamometer: Scale Testing HDFS on Minimal Hardware with Maximum Fidelity Bài tóm tắt · LinkedIn · 2018
…rkload: phát lại audit log của NameNode production bằng job MapReduce chỉ có map, chia audit log theo IP nguồn để giữ thứ tự các request liên quan; có thể phát nhanh hơn để dự đoán…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…-forget ở từng mốc (thời gian tạo work unit, thời gian chạy MapReduce, đăng ký Hive, task lỗi kèm dataset và lý do, file đã publish kèm số bản ghi đọc/ghi) vào Kafka. - Tương quan…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…ler ưu tiên queue dùng ít nhất; queue job ngắn churn nhanh (MapReduce của partition phụ) luôn trông "ít dùng" nên giữ scheduler, queue job Spark dài chờ hàng giờ. Vá tạm: chọn queu…
- Under the Hood: Building out the infrastructure for Graph Search Bài tóm tắt · Meta · 2013
…kết quả, để chỉ lấy phần quan trọng nhất. - Dựng index bằng MapReduce từ bảng Hive, cộng pipeline cập nhật trực tuyến riêng đưa thay đổi vào index trong vài giây (Facebook 2013: hơ…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ry thật của họ (không dùng TPC-H/TPC-DS): query một–hai pha MapReduce nhanh hơn 10–100 lần trên Presto, tỉ lệ thuận với số job MR; query chỉ quét bảng thì phụ thuộc tốc độ đọc của…
- Netflix Billing Migration to AWS — Part II Bài tóm tắt · Netflix · 2016
…g Aegisthus đọc SSTable Cassandra ra JSON trên S3, Pig chạy MapReduce mỗi ngày; Sqoop đẩy cả Oracle và Cassandra vào Hive để join khi điều tra. - Migrate từng nước: tắt các API khô…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- Learn to stop using shiny new things and love MySQL Bài tóm tắt · Pinterest · 2015
…; Pinterest dùng HBase cho feed), log (Kafka → Secor → S3 → MapReduce). Scale vượt một máy thì cần shard tự làm (bài hẹn viết sau). Vì sao - Tác giả cho rằng phần lớn startup có yê…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…lại được. - Spark có Livy, Hive có HiveServer2. Khó nhất là MapReduce và hơn 300 job chạy lệnh shell tuỳ ý ( aws s3 sync , hadoop distcp , script Python). Đã cân nhắc tự viết servi…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
…. - Cùng dữ liệu đó còn nuôi Developer Dashboard cho khách (MapReduce trên S3), nhờ schema ổn định. Vì sao - Gom sẵn lúc ghi thì đọc rẻ: hệ log không phải ghép nhiều dòng lúc query…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…an vì mỗi lần thử 30 phút) và song song (phải reshuffle như MapReduce). Ba vùng hoạt động: batch đủ dài (hầu hết event xử lý trong batch hiện tại); batch ngắn sát ngưỡng (event xử…