Tìm kiếm
13 kết quả cho “Hadoop MapReduce”. Tìm không phân biệt dấu.
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…tps://engineering.linkedin.com/blog/2021/scaling-linkedin-s-hadoop-yarn-cluster-beyond-10-000-nodes) Bối cảnh - Cụm Hadoop gấp đôi mỗi năm ; cụm lớn nhất khoảng 10.000 node năm 202…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…production. Thay đổi chính - Bốn thành phần: pipeline batch Hadoop MapReduce tạo một dataset mới mỗi ngày → HBase phục vụ với độ trễ thấp → API (có kiểm quyền truy cập) → web app.…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…ành đọc–biến đổi–ghi trong bộ nhớ, 8 luồng song song. - V3: Hadoop MapReduce (Java) thay .NET, cụm 100 node dựng lên rồi tắt mỗi lần chạy; lịch bằng PowerShell + SQL Server. Code d…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…ần giao của hai bên, và nó cắt người dùng khỏi hệ sinh thái Hadoop. - LinkedIn đã thử: nhiều kiến trúc lai với Hadoop và cả một API riêng để code chạy "trong suốt" ở real-time hoặc…
- Did you mean "Galene"? Bài tóm tắt · LinkedIn · 2014
…blend nhiều vertical ở Federator. - Dựng index offline trên Hadoop bằng chuỗi MapReduce (làm giàu dữ liệu bằng thuật toán relevance, rồi template dựng index và data model). - Stati…
- Dynamometer: Scale Testing HDFS on Minimal Hardware with Maximum Fidelity Bài tóm tắt · LinkedIn · 2018
…uy mô vì test quy mô đắt và nhiều dev không có cụm lớn. Cụm Hadoop của họ từ hàng trăm lên hàng nghìn node, hàng trăm nghìn ứng dụng mỗi ngày, nhu cầu gần gấp đôi mỗi năm. Thay đổi…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…ns-data-pipeline-monitoring-system-) Bối cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), job batch chạy hàng giờ trên hàng trăm dataset. Giám…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…reaming hợp với kiểu khám phá rời rạc; connector thân thiện Hadoop nên cắm được file system S3 (một tháng làm cùng Facebook là chạy thử); ANSI SQL; đã chạy production ở Facebook; h…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…giữ các lake đồng bộ, cả bulk lẫn tăng dần, dùng Distcp của Hadoop (copy phân tán bằng MapReduce) cho bản sao lớn hơn 256 MB. - Q3/2022, điểm gãy: lượng nhân bản mỗi ngày từ 250 TB…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…Reduce và hơn 300 job chạy lệnh shell tuỳ ý ( aws s3 sync , hadoop distcp , script Python). Đã cân nhắc tự viết service chạy lệnh từ xa, dùng Ansible/Salt, hoặc tự tạo loại job mới…