Tìm kiếm
18 kết quả cho “YARN”. Tìm không phân biệt dấu.
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…ngineering.linkedin.com/blog/2021/scaling-linkedin-s-hadoop-yarn-cluster-beyond-10-000-nodes) Bối cảnh - Cụm Hadoop gấp đôi mỗi năm ; cụm lớn nhất khoảng 10.000 node năm 2021. HDFS…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…nh từ xa, dùng Ansible/Salt, hoặc tự tạo loại job mới trong YARN; đều bị loại vì phức tạp hoặc phải tự làm lớp bảo mật. - YARN Distributed Shell (tính năng ít người biết, có sẵn tr…
- Dynamometer: Scale Testing HDFS on Minimal Hardware with Maximum Fidelity Bài tóm tắt · LinkedIn · 2018
…file, block), và workload client. - Dynamometer là ứng dụng YARN gồm ba phần: - Hạ tầng giả lập: một NameNode thật nạp FsImage của production ; nhiều DataNode giả mỗi máy ( Simulat…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…512 MB, dưới 200 file), thời gian chủ yếu là cấp container YARN và khởi động JVM; chạy mapper ngay trong JVM của AM ( mapreduce.job.ubertask. ), bỏ khoảng 268.000 lần khởi động co…
- Migrating from Apollo Tooling to GraphQL Codegen at Yelp Bài tóm tắt · Yelp · 2026
…ra rác. (2) Fork hai plugin và sửa trực tiếp, quản lý bằng yarn patch. - Đẩy ngược lên upstream: cộng tác với maintainer đúng lúc họ đang làm v6; codebase lớn của Yelp làm môi trư…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…a là 90% file là file nhỏ. Thư mục /system (log, config của YARN, Spark history) chứa nửa số file nhưng chỉ 0,07% dung lượng. Chuyển sang cụm vệ tinh có NameNode cỡ bằng cụm chính…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Managing Software Dependency at Scale Bài tóm tắt · LinkedIn · 2018
…LinkedIn), nhập được đồ thị từ công cụ khác (CocoaPods, npm/Yarn), phân biệt phụ thuộc build, test, runtime; API Rest.li. - Bỏ graph DB, chuyển sang Espresso: đồ thị của một produc…
- The data platform cluster operator service for Hadoop cluster management Bài tóm tắt · Twitter · 2023
…ng ở mỗi data center và không nằm trên đường dữ liệu (HDFS, YARN) nên SLO uptime không cần cao. Vì sao - Theo Twitter: biến thao tác nhiều bước dễ sai thành một bước có theo dõi, g…
- Building Uber's Multi-Cloud Secrets Management Platform to Enhance Security Bài tóm tắt · Uber · 2025
…secret, nhiều nền tảng deploy (Up/Kubernetes, Odin, Flink, YARN…), có loại chỉ cho một mật khẩu hợp lệ mỗi lúc nên đổi là có downtime. Hai bộ API: Secret Provider (Generate, Revok…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…ần HDFS. - Scale out: core theo HDFS dùng ≥ 80% ; task theo YARN memory còn ≤ 15%, app pending ≥ 2, container pending ≥ 75. Scale in chậm hơn: cooldown 30–60 phút (5 phút thì cụm v…