Tìm kiếm
7 kết quả cho “Distcp”. Tìm không phân biệt dấu.
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…ủa Airbnb) giữ các lake đồng bộ, cả bulk lẫn tăng dần, dùng Distcp của Hadoop (copy phân tán bằng MapReduce) cho bản sao lớn hơn 256 MB. - Q3/2022, điểm gãy: lượng nhân bản mỗi ngà…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…ó NameNode cỡ bằng cụm chính nhưng ít DataNode hơn 100 lần. DistCp 100 triệu file làm NameNode treo, nên viết FailoverFS : ghi mới vào cụm vệ tinh, đọc gộp cả hai cụm, để chính sác…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…và hơn 300 job chạy lệnh shell tuỳ ý ( aws s3 sync , hadoop distcp , script Python). Đã cân nhắc tự viết service chạy lệnh từ xa, dùng Ansible/Salt, hoặc tự tạo loại job mới trong…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…là một dự án riêng. Liên quan - · - Cùng công ty: (HiveSync/Distcp) ·…