Tìm kiếm
40 kết quả cho “HDFS”. Tìm không phân biệt dấu.
- Dynamometer: Scale Testing HDFS on Minimal Hardware with Maximum Fidelity Bài tóm tắt · LinkedIn · 2018
…eering.linkedin.com/blog/2018/02/dynamometer--scale-testing-hdfs-on-minimal-hardware-with-maximum) Bối cảnh - Tháng 3/2015: ngay sau khi thêm 500 máy vào cụm HDFS chính, thao tác c…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…hêm một vòng gấp đôi. - Đọc nhất quán từ Standby (Observer, HDFS-12943): CPU không còn nhanh lên, một NameNode không theo kịp lượng thao tác. Thêm node Observer (Standby phục vụ đọ…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…Nhánh batch: ingest bằng Spark vào data lake (Parquet trên HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Onehouse, đưa upsert xuống khoảng 10 ph…
- Superuser Gateway: Guardrails for Privileged Command Execution Bài tóm tắt · Uber · 2026
…drails/) Bối cảnh - Data platform của Uber dùng GCS, OCI và HDFS. Một nhóm nhỏ engineer thỉnh thoảng cần quyền superuser để chuyển dữ liệu, sửa quyền, dọn đường dẫn hỏng, gỡ sự cố…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…i vì sao thiếu dữ liệu. Rollback ngay, nhưng với tốc độ ghi HDFS lúc đó, mất gần hai tuần để đuổi kịp 1,5 ngày trễ. Thay đổi chính - Job thành các bước đo được bằng sự kiện: Gobbli…
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
…eo bài là cụm Kafka lớn nhất họ biết) → Camus (MapReduce) → HDFS (DeepSea). Mục tiêu: 99,999% đầy đủ , trễ tối đa 5 ngày. Thay đổi chính (theo từng tháng đo) - 12/2016, khoảng 25%…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…napshot service khôi phục backup thành file Avro để ETL vào HDFS và bootstrap consumer Databus mới (Databus chỉ giữ buffer cố định); việc này cũng kiểm tra backup ngay khi tạo. Vì…
- Auditing content features in FollowFeed Bài tóm tắt · LinkedIn · 2019
…e lúc chấm điểm. - Feature đã ingest được ETL từ Kafka sang HDFS (Gobblin). Response kèm feature được lấy từ broker dark canary (không phục vụ traffic thật) để không thêm tải lên n…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…ad dump lúc sự cố cho thấy phần lớn thread chờ một khoá của HDFS client dùng chung trên server HiveSync; Copy Listing (liệt kê file, chia block) chiếm 90% thời gian submit job, và…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…gấp đôi mỗi năm ; cụm lớn nhất khoảng 10.000 node năm 2021. HDFS (một NameNode giữ mọi metadata) chạm giới hạn trước nên được đầu tư từ 2016; YARN ResourceManager nhẹ hơn nên được…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…có lúc một mẻ tới 10 TB . - Mô hình S3 data lake : S3 thay HDFS, dựng cụm ETL/analytics/ML trỏ vào cùng dữ liệu trên S3, tức tách compute khỏi storage. Thay đổi chính - Cụm EMR mặ…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…ghbor: dataset ad-hoc không giới hạn tranh chung Metastore, HDFS, quota compute. - Nút thắt vận hành: mọi việc ở mức database (ACL, sửa DDL, TTL, lineage, xử lý sự cố) đều qua một…
- Fixing Linux filesystem performance regressions Bài tóm tắt · LinkedIn · 2020
…che nguyên nhân. Liên quan - (một hồi quy upstream khác, ở HDFS) · - · ·…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…h - Pipeline feature thông thường: event Kafka được ETL vào HDFS, job Spark định kỳ tính feature rồi đẩy tới recommender. Trễ từ vài giờ tới vài ngày giữa hành động và lúc recommen…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…hìn tỉ dòng và 3 triệu file mới mỗi ngày; 350 PB logic trên HDFS và Google Cloud Storage; 10 PB ingest mỗi ngày; 350.000 commit/ngày; 70.000 lượt table service (compaction, clean,…
- Yahoo Công ty Thành viên
Yahoo tạo BookKeeper năm 2009 làm WAL cho HDFS: một kho log tuần tự nhân bản theo quorum trên phần cứng phổ thông, metadata trong ZooKeeper. Đến 2015 nó là lớp lưu bền cho Cloud Messaging Service đa tenant (hơn 60 ứng…
- Tracking the Money — Scaling Financial Reporting at Airbnb Bài tóm tắt · Airbnb · 2017
…ời chỉ chạy được hai ngày một lần. - Hệ mới chạy Spark trên HDFS, viết bằng Scala , mô hình event handler : - Platform event (đặt, sửa, huỷ, dịch vụ đã cung cấp) và payment event (…
- Inside Minerva: building scalable observability for eBay's monetization platform Bài tóm tắt · eBay · 2026
…g (khuyến mãi hết hạn). - Trước Minerva: dữ liệu warehouse (HDFS) về quá muộn để theo dõi một đợt rollout theo giờ, lại nằm ở vùng bảo mật khác; điều tra phải tự ghép từ nhiều nguồ…
- Garbage Collection Optimization for High-Throughput and Low-Latency Java Applications Bài tóm tắt · LinkedIn · 2014
Khi dựng thế hệ mới của feed data platform (index cập nhật từ member, company, group để phục vụ feed), team làm prototype gần đủ chức năng, chạy lại workload query của hệ đang chạy để đo GC trong thời gian dài. Java…
- Maximizing Our Publishing Platform Reach with Network Distribution Bài tóm tắt · LinkedIn · 2014
…ột. - Email Pulse: kết nối, follow và bài viết được ETL vào HDFS; job Hadoop hằng ngày/tuần tính mạng lưới của member và bài mới từ lần gửi trước. - Lọc spam: thư viện Unified Cont…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…workflow Hadoop vài lần mỗi ngày: event Kafka được ETL vào HDFS, join với đồ thị fan-out, gắn feature, chấm điểm bằng model, rồi chuyển cho ATC (cổng chung cho mọi liên lạc với me…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ụm Hadoop, nhưng cùng đọc DW trên S3. Không dùng đĩa (không HDFS). Hầu hết job nghẽn CPU; bộ nhớ task đặt cao (7 GB, chấp nhận rủi ro nhỏ quá cấp) cho join lớn. - Phân vai: user và…
- Onehouse Công ty Thành viên
Nguồn duy nhất của Onehouse trong wiki là bản tóm tắt (2024) talk năm 2023 của Uber về hạ tầng dữ liệu, nên mọi nhận định là theo Uber qua lời kể của Onehouse: kiến trúc Lambda phục vụ bốn loại nhu cầu từ streaming dưới…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- Scaling data access by moving an exabyte of data to Google Cloud Bài tóm tắt · Twitter · 2022
…BigQuery, Dataflow, Data Studio). - Dữ liệu cũ chủ yếu trên HDFS on-prem, định dạng Thrift , xử lý bằng job Scalding (map-reduce). - Cách đầu tiên: mỗi team tự đưa dữ liệu của mình…
- The data platform cluster operator service for Hadoop cluster management Bài tóm tắt · Twitter · 2023
…ạy riêng ở mỗi data center và không nằm trên đường dữ liệu (HDFS, YARN) nên SLO uptime không cần cao. Vì sao - Theo Twitter: biến thao tác nhiều bước dễ sai thành một bước có theo…
- Scaling Exact COUNT(DISTINCT) for High-Cardinality Non-Rollup Metrics Bài tóm tắt · Uber · 2026
…ường mới hay đường cũ, nên kết quả Bitmap-64 cũ đã lưu trên HDFS vẫn gộp được, không pipeline nào phải tính lại lịch sử . Kiểm đúng: so với COUNT(DISTINCT) thô trên 10 họ metric, t…
- BookKeeper: Yahoo's Distributed Log Storage Bài tóm tắt · Yahoo · 2015
…cao của Apache năm 2015. - Ban đầu làm write-ahead log cho HDFS , sau dùng cho hệ messaging Hedwig, rồi làm lớp lưu bền cho Cloud Messaging Service (CMS) của Yahoo. - Theo Yahoo,…