Tìm kiếm
40 kết quả cho “Hadoop”. Tìm không phân biệt dấu.
- The data platform cluster operator service for Hadoop cluster management Bài tóm tắt · Twitter · 2023
…ructure/2023/the-data-platform-cluster-operator-service-for-hadoop-cluster-management) Bối cảnh - Twitter dùng Apache Hadoop bản gốc, không dùng giải pháp Hadoop enterprise, nên th…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…og/2021/the-exabyte-club--linkedin-s-journey-of-scaling-the-hadoop-distr) Bối cảnh - Hạ tầng analytics gần gấp đôi mỗi năm. Cụm lớn nhất: 20 PB cuối 2015 → 500 PB năm 2020 ; 145 tr…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…tps://engineering.linkedin.com/blog/2021/scaling-linkedin-s-hadoop-yarn-cluster-beyond-10-000-nodes) Bối cảnh - Cụm Hadoop gấp đôi mỗi năm ; cụm lớn nhất khoảng 10.000 node năm 202…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ort (key-value), Espresso (document), recommendation, OLAP, Hadoop, Teradata, inGraphs. - Hạ tầng log sớm nhất là Databus : lớp cache log trên các bảng Oracle cũ, để nhiều hệ (grap…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…ần giao của hai bên, và nó cắt người dùng khỏi hệ sinh thái Hadoop. - LinkedIn đã thử: nhiều kiến trúc lai với Hadoop và cả một API riêng để code chạy "trong suốt" ở real-time hoặc…
- Running Kafka At Scale Bài tóm tắt · LinkedIn · 2015
…quá nhiều), tracking (mọi hành động người dùng; nuôi Samza, Hadoop, search index, tính tiền; dữ liệu lãnh đạo nhìn thấy). - Hai tầng cụm cho multi-DC: mỗi loại có cụm local trong t…
- Did you mean "Galene"? Bài tóm tắt · LinkedIn · 2014
…blend nhiều vertical ở Federator. - Dựng index offline trên Hadoop bằng chuỗi MapReduce (làm giàu dữ liệu bằng thuật toán relevance, rồi template dựng index và data model). - Stati…
- Real-time Analytics at Massive Scale with Pinot Bài tóm tắt · LinkedIn · 2014
…rộng lẫn chiều sâu. Ví dụ Jobs Analytics: xử lý và nén trên Hadoop rồi đẩy lại vào Oracle, nên không gần realtime; phải cắt bớt dimension; cron hằng ngày xoá bản ghi cũ. Thay đổi c…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…về nội dung trong mạng (Project Pepper) chạy bằng workflow Hadoop vài lần mỗi ngày: event Kafka được ETL vào HDFS, join với đồ thị fan-out, gắn feature, chấm điểm bằng model, rồi…
- Dynamometer: Scale Testing HDFS on Minimal Hardware with Maximum Fidelity Bài tóm tắt · LinkedIn · 2018
…uy mô vì test quy mô đắt và nhiều dev không có cụm lớn. Cụm Hadoop của họ từ hàng trăm lên hàng nghìn node, hàng trăm nghìn ứng dụng mỗi ngày, nhu cầu gần gấp đôi mỗi năm. Thay đổi…
- Maximizing Our Publishing Platform Reach with Network Distribution Bài tóm tắt · LinkedIn · 2014
…l Pulse: kết nối, follow và bài viết được ETL vào HDFS; job Hadoop hằng ngày/tuần tính mạng lưới của member và bài mới từ lần gửi trước. - Lọc spam: thư viện Unified Content Filter…
- Making the LinkedIn experimentation engine 20x faster Bài tóm tắt · LinkedIn · 2020
…SL production phủ 99,9% nhánh; rồi chạy 8 tỷ test case trên Hadoop (4.000 tổ hợp tham số × 2 triệu bộ thuộc tính member) so v1 với v2, phủ 99,9998% nhánh. - Rollout bằng chính A/B…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…production. Thay đổi chính - Bốn thành phần: pipeline batch Hadoop MapReduce tạo một dataset mới mỗi ngày → HBase phục vụ với độ trễ thấp → API (có kiểm quyền truy cập) → web app.…
- Keeping Counts In Sync Bài tóm tắt · SoundCloud · 2018
…bucket giờ/ngày/tháng thay đổi (job ngày và job tháng trên Hadoop/Crunch, đọc dữ liệu từ pipeline event dựa trên Kafka). Dựa trên nhận xét lượt nghe hầu như không đến từ quá khứ (…
- Retail Graph — Walmart's Product Knowledge Graph Bài tóm tắt · Walmart · 2020
…REST API và Hive UDF để chạy hàng trăm triệu sản phẩm trên Hadoop on-prem; hai pipeline định kỳ rồi nạp hàng loạt vào Cosmos DB trên Azure . So mô hình đồ thị LPG và RDF, chọn LPG…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…ành đọc–biến đổi–ghi trong bộ nhớ, 8 luồng song song. - V3: Hadoop MapReduce (Java) thay .NET, cụm 100 node dựng lên rồi tắt mỗi lần chạy; lịch bằng PowerShell + SQL Server. Code d…
- Scaling data access by moving an exabyte of data to Google Cloud Bài tóm tắt · Twitter · 2022
2019: Twitter muốn "dân chủ hoá" việc phân tích dữ liệu cho nhân viên và tăng tốc ML. Họ hợp tác với Google Cloud để chuyển một phần hạ tầng dữ liệu sang GCP (BigQuery, Dataflow, Data Studio).
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- Project Voldemort: Scaling Simple Storage at LinkedIn Bài tóm tắt · LinkedIn · 2009
…azon: KV phân tán, độ trễ thấp, sẵn sàng cao. Không cố thay Hadoop (phân tích), DB (query phức tạp) hay search. - Open source khoảng 2/2009, gần 50 đóng góp từ bên ngoài. - Hướng t…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…thể. - Kafka: nhiều pipeline riêng (vào data warehouse, vào Hadoop, log, tracking, queue cho InMail, cập nhật search khi đổi profile) phải scale từng cái; Kafka thay tất cả bằng mộ…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…ics. - Voldemort Read-Only là nơi phục vụ dữ liệu dẫn xuất: Hadoop tính dataset (ví dụ xếp hạng kết nối cấp hai cho People You May Know) rồi đẩy nguyên batch bất biến lên để web se…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…ns-data-pipeline-monitoring-system-) Bối cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), job batch chạy hàng giờ trên hàng trăm dataset. Giám…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…reaming hợp với kiểu khám phá rời rạc; connector thân thiện Hadoop nên cắm được file system S3 (một tháng làm cùng Facebook là chạy thử); ANSI SQL; đã chạy production ở Facebook; h…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- Box Công ty Thành viên
Dịch vụ lưu trữ và chia sẻ file cho doanh nghiệp; nguồn duy nhất trong wiki là bài 11/2018 về hạ tầng analytics. Box coi S3 là nguồn sự thật cho dữ liệu analytics, nên tính nhất quán cuối của list() (lúc đó) biến thành…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…ema evolution không downtime, change stream, bulk ingest từ Hadoop. - Năm 2015: khoảng 30 ứng dụng (Member Profile, InMail, một phần homepage và mobile), hơn chục cụm, hàng triệu r…
- Eliminating toil with fully automated load testing Bài tóm tắt · LinkedIn · 2019
…yrouting gán mỗi member một DC chính và một DC phụ bằng job Hadoop định kỳ (theo khoảng cách và capacity từng DC); cookie do ATS đặt chỉ ra bucket trong DC. - Load test hằng ngày b…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…eo sửa cả stack. 3. Online quan trọng như offline: dump vào Hadoop chưa đủ; kiểm soát truy cập, xử lý quyền riêng tư cần query metadata mới nhất. 4. Quan hệ là công dân hạng nhất (…