Tìm kiếm
28 kết quả cho “Hadoop batch”. Tìm không phân biệt dấu.
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…về nội dung trong mạng (Project Pepper) chạy bằng workflow Hadoop vài lần mỗi ngày: event Kafka được ETL vào HDFS, join với đồ thị fan-out, gắn feature, chấm điểm bằng model, rồi…
- Maximizing Our Publishing Platform Reach with Network Distribution Bài tóm tắt · LinkedIn · 2014
…l Pulse: kết nối, follow và bài viết được ETL vào HDFS; job Hadoop hằng ngày/tuần tính mạng lưới của member và bài mới từ lần gửi trước. - Lọc spam: thư viện Unified Content Filter…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ort (key-value), Espresso (document), recommendation, OLAP, Hadoop, Teradata, inGraphs. - Hạ tầng log sớm nhất là Databus : lớp cache log trên các bảng Oracle cũ, để nhiều hệ (grap…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…ần giao của hai bên, và nó cắt người dùng khỏi hệ sinh thái Hadoop. - LinkedIn đã thử: nhiều kiến trúc lai với Hadoop và cả một API riêng để code chạy "trong suốt" ở real-time hoặc…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…production. Thay đổi chính - Bốn thành phần: pipeline batch Hadoop MapReduce tạo một dataset mới mỗi ngày → HBase phục vụ với độ trễ thấp → API (có kiểm quyền truy cập) → web app.…
- Retail Graph — Walmart's Product Knowledge Graph Bài tóm tắt · Walmart · 2020
…REST API và Hive UDF để chạy hàng trăm triệu sản phẩm trên Hadoop on-prem; hai pipeline định kỳ rồi nạp hàng loạt vào Cosmos DB trên Azure . So mô hình đồ thị LPG và RDF, chọn LPG…
- Real-time Analytics at Massive Scale with Pinot Bài tóm tắt · LinkedIn · 2014
…rộng lẫn chiều sâu. Ví dụ Jobs Analytics: xử lý và nén trên Hadoop rồi đẩy lại vào Oracle, nên không gần realtime; phải cắt bớt dimension; cron hằng ngày xoá bản ghi cũ. Thay đổi c…
- Keeping Counts In Sync Bài tóm tắt · SoundCloud · 2018
…bucket giờ/ngày/tháng thay đổi (job ngày và job tháng trên Hadoop/Crunch, đọc dữ liệu từ pipeline event dựa trên Kafka). Dựa trên nhận xét lượt nghe hầu như không đến từ quá khứ (…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…ics. - Voldemort Read-Only là nơi phục vụ dữ liệu dẫn xuất: Hadoop tính dataset (ví dụ xếp hạng kết nối cấp hai cho People You May Know) rồi đẩy nguyên batch bất biến lên để web se…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…ns-data-pipeline-monitoring-system-) Bối cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), job batch chạy hàng giờ trên hàng trăm dataset. Giám…
- Project Voldemort: Scaling Simple Storage at LinkedIn Bài tóm tắt · LinkedIn · 2009
…azon: KV phân tán, độ trễ thấp, sẵn sàng cao. Không cố thay Hadoop (phân tích), DB (query phức tạp) hay search. - Open source khoảng 2/2009, gần 50 đóng góp từ bên ngoài. - Hướng t…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…giữ các lake đồng bộ, cả bulk lẫn tăng dần, dùng Distcp của Hadoop (copy phân tán bằng MapReduce) cho bản sao lớn hơn 256 MB. - Q3/2022, điểm gãy: lượng nhân bản mỗi ngày từ 250 TB…
- Walmart Công ty Thành viên
Nhiều team ở Walmart dùng Cassandra làm nguồn chính (hàng chục tới hàng trăm nghìn ops/giây). Năm bài học (2017): shard key nhân tạo chống partition lệch, tách Solr khỏi Cassandra, không đọc/ghi cả hàng, cẩn thận với…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…ema evolution không downtime, change stream, bulk ingest từ Hadoop. - Năm 2015: khoảng 30 ứng dụng (Member Profile, InMail, một phần homepage và mobile), hơn chục cụm, hàng triệu r…