Tìm kiếm
22 kết quả cho “Samza”. Tìm không phân biệt dấu.
- Samza Aeon: Latency Insights for Asynchronous One-Way Flows Bài tóm tắt · LinkedIn · 2018
…h — [bài gốc](https://engineering.linkedin.com/blog/2018/04/samza-aeon--latency-insights-for-asynchronous-one-way-flows) Bối cảnh - Metric request/response chỉ đo được tới khi resp…
- Real-time Distributed Tracing for Website Performance and Efficiency Optimizations Bài tóm tắt · LinkedIn · 2015
…khắp: trace của các service trong cùng một request gốc được Samza gom lại và phát thành một event trên message bus (Kafka) để phân tích realtime. Thay đổi chính - inCapacity đọc kế…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…gược, kiểm lúc build). LinkedIn chủ yếu dùng Kafka; một job Samza đơn giản chuyển MCE thành call API. Hàng triệu MCE mỗi ngày. - Phục vụ bằng nhiều kho: Espresso (document), Galene…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…tính từng phần (kiểu JsonObject để linh hoạt), timestamp. - Samza đọc event từ Kafka, viết bằng Samza SQL để giới hạn ở lọc, join stream-table (thuộc tính lấy từ Venice), projectio…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ệu có sẵn dạng log realtime nhiều subscriber, xử lý stream (Samza, Storm) trở nên tự nhiên. State của stream processor là bảng dẫn xuất từ changelog; log compaction giữ bản ghi mới…
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…hoặc chuyển dần bằng A/B test. - LinkedIn làm cách này với Samza; giữ hơn 1 PB dữ liệu Kafka online, nhiều ứng dụng dùng retention dài cho đúng mục đích này. Kafka được thiết kế t…
- Running Kafka At Scale Bài tóm tắt · LinkedIn · 2015
…chỉ vì quá nhiều), tracking (mọi hành động người dùng; nuôi Samza, Hadoop, search index, tính tiền; dữ liệu lãnh đạo nhìn thấy). - Hai tầng cụm cho multi-DC: mỗi loại có cụm local…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…target. Thay đổi chính - Concourse: nền tảng nearline trên Samza quyết định gửi thông báo nào cho ai (không tự gửi). - Workflow manager chuẩn hoá request, đẩy vào Kafka partition…
- Community-focused Feed optimization Bài tóm tắt · LinkedIn · 2019
…và broker gửi bất đồng bộ tracking event lên Kafka, một job Samza join thành một event đầy đủ cho mỗi request, để dữ liệu train khớp dữ liệu lúc phục vụ. - Model: thêm mục tiêu "co…
- Solving manageability challenges at scale with Nuage Bài tóm tắt · LinkedIn · 2019
…lix, Fuse (chống lạm dụng), Couchbase, Ambry (blob), Pinot, Samza, Pro-ML, Brooklin, Venice. Mục tiêu "hạ tầng vô hình": team sản phẩm tự tạo và quản lý tài nguyên mà không phải hi…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…thử lại. - Đường ghi: cache updater và bootstrapper là job Samza đọc stream CDC và stream bootstrap của Brooklin . Nhất quán cuối cùng. - Hợp đồng cache theo request: header "stal…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…eb server đọc. - Nhu cầu mới là dữ liệu dẫn xuất từ stream (Samza), ví dụ "impression discounting": gợi ý đã xem mà không bấm bị hạ hạng gần realtime. Thay đổi chính - Venice , kế…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…ster. Năm 2015: ba data center chính và các PoP. - Còn lại: Samza, Espresso, Voldemort, Pinot; workflow offline Hadoop + Voldemort tính sẵn People You May Know; client template, Bi…
- Now You See Me, Now You Don't: LinkedIn's Real-Time Presence Platform Bài tóm tắt · LinkedIn · 2018
Chấm xanh "đang online" cho khoảng 500 triệu thành viên (2018): mỗi giây hàng nghìn người online/offline, cần phát thay đổi tới mọi kết nối đang xem.
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…sau 2–3 giờ, có file cuối, không mất dữ liệu). - Kiến trúc: Samza tổng hợp sự kiện theo cửa sổ → dashboard time series; Superset (MySQL) cho metric theo dataset và REST API trả ngữ…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…2.300 node Storm . Thị trường đã có Flink, Spark Streaming, Samza, Apex, Dataflow, và các benchmark có sẵn không giống tải thật. - Team Storm của Yahoo tự viết benchmark (mã nguồn…