Tìm kiếm
14 kết quả cho “Venice”. Tìm không phân biệt dấu.
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…gốc](https://engineering.linkedin.com/blog/2017/02/building-venice-with-apache-helix) Bối cảnh - LinkedIn có nhiều kho chuyên biệt với đánh đổi khác nhau (kho chỉ cần put/get nhanh…
- Solving manageability challenges at scale with Nuage Bài tóm tắt · LinkedIn · 2019
…), Couchbase, Ambry (blob), Pinot, Samza, Pro-ML, Brooklin, Venice. Mục tiêu "hạ tầng vô hình": team sản phẩm tự tạo và quản lý tài nguyên mà không phải hiểu từng hệ. - Nuage là cổ…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…SQL để giới hạn ở lọc, join stream-table (thuộc tính lấy từ Venice), projection, nên processor luôn nhẹ. Kết quả qua Kafka vào Pinot , giữ 96 giờ , khoá chính là actor để lấy nhanh…
- How LIquid Connects Everything So Our Members Can Do Anything Bài tóm tắt · LinkedIn · 2023
…ứng viên; tầng ranking thứ hai chấm điểm bằng feature ML từ Venice và số liệu phân tích từ Pinot ; bước lọc chuẩn bị danh sách để hiển thị. - Một kết nối mới vài giây đã dùng được…
- Our Evolution Towards T-REX: The Prehistory of Experimentation Infrastructure at LinkedIn Bài tóm tắt · LinkedIn · 2020
…3%+); thiếu nữa thì backend đọc thuộc tính từ kho key-value Venice. Kết quả: dưới 0,2% lần evaluate chạm storage, dưới 2% cần gọi mạng. Vì sao - Cấp phát bucket bằng con người khôn…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Project Voldemort: Scaling Simple Storage at LinkedIn Bài tóm tắt · LinkedIn · 2009
LinkedIn bắt đầu bằng một DB lớn và cụm front-end (cộng một đồ thị xã hội trong RAM trên máy riêng). DB được tách thành các service riêng cho profile, search, nhóm, network update, công ty; có read replica nhưng chưa có…
- Real-time Analytics at Massive Scale with Pinot Bài tóm tắt · LinkedIn · 2014
Khoảng 2012, các sản phẩm phân tích chạy trên Oracle và Voldemort, không hợp với OLAP; dữ liệu tăng theo cả chiều rộng lẫn chiều sâu. Ví dụ Jobs Analytics: xử lý và nén trên Hadoop rồi đẩy lại vào Oracle, nên không gần…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
Trước Espresso, LinkedIn dùng Oracle (dữ liệu chính, nhất quán mạnh) và Voldemort (key-value). Phần lớn dữ liệu chính không cần đủ tính năng RDBMS nhưng lại cần đọc-sau-ghi và một change capture stream có thứ tự theo…