Tìm kiếm
14 kết quả cho “Databus”. Tìm không phân biệt dấu.
- Open sourcing Databus: LinkedIn's low latency change data capture system Bài tóm tắt · LinkedIn · 2013
…s://engineering.linkedin.com/data-replication/open-sourcing-databus-linkedins-low-latency-change-data-capture-system) Bối cảnh - LinkedIn có nhiều hệ lưu trữ chuyên biệt: DB OLTP n…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…; binlog MySQL vừa để replicate trong cụm vừa làm nguồn cho Databus. Secondary index cập nhật đồng bộ với dữ liệu gốc. - Helix quản lý cụm: từ state model (mỗi partition một master…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…flush đồng bộ có thể làm pipeline đứng vài phút. - CDC dùng Databus. Thay đổi chính - Brooklin (production từ 10/2016 ): service phân tán chuyển dữ liệu giữa các hệ, mở rộng bằng c…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…OLAP, Hadoop, Teradata, inGraphs. - Hạ tầng log sớm nhất là Databus : lớp cache log trên các bảng Oracle cũ, để nhiều hệ (graph, search index) subscribe thay đổi DB. - Khoảng 2008,…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…sau đó thêm replica chỉ đọc, đồng bộ bằng phiên bản đầu của Databus, kèm logic biết khi nào đọc replica là an toàn. Bài ghi chú rằng mô hình master/slave chỉ là giải pháp trung hạn…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…a LinkedIn. Đọc kèm . Bối cảnh - Tác giả từng xây Espresso, Databus, Kafka; khi sang team hạ tầng analytics (Hadoop) thấy người ta hỏi nhau "dataset nào đúng" suốt: lưu trữ và tính…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
Đỉnh 4,8 triệu profile/giây, request tới storage gấp đôi mỗi năm (2023). Profile hơn 99% là đọc.