Tìm kiếm
9 kết quả cho “Metadata retention”. Tìm không phân biệt dấu.
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…CS; IAM giới hạn ai được upload (production chỉ qua CD). 2. Metadata phình làm chậm mọi thứ (UI, và migration khi nâng cấp Airflow mất hàng giờ): một DAG xoá lịch sử quá 28 ngày (đ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…vice online qua cụm drop box ở từng DC. Vì sao - Kích thước metadata còn tăng được bằng heap, nhưng lượng thao tác phải chia cho nhiều server; đọc chiếm 95% nên tách đọc là đòn bẩy…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…ụm ZK riêng . - Tự phục vụ: Kafka Manager cho mọi người xem metadata và tự tạo topic, tăng partition; offset exporter ra Prometheus và dashboard lag theo topic/consumer; gộp runboo…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…etal (IP tĩnh). - Trong Kubernetes: kube-state-metrics xuất metadata khoảng 30 loại tài nguyên, nên cần thứ chịu được hàng trăm triệu data point đang hoạt động trên mọi cụm. Storag…