Tìm kiếm
18 kết quả cho “Retention”. Tìm không phân biệt dấu.
- Questioning the Lambda Architecture Bài tóm tắt · LinkedIn · 2014
…tream. (1) giữ toàn bộ log cần xử lý lại trong Kafka (ví dụ retention 30 ngày); (2) khi cần tính lại, chạy bản thứ hai của job từ đầu log, ghi ra bảng output mới , tăng độ song son…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
Pipeline feature thông thường: event Kafka được ETL vào HDFS, job Spark định kỳ tính feature rồi đẩy tới recommender. Trễ từ vài giờ tới vài ngày giữa hành động và lúc recommendation phản ánh nó.
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
Shopify chạy Airflow production hơn hai năm (2022) cho trích xuất dữ liệu, huấn luyện model, bảo trì bảng Iceberg, mô hình hoá DBT; Airflow 2.2 trên Kubernetes, Celery executor, MySQL 8.
- Sizing Your IIoT Table Before You Deploy Bài tóm tắt · Tiger Data · 2026
Một bản đo cảm biến là 20 byte (timestamp, tag ID, float), nhưng nằm trong một bảng truy vấn được thì tốn 95,6 byte, nên dự án tính 12 TB thành 60 TB. Theo Tiger Data, pilot 50 cảm biến nói rất ít về nhà máy 10.000 tag…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Online index migration and shard-scaling in OpenSearch with AOSC Bài tóm tắt · Atlassian · 2026
…uence number, đọc lại được theo khoảng (cần soft delete); - retention lease : đánh dấu "đừng cắt lịch sử từ số này trở đi", để luồng phát lại còn đó khi cần. - Backfill bằng Engine…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…ocal tăng tuyến tính. 3. Giới hạn request rate của S3: tăng retention từ 7 lên 21 ngày để điều tra rồi giảm lại tạo một cơn bão delete , làm chậm ghi lên S3, đĩa local tăng nhanh.…
- How we store and process millions of orders daily Bài tóm tắt · Grab · 2022
…phải xử lý được trùng lặp và sai thứ tự ngay từ thiết kế. - Retention là quyết định kiến trúc : giữ dữ liệu mãi mãi là một khoản chi phí. - Tính năng "tự động" của managed DB (TTL)…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…ghi mới vào cụm vệ tinh, đọc gộp cả hai cụm, để chính sách retention một tuần tự dọn bên cũ. Cụm vệ tinh chỉ 32 DataNode, mỗi node 9 triệu replica làm block report quá lớn khi xử…
- Postgres High Availability with CDC Bài tóm tắt · PlanetScale · 2025
…trỏ connector vào replica bất kỳ. Thành công chỉ phụ thuộc retention của binlog; consumer chậm không chặn được switchover, tệ nhất là connector phải snapshot lại. Bài học cho SWE…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…, dừng ghi vào cụm cũ, ghi sang cụm mới, tắt cụm cũ khi hết retention. Cùng quy trình dùng để chuyển topic giữa cụm và thử loại EC2 mới. - Tách cụm chính (đầu 2021): cụm 90 broker…
- How We Made QStash And Upstash Workflow Reliable At Scale Bài tóm tắt · Upstash · 2026
…gration kho log: ghi kép tới khi kho mới có đủ lịch sử bằng retention rồi mới chuyển đọc (). Liên quan - - - - Cùng công ty:…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…remote không sẵn sàng. Khoảng 56 tỉ data point sau dọn theo retention, ingest hàng chục nghìn series mỗi giây (2020); Grafana dùng VictoriaMetrics như datasource Prometheus, truy v…