Tìm kiếm
19 kết quả cho “Batch insert”. Tìm không phân biệt dấu.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Deploying key transparency at WhatsApp Bài tóm tắt · WhatsApp · 2023
Mã hoá đầu cuối chỉ đáng tin nếu hai đầu biết public key của nhau là thật. Public key do WhatsApp lưu và phát, nên server độc (hay bị xâm nhập) có thể đưa key giả để làm person-in-the-middle.
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…ớc đặt tên (đã không đầu tư từ đầu, giờ khó hiểu). Vì sao - Batch theo giờ + nạp lại toàn bộ khi có update rẻ hơn CDC nhiều khi dữ liệu nhỏ và chỉ cần độ tươi theo giờ (). - Idempo…
- Open sourcing kubenetmon: how we monitor data transfer in ClickHouse Cloud Bài tóm tắt · ClickHouse · 2025
ClickHouse Cloud chạy trên AWS, GCP, Azure, hàng chục region, mỗi region nhiều cụm Kubernetes, multi-tenant (nhiều khách trên cùng phần cứng).
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…(web UI, trạng thái job trong DB), scheduler chia job thành batch task (mỗi task một file), đẩy vào message queue; worker scale tới hàng nghìn instance. Mọi task trong batch có cùn…
- An AKS Performance Journey: Part 2 — Networking It Out Bài tóm tắt · ASOS · 2021
Sau phần 1, PLP trên AKS vẫn chậm hơn Cloud Services khoảng 100 ms ở percentile cao. Log có nhiều timeout gọi API, kèm lỗi getaddrinfo EAIAGAIN từ NodeJS và các lần chờ đúng 5 giây.
- Under the Hood of the Grammarly Editor, Part Two: How Suggestions Work Bài tóm tắt · Grammarly · 2022
Editor dùng giao thức operational transformation (OT) với định dạng Delta (insert, delete, retain) cho cả văn bản, thay đổi của người dùng và gợi ý từ backend. Backend quét văn bản rồi gửi gợi ý về client.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- ClickHouse Công ty Thành viên
ClickHouse Cloud có thêm Postgres managed, và với dịch vụ đó WAL archival là thứ bảo đảm khôi phục được. Năm 2026, khi đưa Postgres vào môi trường ít tài nguyên, họ viết lại WAL-G (Go) thành WAL-RUS (Rust) để bộ nhớ dự…
- Incident report: Runs list and logs degraded Bài tóm tắt · Trigger.dev · 2026
…query nặng không tranh RAM với merge. - Partition nhỏ hơn, batch insert lớn hơn để tạo ít part hơn. - Thay đổi ClickHouse production phải thử trên đường merge với dữ liệu giống pr…
- Common Performance Pitfalls of Modern Storage I/O Bài tóm tắt · ScyllaDB · 2026
Hai phần trước của series tìm ra hai nguyên nhân làm instance lớn "không scale": hàng đợi công bằng trong IO Scheduler của Seastar tự bóp băng thông còn một phần nhỏ so với thông số, và block size/căn chỉnh của XFS gây…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…ch ly. - File nhỏ xử lý nhiều tầng: gộp trong bộ đệm, micro-batch 32 MB, file đích 64 MB, cuối cùng compaction nền. Partition theo trường, theo thời gian, bucket, truncate, kết hợp…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
Security Insights quét định kỳ mọi account, zone, bản ghi DNS để tìm cấu hình sai. Hai vấn đề: quét 1–2 tuần một lần, và nhiều account free phải tự bật mới được quét.
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…Khoảng 2015, data lake chuẩn của ngành là file, chỉ append, batch. Workload quan trọng của Uber thì khác: dữ liệu thay đổi (vòng đời chuyến, trạng thái đơn, thuộc tính thiết bị), s…
- Jepsen: PostgreSQL 12.3 Bài tóm tắt · Jepsen · 2020
…trường hợp trong 2 phút), trùng đúng ví dụ "write skew" và "batch processing" trong bài báo SSI của PostgreSQL mà SSI sinh ra để chặn; mọi trường hợp đều có xung đột đọc-ghi trên d…
- Prometheus High Availability and Fault Tolerance Strategy, Long Term Storage with VictoriaMetrics Bài tóm tắt · Miro · 2020
…nhân đôi sau DNS active/passive (một điểm nhận duy nhất cho batch job, lambda); Blackbox nhân đôi; exporter trên node không cần nhân. - Lưu dài hạn bằng VictoriaMetrics bản cluster…