Tìm kiếm
33 kết quả cho “Idempotent load”. Tìm không phân biệt dấu.
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…cầu đầy đủ tuyệt đối và trễ cho phép tới hàng giờ thì batch idempotent có kiểm đối chiếu đơn giản hơn streaming có cơ chế bù. Bài học cho SWE - Với dữ liệu chỉ thêm, copy theo khoả…
- Integrating Neo4j Into Your Stack Bài tóm tắt · Doximity · 2022
…đọc), giới hạn thread để ghi dồn không đè leader. - Upsert idempotent bằng MERGE trên UUID, vì có thể reset offset và replay cả topic. - Thứ tự đến lệch: quan hệ AUTHOR OF có thể…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Incident report for September 18, 2026: When Deletion Cascades Exhausted Our Database Connections Bài tóm tắt · Inngest · 2026
…checkpoint. 2. Retry khuếch đại thay vì được hấp thụ: không idempotent ở mức transaction, không có gì xếp hàng phía trước. 3. Query chờ khoá chiếm chỗ trong pool , biến tranh khoá…
- Stack Overflow Công ty Thành viên
Phản ví dụ nên đọc sớm cho niềm tin "lớn thì phải scale out". Năm 2009, với 16 triệu page view mỗi tháng, Stack Overflow chạy hai web server và một SQL Server, chạm giới hạn thì nâng RAM; theo Jeff Atwood, phần cứng rẻ…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…đích, để dùng lại phần tăng mà không quét lại bảng đích. - Idempotent: hầu hết bảng dùng ReplicatedReplacingMergeTree (cùng khoá thì giữ bản cuối), nên nạp lại một giờ bao nhiêu l…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…sibility timeout, at-least-once là mặc định : consumer phải idempotent, timeout đặt theo thời gian xử lý tệ nhất, hoặc gia hạn theo message (). - Database tính tiền theo capacity đ…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- Roshi: a CRDT system for timestamped events Bài tóm tắt · SoundCloud · 2014
…trên máy thường. - Dùng CRDT (thao tác kết hợp, giao hoán, idempotent) để có nhất quán cuối khi lỗi mà không phải tự lo điều phối phức tạp: một kiểu set gần LWW-element-set có dọn…
- Avoiding Double Payments in a Distributed Payments System Bài tóm tắt · Airbnb · 2019
…trạng thái hỏng, nên client phải thông minh hơn và API phải idempotent (chuyển tiền nhiều nhất một lần). - Yêu cầu: giải pháp chung cho nhiều service; latency cực thấp nên không là…
- Allegro Công ty Thành viên
Allegro (Ba Lan) đi từ 3 developer với dữ liệu lưu trong file (1999) → scale bằng tự viết cache, connection pool, search engine bằng C trên Oracle (~2005) → framework tự chế trong cùng codebase (2008–2009, code mới vẫn…
- ClickHouse Công ty Thành viên
ClickHouse Cloud có thêm Postgres managed, và với dịch vụ đó WAL archival là thứ bảo đảm khôi phục được. Năm 2026, khi đưa Postgres vào môi trường ít tài nguyên, họ viết lại WAL-G (Go) thành WAL-RUS (Rust) để bộ nhớ dự…
- AWS Multi-Account Architecture with Terraform, Yeoman, and Jenkins Bài tóm tắt · Slalom Build · 2018
…kinsfile); ưu tiên Terraform khi có resource gốc (khai báo, idempotent), không thì script Python SDK viết idempotent. Metadata mọi tài khoản ghi vào một bảng DynamoDB để script và…
- How Coinbase built a governed platform for internal operations Bài tóm tắt · Coinbase · 2026
…ề xuất khỏi thực thi cho cùng lúc điểm duyệt, bước thực thi idempotent và audit cả yêu cầu lẫn hành động. - Hai rate limiter: một giới hạn số khách khác nhau một caller chạm tới tr…
- How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server Bài tóm tắt · Kubernetes · 2026
…ợc tính đúng; phải thiết kế reconcile chịu được dữ liệu cũ (idempotent, dựa vào conflict). - Sửa object lấy từ cache dùng chung trong Predicate/EventHandler làm hỏng index của mọi…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- From Local to Global: Building Seamless B2C Product Integration at Mercari Bài tóm tắt · Mercari · 2025
…. Liên quan - · - Cùng series: · · (cùng ý một luồng upsert idempotent cho live sync và backfill) - Index dẫn xuất phát sau commit:…
- Timestone: Netflix's High-Throughput, Low-Latency Priority Queueing System Bài tóm tắt · Netflix · 2022
…ua script (Redis chạy nguyên tử). Mọi API đổi trạng thái là idempotent. - Index phụ cho quan sát: sau khi Redis trả lời, đồng thời trả cho client và phát event sang Kafka; hai job…
- Stack Overflow: How We Do Deployment - 2016 Edition Bài tóm tắt · Stack Overflow · 2016
…g song trên mọi DB Q&A (hàng trăm DB); - mỗi migration phải idempotent ; mỗi DB có bảng Migrations lưu tên file và hash, hash lệch thì dừng; - đặt số thứ tự migration bằng cách "gi…