Tìm kiếm
38 kết quả cho “Offset”. Tìm không phân biệt dấu.
- How we built a queue on top of Kafka Bài tóm tắt · Monzo · 2024
…ại cho mọi consumer group khác); muốn bỏ thì CLI chỉ commit offset trên deadletter. - Xử lý đồng thời trong một partition: goroutine xử lý song song nhiều message. Cái khó là commi…
- Me and my shadow (link!): Disaster recovery replication made easy Bài tóm tắt · Redpanda · 2026
…ũ: công cụ ngoài như MirrorMaker 2 chạy trên một cụm riêng; offset ở cụm đích khác cụm nguồn nên phải dịch offset , có thể sinh bản trùng khi link chập chờn. - Sao chép cũng dùng c…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…cho mọi người xem metadata và tự tạo topic, tăng partition; offset exporter ra Prometheus và dashboard lag theo topic/consumer; gộp runbook thành một trang, dashboard thành một. Ít…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Resiliency and Disaster Recovery with Kafka Bài tóm tắt · eBay · 2020
…Đổi lại cụm passive ngồi không, region xa chịu latency, và offset của consumer group khác nhau giữa hai cluster . MirrorMaker 2 có checkpoint offset và RemoteClusterUtils để dịch…
- LIquid: The soul of a new graph database, Part 1 Bài tóm tắt · LinkedIn · 2020
…ấu trúc wait-free: mọi cạnh được append vào một graph log ; offset trong log đóng vai trò thời gian ảo. Mỗi đỉnh trong index là một mini-log các cạnh liên quan, kèm offset. Query c…
- Introducing uForwarder: The Consumer Proxy for Kafka Async Queuing Bài tóm tắt · Uber · 2026
…service qua gRPC, nhận mã trạng thái, gộp kết quả và commit offset khi an toàn. Lý do ban đầu: giới hạn scale theo partition, head-of-line blocking, hỗ trợ nhiều ngôn ngữ. Lúc viết…
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
…→ commit metadata ở Control Plane (để một nơi trung tâm gán offset xác định) → ack. Ở cấu hình latency thấp (batch 50 ms, S3EOZ), khoảng 30 ms gom + 20 ms ghi + 50 ms commit : Cont…
- Automatic Apache Kafka Migrations With Orbit Bài tóm tắt · WarpStream · 2026
…hường phục vụ nhiều team. - Orbit (đã có) nhân bản topic và offset của consumer group từ cụm nguồn, giữ nguyên offset từng record . Consumer chỉ việc đổi bootstrap URL, từng nhóm c…
- Getting from tested to battle-tested Bài tóm tắt · Jane Street · 2025
…rt từ snapshot và trước khi ring buffer đầy, nếu client hỏi offset trước snapshot thì server trả về byte NUL từ vùng trống thay vì lỗi, tức dữ liệu hỏng . - Bug đã nằm sẵn từ khi c…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…của đổ dữ liệu vào lake (giải mã message, map schema, quản offset, commit transaction, kiểm soát file nhỏ, phục hồi lỗi) từ job ngoài vào sát broker Kafka . Theo Alibaba, cái bị b…
- Jepsen: Redpanda 21.10.1 Bài tóm tắt · Jepsen · 2022
…ll không đơn điệu, aborted read, circular information flow, offset không nhất quán, mất hoặc trễ ghi. Một số xảy ra trên cụm khoẻ; process pause vài giây đủ gây mất dữ liệu. - Mặc…
- Redpanda Công ty Thành viên
Streaming tương thích Kafka, Redpanda Cloud chạy BYOC trên ba cloud. Trong sự cố GCP 12/6/2025, theo Redpanda, hàng trăm cluster không bị ảnh hưởng vì không có metadata hay dịch vụ quan trọng nằm ngoài cluster…
- Sparkplug — a non-optimizing JavaScript compiler Bài tóm tắt · V8 (Google) · 2021
…gần như không tốn chi phí dịch khung. Chỉ khác: ô bytecode offset được thay bằng bảng ánh xạ hai chiều địa chỉ code ↔ offset, và ô trống dùng để cache feedback vector. - Gọi built…
- Zero Ops Schema Migration: WarpStream Schema Linking Bài tóm tắt · WarpStream · 2025
…ằng cách chép topic nội bộ schemas và theo dõi tiến độ bằng offset. Cách đó gắn với registry dựa trên Kafka. Thay đổi chính - Schema Linking chép liên tục mọi schema sang registry…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…lient: KPL là daemon C++ khó debug, KCL cần DynamoDB để lưu offset; ở hai công ty gần nhất tác giả đều phải tự viết KPL mỏng hơn. Kafka lưu offset trong chính nó. - Kinesis giới hạ…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…a cùng partition, đánh dấu từng message xong, và chỉ commit offset khi mọi message trước đó đã xong (commit logic cục bộ, đẩy lên broker định kỳ và lúc rebalance), tránh mất dữ liệ…
- Better Crash-safe replication for MySQL Bài tóm tắt · Booking.com · 2014
…ch duy nhất để không chạy lại hay bỏ sót; cùng ý với commit offset của consumer (). - Phục hồi của một node không được đổ tải lên node dùng chung (master). Thêm một tầng đệm cục bộ…
- How we made ClickStack 5x faster for ClickHouse observability Bài tóm tắt · ClickHouse · 2026
…iá index, được bù bằng thay đổi sau. - block number + block offset : trước đây xem chi tiết một dòng log phải filter bằng mọi cột đã trả về (primary key không duy nhất). Bật lưu ha…
- Integrating Neo4j Into Your Stack Bài tóm tắt · Doximity · 2022
…. - Upsert idempotent bằng MERGE trên UUID, vì có thể reset offset và replay cả topic. - Thứ tự đến lệch: quan hệ AUTHOR OF có thể tới trước node User/Publication; khi đó tạo node…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…ại vị trí GTID và thời điểm nguồn; khi phải dựng lại (reset offset, migrate/failover DB làm đổi lịch sử binlog/GTID, hết hạn giữ log, kiểm tra phát hiện lệch) thì clone snapshot, đ…
- Fastest Table Sort in the West – Redesigning DuckDB's Sort Bài tóm tắt · DuckDB Labs · 2021
…khi block bị đẩy ra đĩa, con trỏ trong hàng được đổi thành offset (pointer swizzling) để đọc lại được. - Predication: bỏ nhánh if/else trong vòng gộp để CPU không đoán sai nhánh.…
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…heo cron riêng, team phải tự chép cron của pipeline và tính offset để trỏ đúng batch, nên test hay chạy sớm, muộn hoặc nhầm batch, sinh alert nhiễu và DPI báo sai. Nay Genchi nghe…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…c của DC đó. - Vận hành từ đầu: backup gia tăng lên NAS kèm offset Kafka để khôi phục; node riêng chỉ ingest và backup, không phục vụ traffic; broker gửi request trùng tới 1–3 repl…
- From Local to Global: Building Seamless B2C Product Integration at Mercari Bài tóm tắt · Mercari · 2025
…hàng, ngừng bán) và để sửa dữ liệu lệch; cấu hình theo job: offset bắt đầu/kết thúc, kích thước trang, độ song song, rate limit. - Sync Tracker: chống trùng theo message ID, kiểm t…
- Uncached I/O in Prometheus Bài tóm tắt · Prometheus · 2026
…/O , bỏ qua page cache. - Khó ở chỗ direct I/O đòi căn lề : offset trong file, địa chỉ bộ đệm, kích thước ghi đều phải là bội số kích thước sector logic (thường 512 hoặc 4096 byte)…
- MySQL sharding at Quora Bài tóm tắt · Quora · 2020
…oá hoặc None (quét mọi shard); không hỗ trợ join, group by, offset. Chọn cột shard theo QPS và độ nhạy latency của các query không theo cột đó; cross-shard index là bảng riêng, khô…
- The Deceptively Simple Act of Writing to Disk Bài tóm tắt · ScyllaDB · 2026
…ải nguyên nhân chính. - blktrace cho thấy phân bố căn chỉnh offset: XFS 4K thì đa số request căn 4K; XFS 1K thì đa số căn 1K hoặc 2K; XFS 1K + truncate thì căn 64K. XFS bố trí file…
- Scaling Slack's Job Queue Bài tóm tắt · Slack · 2017
…trạng thái): mỗi topic một relay nhờ khoá Consul; chỉ tiến offset Kafka khi đã ghi được vào Redis, Redis lỗi thì thử mãi; lỗi riêng của job thì đẩy lại Kafka thay vì vứt hay chặn…
- How We Replaced Our Data Pipeline With Zero Downtime Bài tóm tắt · Twilio · 2014
…hận ghi: shard0 sinh số lẻ, shard1 số chẵn ( auto increment offset / increment ), rồi cắt replication; - xoá phần dữ liệu không còn thuộc shard và rebuild bảng để thu hồi dung lượn…
- 6 Event-Driven Architecture Patterns — Part 2 Bài tóm tắt · Wix · 2020
…ransaction của Kafka : Checkout gói việc gửi event mới cùng offset của message vừa đọc trong một producer transaction; consumer phía sau chỉ thấy message khi transaction xong. Prod…
- BookKeeper: Yahoo's Distributed Log Storage Bài tóm tắt · Yahoo · 2015
…hung (). - Queue bền có thể giữ luôn vị trí consumer, giống offset của Kafka (). - Hệ messaging đa tenant sớm muộn gặp bài toán cô lập tenant, như Atlassian 2026 (). Liên quan - -…