Tìm kiếm
40 kết quả cho “ZooKeeper”. Tìm không phân biệt dấu.
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…y ra partition, tra bảng routing cache cục bộ (cập nhật qua ZooKeeper), scatter-gather cho multi-get. - Storage node: storage engine cắm được, production dùng MySQL/InnoDB ; binlog…
- How We Partitioned Airbnb's Main Database in Two Weeks Bài tóm tắt · Airbnb · 2015
…B mới cho tin nhắn (đọc đã sang replica); đổi host DB trong Zookeeper (SmartStack phát hiện, không cần deploy) để ghi trỏ sang master mới (ghi lỗi, bắt đầu tính downtime); kill kết…
- Chaos Testing a Distributed System with Jepsen — Part II Bài tóm tắt · Appian · 2019
…a nó vào hạ tầng thật: hệ cần test (SUT) phụ thuộc Kafka và Zookeeper, binary và thư viện nằm trong kho nội bộ có xác thực, và test phải chạy liên tục chứ không chỉ trên máy dev. T…
- Call me maybe: Kafka Bài tóm tắt · Jepsen · 2013
…fka 0.8 thêm replication: mỗi partition một leader (bầu qua ZooKeeper) giữ ISR (in-sync replica); ghi commit khi mọi node trong ISR ack. LinkedIn tuyên bố chịu được f−1 lỗi với f n…
- Production testing with dark canaries Bài tóm tắt · LinkedIn · 2020
…nhân bản từ một host sang một host, mapping host-host trong ZooKeeper dựng bằng script Python. Khi thêm data center, dùng ở cả mid-tier và frontend, và instance co giãn động, mappi…
- MySQL sharding at Quora Bài tóm tắt · Quora · 2020
…→ cutover bằng rename bảng nguồn rồi cập nhật vị trí trong ZooKeeper). Nghiêng về nhất quán: có cửa sổ ngắn lỗi "table not found"; undo bằng replay ngược. Join trong MySQL bị cấm…
- Rest.li: RESTful Service Architecture at Scale Bài tóm tắt · LinkedIn · 2013
…ng bộ, hiện thực HTTP bằng Netty. - D2 (Dynamic Discovery): ZooKeeper làm registry service và host; client tự lấy thông tin mới nhất và cân bằng tải ở phía client , tránh server qu…
- Rest.li 2.x and a Protocol Upgrade Story Bài tóm tắt · LinkedIn · 2015
…tuần một nhóm service; chỉ cần sửa cấu hình D2 của service, ZooKeeper đẩy tới mọi client; client cũ vẫn gửi 1.0. Khoảng 100 service trong Q4/2014, không cần chủ service tham gia. B…
- DBLog: A Generic Change-Data-Capture Framework Bài tóm tắt · Netflix · 2019
…B, API). Active-passive với leader election bằng lease trên Zookeeper, một instance mỗi AZ. - Nền của connector MySQL/PostgreSQL trong Delta, chạy production từ 2018 cho ứng dụng s…
- Sharding Pinterest: How we scaled our MySQL fleet Bài tóm tắt · Pinterest · 2015
…heo dải trên máy vật lý; bảng cấu hình dải → host nằm trong ZooKeeper. Dữ liệu vào shard nào thì ở đó mãi; thêm capacity bằng chuyển cả shard sang máy mới (nhân bản rồi chia đôi dả…
- Accelerating real-time alerts with Redpanda: a successful migration story Bài tóm tắt · Redpanda · 2023
…g được chia dữ liệu, nhiều quá thì metadata của Kafka trong ZooKeeper thành gánh nặng. Thay đổi chính - Thử Kafka managed trước: không đạt mục tiêu latency, lại gặp giới hạn chi ph…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…; bỏ gói Debian, tự build binary từ bản fork nội bộ lên S3. Zookeeper từng phải dựng tay (dễ dựng nhầm nhiều node cùng AZ); nâng lên ZK 3.6 (thay node không cần restart cả cụm) và…
- Twitter's Blobstore Hardware Lifecycle Monitoring and Reporting Service Bài tóm tắt · Twitter · 2023
…out hoặc lỗi là máy có vấn đề. Lịch sử trạng thái lưu trong ZooKeeper ; quá ngưỡng (ví dụ hơn 6 lần/tháng, hơn 3 lần/tuần, hơn 2 lần/ngày) thì rút khỏi cụm, tắt alert, chuyển repai…
- BookKeeper: Yahoo's Distributed Log Storage Bài tóm tắt · Yahoo · 2015
…ng hay mất kết nối; metadata của bookie và ledger nằm trong ZooKeeper . - Trên mỗi bookie: entry ghi đồng bộ vào journal tuần tự (trên SSD) để bền, rồi vào entry log (đệm qua file…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
2015: dữ liệu cá nhân hoá cho search vượt sức một máy. Thay vì chỉ làm lại service đó, Airbnb xây nền tảng chung vì thấy nhiều service sẽ cần cùng thứ: phục vụ độ trễ ms cho traffic site, nhận cập nhật realtime từ…
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- The Chubby lock service for loosely-coupled distributed systems Bài tóm tắt · Google · 2006
…Google qua lời kể của Colyer . Chubby là nguồn cảm hứng cho ZooKeeper. Bối cảnh - Trước Chubby, phần lớn hệ ở Google bầu primary bằng cơ chế tự chế hoặc cần người can thiệp sau mỗi…
- A Brief History of the UUID (KSUID) Bài tóm tắt · Segment · 2017
…hi lệch đồng hồ. - Twitter Snowflake: 64 bit, k-sorted, cần ZooKeeper (). - Boundary Flake (2012): 128 bit, sắp theo thứ tự từ điển, base62, nhưng vẫn lộ host và phụ thuộc đồng hồ…
- Announcing Snowflake Bài tóm tắt · Twitter · 2010
…không tự viết cơ chế đồng bộ lại); UUID (đều cần 128 bit); ZooKeeper sequential node (không đủ hiệu năng, và phối hợp làm giảm availability). - Giải pháp: ID = timestamp + số work…
- Technical Secrets of PolarDB: High Availability - Smooth Switchover Bài tóm tắt · Alibaba · 2025
…c/ghi nguyên tử của storage chia sẻ (PolarStore), không cần ZooKeeper hay Redis, cũng không cần bỏ phiếu đa số kiểu Paxos. Primary gia hạn lease; RO dự phòng nóng thử lấy khoá định…
- Appian Công ty Thành viên
Nguồn duy nhất của Appian (nền tảng low-code) trong wiki là series 2019 về kiểm data store cam kết linearizability ở cấu hình HA (leader ghi, replica đọc) bằng Jepsen: chạy trong Docker với Kafka/Zookeeper đứng ngoài…
- Session revocations at scale Bài tóm tắt · Canva · 2026
…y): chỉ ghi nếu khối chưa đổi từ lúc đọc. - Bầu leader bằng ZooKeeper chỉ là tối ưu để bớt xung đột, không phải cơ chế đúng đắn : một node có thể dừng tạm lâu rồi tỉnh dậy ghi đè,…
- Sharding & IDs at Instagram Bài tóm tắt · Instagram · 2011
…ắp được. - Dịch vụ riêng như : 64 bit, sắp được, nhưng thêm ZooKeeper + service phải vận hành. - Ticket server kiểu Flickr: đơn giản, nhưng có thể thành nút thắt ghi; dùng nhiều DB…
- Jepsen: Redpanda 21.10.1 Bài tóm tắt · Jepsen · 2022
…treaming tương thích giao thức Kafka, dùng Raft nội bộ thay ZooKeeper, quảng bá "không mất dữ liệu mặc định" vì chỉ ack sau khi fsync trên đa số replica (Kafka mặc định có thể ack…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…lượng; đổi thành timeline key, tra partition → node qua D2 (ZooKeeper), fan-out, rồi khử trùng lặp, đa dạng hoá, sắp lại. Replica master-master, đều phục vụ đọc. - Multi-DC: viewer…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…- Chịu lỗi: controller leader/standby, dựng lại context từ ZooKeeper; node chết thì Helix dời partition, nhưng dùng delayed rebalance để sự cố ngắn không gây dời dữ liệu lớn; vì n…
- LinkedOut: A Request-Level Failure Injection Framework Bài tóm tắt · LinkedIn · 2018
…mình. Vì sao - Dùng hệ targeting đã phổ biến (LiX) thay vì ZooKeeper hay cơ chế mới giảm chi phí học và không thêm hệ trùng lặp; logic lỗi phía client thì bật bằng một lần nâng ve…
- Solving manageability challenges at scale with Nuage Bài tóm tắt · LinkedIn · 2019
…g router/app server, cache quota, nhận cập nhật tức thì qua ZooKeeper; throttle theo số request hoặc chi phí request. - Đo mức dùng tài nguyên để tính cost-to-serve, headroom, đề x…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…ation: control plane là CLI làm tay, thêm phụ thuộc (MySQL, ZooKeeper) và nhiều tính năng chưa từng chạy. Global Scheduling đa luồng không cải thiện trong mô phỏng. - Robin: chia t…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…cho tới khi làm 2PC. Metadata tập trung (MemSQL, MySQL hoặc ZooKeeper). - Giao thức MySQL thay vì tự viết client: dùng được mọi driver và công cụ sẵn có. - Bộ nhớ: maximum table me…