Tìm kiếm
40 kết quả cho “Broker”. Tìm không phân biệt dấu.
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…là gốc của mất ổn định: - Đặt số partition là bội số của số broker và số consumer đều trên các node; khi thêm broker/consumer thì chỉnh lại để vẫn là bội số. - Giới hạn băng thông…
- Finding Kafka's throughput limit in Dropbox infrastructure Bài tóm tắt · Dropbox · 2019
…r kích thước khác nhau; topic có số partition gấp 10 lần số broker (mỗi broker lead đúng 10 partition) để tránh tranh chấp ghi. - Rút không gian tham số về hai chiều chính: số mess…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…trên Lucene, query viết bằng BQL gồm cả lọc lẫn relevance, broker fan-out tới mọi searcher node rồi gộp top N. - Lý do thay Sensei (theo LinkedIn): phải giữ toàn bộ inverted index…
- Did you mean "Galene"? Bài tóm tắt · LinkedIn · 2014
…hoá theo đồ thị) → nhiều vertical (member, job, company) → Broker của mỗi vertical (viết lại thêm, fan-out tới Searcher, gộp hoặc rerank) → Searcher trên một shard (retrieve, chấm…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 2 - Migration) Bài tóm tắt · Yelp · 2022
…Tron Nhiều hệ nội bộ đọc file kafka discovery ; họ chỉ đổi broker list trỏ sang điểm vào của mesh để giữ tương thích, và nhân dịp bỏ Puppet làm nguồn sự thật. Các bước 1. Dựng loa…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…mer realtime. Những gì vỡ ở quy mô này 1. Giới hạn mạng của broker quan trọng hơn CPU: replication, fan-out, relay xuyên region, retry, copy lên S3 đều cộng vào. Broker nhỏ nhận dữ…
- Multi-region high availability for Kafka workloads with a single Stretch Cluster Bài tóm tắt · Redpanda · 2026
…er. Thay đổi chính - Stretch Cluster (GA): một cụm logic có broker trải trên nhiều cụm Kubernetes, thường mỗi cụm một AZ, region, thậm chí một cloud. Mỗi partition sao chép bằng Ra…
- Scaling Slack's Job Queue Bài tóm tắt · Slack · 2017
…ng thái): app PHP/Hack POST HTTP, Kafkagate giữ kết nối tới broker. Ưu tiên sẵn sàng hơn nhất quán : chỉ chờ leader ack (rủi ro nhỏ mất job nếu broker chết trước khi replicate); gh…
- Yelp Công ty Thành viên
Kafka của Yelp (hàng chục tỷ message/ngày) chuyển từ EC2 + Puppet lên PaaS nội bộ PaaSTA trên Kubernetes với operator tự viết và Cruise Control (2021) ; migration không downtime bằng cách gấp đôi broker rồi dời…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 1 - Architecture) Bài tóm tắt · Yelp · 2021
…a trên Kubernetes) như Cassandra và Flink. Thay đổi chính - Broker chạy thành pod trong các pool của PaaSTA, với EBS gỡ ra gắn lại được (thay host không phải copy lại dữ liệu qua m…
- Business Continuity & Disaster Recovery in the Microservices world Bài tóm tắt · Walmart · 2019
…SQL Server). Messaging không replicate, vì khâu trạng thái broker với trạng thái DB rất khó; dùng DB để phát lại message. - Với microservice, mỗi DB replicate độc lập , nên ở bên…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…ion, kiểm soát file nhỏ, phục hồi lỗi) từ job ngoài vào sát broker Kafka . Theo Alibaba, cái bị bỏ không phải việc xử lý dữ liệu mà là một tầng di chuyển dữ liệu, một mớ logic viết…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…ile/web gửi được qua HTTP, gom lô qua nhiều client giảm CPU broker. Thêm: ghi tới nhiều cụm Kafka, ghi bất đồng bộ (trả lời ngay khi payload hợp lệ và vào buffer; chấp nhận mất ít…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Making LinkedIn's Organic Feed Handle Peak Traffic Bài tóm tắt · LinkedIn · 2018
…e-peak-traffic) Bối cảnh - FollowFeed (): followfeed-query (broker) gửi song song tới nhiều followfeed-storage rồi gộp. Hai chỉ số QoS: Full QoS (mọi timeline đều trả về) và Partia…
- How Postman Engineering handles a million concurrent connections Bài tóm tắt · Postman · 2020
…ce khác) và fork socketio-adapter , Redis (ElastiCache) làm broker trung tâm, tách node đọc/ghi. Tự viết thay vì mua gateway thương mại để giữ logic nghiệp vụ tích luỹ nhiều năm và…
- Me and my shadow (link!): Disaster recovery replication made easy Bài tóm tắt · Redpanda · 2026
…u theo region. Thay đổi chính - Shadow link chạy ngay trong broker của cụm đích, đọc từ cụm nguồn bằng Kafka API thường; cụm nguồn không biết có link (chỉ thấy thêm tải đọc). - Sao…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Trigger.dev Công ty Thành viên
Nền tảng background job chạy trên Postgres. Năm 2024 vacuum bị chặn vì xmin horizon kẹt làm bảng queue (Graphile Worker) đầy dead tuple và CPU 99%; failover mới gỡ được . Năm 2026, để nâng cấp cụm Aurora 56 TB mà không…
- Constraint Management for cluster operation safety and reliability at Twitter Bài tóm tắt · Twitter · 2023
…- Team Messaging (Kafka và PubSub) chạy hàng chục cụm Kafka broker trên hybrid Mesos, mỗi cụm từ vài chục đến vài trăm broker. Dữ liệu replicate n bản nên mất tối đa n-1 máy là an…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- RocketMQ High-Availability Paper Admitted to ACM FSE: Replication-Free Failover Bài tóm tắt · Alibaba · 2026
…che, crash recovery đã chín muồi giữ nguyên; sửa ít vào lõi Broker nên nâng phiên bản cộng đồng rẻ, và tính năng storage sau này không cần làm lại phần HA. Bài học cho SWE - Không…
- Circuit Breaker not only for HTTP calls! (based on resilience4j) Bài tóm tắt · Allegro · 2024
…event thành công/thất bại theo từng phương thức qua message broker ; - một microservice giữ một circuit breaker cho mỗi phương thức , nhận event và cập nhật trạng thái; - đổi trạng…