Tìm kiếm
33 kết quả cho “schema registry”. Tìm không phân biệt dấu.
- Zero Ops Schema Migration: WarpStream Schema Linking Bài tóm tắt · WarpStream · 2025
…g bình — [bài gốc](https://www.warpstream.com/blog/zero-ops-schema-migration-warpstream-schema-linking) Bài ra mắt tính năng của nhà cung cấp; mọi nhận định là theo WarpStream. Bối…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…event thống nhất : envelope (ngữ cảnh, metadata, tham chiếu schema, phần JSON không schema để đổi linh hoạt) + payload. Envelope nằm trong Kafka header. Event định nghĩa bằng Proto…
- How Netflix Scales its API with GraphQL Federation (Part 1) Bài tóm tắt · Netflix · 2020
…ành công lớn, rồi lộ nút thắt: đội Studio API xa domain nên schema kém; nối backend mới vào graph làm tay; một đội nhỏ gánh vận hành cho graph ngày càng lớn. - Đầu 2019 Apollo công…
- Designing Clear Street's First Transactional Outbox Pattern Bài tóm tắt · Clear Street · 2020
…a service lên Kafka, phá đóng gói và trói API streaming vào schema DB. Họ thêm một lớp outbox : - Debezium chỉ nghe các bảng có hậu tố events . - Mọi event là message Avro ; người…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…AWS riêng; người khác không biết stream tồn tại, không biết schema, ý nghĩa trường, đảm bảo chất lượng; đổi schema làm consumer production hỏng, và theo tác giả "nhiều RCA ra đời"…
- Running Kafka At Scale Bài tóm tắt · LinkedIn · 2015
…client mã nguồn mở: TrackerProducer tự chèn header, đăng ký schema, gửi audit; consumer tự lấy schema và giải Avro. Một team Kafka (gồm committer) hỗ trợ mọi team dùng Kafka thống…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ười viết không hiểu ngữ nghĩa bảng, phải đuổi theo thay đổi schema, schema DB không hợp cho ML; job hằng ngày ảnh hưởng DB production nên DBA phải dựng replica chỉ đọc, có DB phải…
- Designing MCP Gateway: Uber's MCP Management Platform Bài tóm tắt · Uber · 2026
…hoặc cập nhật một MCP server ảo, parse IDL lấy tên method, schema request/response và comment, dùng LLM sinh mô tả tool dễ hiểu cho agent, dịch schema sang JSON-RPC 2.0 của MCP. S…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…-LFU) → storage node (MySQL). Profile lưu dạng Avro binary; schema tiến hoá. OHC có hit rate thấp vì cục bộ từng router và vì request dùng projection. Thay đổi chính - Couchbase là…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- WarpStream Công ty Thành viên
Kafka "diskless" trên object storage. Năm 2025 ra mắt cụm đa region: agent ghi quorum 3 bucket ở 3 region, control plane trên DynamoDB Global Tables hoặc Spanner đa region với một leader được bầu; mất trọn một region mà…
- Evolving Reddit's ML Model Deployment and Serving Architecture Bài tóm tắt · Reddit · 2021
…à viết code ứng dụng (tải model, nạp vào RAM lúc start, sửa schema, viết class biến đổi dữ liệu); mọi model chạy trên mọi instance. Thay đổi chính - Các giới hạn của thiết kế cũ, t…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…dPlus); có hợp đồng kèm test bắt buộc (độ tươi, khối lượng, schema, kiểm tra nghiệp vụ); không vi phạm chính sách (ví dụ thiếu phân loại dữ liệu nhạy cảm). Genchi: quan sát chất lư…
- Me and my shadow (link!): Disaster recovery replication made easy Bài tóm tắt · Redpanda · 2026
…; cấu hình topic; offset đã commit của consumer group; ACL; schema registry (tuỳ chọn). - Mô hình active-passive, bất đồng bộ : producer chỉ được ack khi ghi xong ở cụm nguồn; topi…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…tag), Behavior (ai tạo, ai dùng, sở hữu, lineage), Change (schema tiến hoá, ETL tạo ra nó). Đối tượng được mô tả: bảng trong kho (Hive, Presto, MySQL, S3), dashboard, event/schema…
- Accelerating real-time alerts with Redpanda: a successful migration story Bài tóm tắt · Redpanda · 2023
…ơng thích Kafka API, một binary C++ gồm broker, HTTP proxy, schema registry, Raft). Theo Equal Experts, benchmark cho latency thấp ngang Kafka chạy không replication (lựa chọn rủi…
- Clear Street Công ty Thành viên
Nguồn duy nhất của Clear Street (hạ tầng môi giới chứng khoán, thành lập 2018) trong wiki là bài 2020 về transactional outbox: mỗi service có API gRPC và API streaming qua Kafka; Debezium chỉ nghe các bảng hậu tố events…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…Registry (hợp đồng có phiên bản giữa producer và consumer: schema, độ tươi, độ đầy đủ). - Chứng nhận không ngăn được lỗi lúc chạy: bảng đến trễ, metric hỏng vì dependency, stream…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…t cả bằng Terraform, có chủ sở hữu để quy chi phí và alert; schema Avro gắn với event id để validate. Data Portal gom schema registry, data catalog, data contract, cấu hình phát hi…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- The Events Rail: Inside Atlassian's Webhook Delivery Platform Bài tóm tắt · Atlassian · 2026
…ẳng : sản phẩm publish lên một event substrate nội bộ (kiểm schema, lưu bền), substrate fan-out vào Events Queue của rail. - Hai giai đoạn, hai queue: - Event Matching (CPU-bound):…
- Integrating Neo4j Into Your Stack Bài tóm tắt · Doximity · 2022
…mà không cần backfill; tombstone xoá bản ghi đã xoá. Avro + schema registry làm hợp đồng; unique constraint trên UUID làm lưới an toàn. - Dùng UUID thay ID tự tăng khi dữ liệu qua…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…số bản ghi) và "skinny" (key rỗng, giới hạn theo số key). - Schema registry Avro lưu ngay trong RocksDB của từng node. - Relevance: sinh code Java tối ưu từ cấu hình transform + hồ…
- Behind the scenes: Redpanda Cloud's response to the GCP outage Bài tóm tắt · Redpanda · 2025
…storage; replication factor bắt buộc ít nhất 3; Kafka API, Schema Registry, HTTP Proxy đều dư thừa. - Đường găng chỉ có VPC, compute, đĩa gắn trực tiếp (trừ khi bật Private Servic…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…