Tìm kiếm
31 kết quả cho “Kafka audit log”. Tìm không phân biệt dấu.
- Running Kafka At Scale Bài tóm tắt · LinkedIn · 2015
…hó: Trung bình — [bài gốc](https://engineering.linkedin.com/kafka/running-kafka-scale) Bối cảnh - Năm 2015 Kafka chạm gần như mọi server LinkedIn: hơn 800 tỷ message/ngày (175 TB v…
- Auditing content features in FollowFeed Bài tóm tắt · LinkedIn · 2019
…ôn ngữ, hashtag, vị trí tác giả...) cùng vào FollowFeed qua Kafka; storage node partition theo tác giả, chỉ giữ feature của activity mình index. - Một comment nằm ở node khác với b…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Constraint Management for cluster operation safety and reliability at Twitter Bài tóm tắt · Twitter · 2023
…fety-and-reliability-at-twitter) Bối cảnh - Team Messaging (Kafka và PubSub) chạy hàng chục cụm Kafka broker trên hybrid Mesos, mỗi cụm từ vài chục đến vài trăm broker. Dữ liệu rep…
- Authorization at LinkedIn's Scale Bài tóm tắt · LinkedIn · 2019
…oklin báo để xoá cache. - Log mọi lần check bất đồng bộ qua Kafka để debug, phân tích traffic và phục vụ audit; số liệu đẩy lên inGraphs. - Thực thi phân tán, dữ liệu tập trung: AC…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
…ho thao tác real-time như giữ tiền thẻ). Đã loại: batch qua Kafka (trễ phía client và consumer 1–2 giây là bình thường), stream có thứ tự toàn cục (quá phức tạp, phải compaction th…
- DataHub: A generalized metadata search & discovery tool Bài tóm tắt · LinkedIn · 2019
…lập. - Ingest hai đường: API Rest.li (cần đọc-sau-ghi) hoặc Kafka với Metadata Change Event (schema Avro sinh tự động từ Pegasus; mọi thay đổi schema bắt buộc tương thích ngược, ki…
- Data Mesh at Grab (Part II): The foundational tools behind certification Bài tóm tắt · Grab · 2026
…i, hoặc job Airflow kéo định kỳ. Mọi thay đổi được phát lên Kafka thành event (change log mức thấp cho indexer và audit, event ngữ nghĩa mức cao cho workflow). - Chứng nhận được tí…
- Zero Sum by Design: 10 Years of Uber's Payments Platform Bài tóm tắt · Uber · 2026
…cái giữ một khúc vòng đời dòng tiền (tạo, xử lý, thu, trả), Kafka làm bus; hai nguồn sự thật chung là kho money order và kho số dư. Phần lớn dòng tiền đi qua pipeline bất đồng bộ n…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…cảnh - Dữ liệu vào Hadoop chủ yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), job batch chạy hàng giờ trên hàng trăm dataset. Giám sát lúc đó chỉ là trạng thái pass/fail củ…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Secure by default: WarpStream's BYOC deployment model Bài tóm tắt · WarpStream · 2024
…hách, khách tự chọn instance, dùng giảm giá cam kết, và với Kafka thì tránh phần lớn phí mạng. - Theo WarpStream, BYOC cho Kafka trước đây hiếm vì Kafka có trạng thái trên đĩa cục…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- The Events Rail: Inside Atlassian's Webhook Delivery Platform Bài tóm tắt · Atlassian · 2026
webhooks-processor ("events rail") đánh giá, ghép và giao event từ Jira, Confluence, Bitbucket tới app Forge, repository hook, endpoint audit log. Forge là consumer lớn nhất.
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…(Hive, Presto, MySQL, S3), dashboard, event/schema, stream (Kafka, Kinesis), job xử lý, và cả con người (team, dữ liệu hay dùng). - Amundsen là "Google cho dữ liệu": ô tìm kiếm bằn…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…o region: CDC bằng Debezium (trên Kubernetes) từ Postgres → Kafka → Spark → data lake của region. Search của workspace EU có cụm Elasticsearch riêng, chỉ index dữ liệu EU. - AI the…
- Building Git infrastructure for agent-scale development Bài tóm tắt · GitHub · 2026
…ữ liệu theo workload (). Liên quan - - Cùng công ty: · · - (Kafka trên object storage, cùng hướng tách storage) - · · ·…
- How our security team handle secrets Bài tóm tắt · Monzo · 2019
…ice Go trên Kubernetes tự vận hành (kể cả etcd), Cassandra, Kafka và NSQ. - Hai cơ chế phát secret song song: Kubernetes secrets cho secret "ít nguy hiểm" (lưu plaintext trong etcd…
- Community-focused Feed optimization Bài tóm tắt · LinkedIn · 2019
…re: index node và broker gửi bất đồng bộ tracking event lên Kafka, một job Samza join thành một event đầy đủ cho mỗi request, để dữ liệu train khớp dữ liệu lúc phục vụ. - Model: th…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
…i lúc chạy: bảng đến trễ, metric hỏng vì dependency, stream Kafka vi phạm độ tươi. Thay đổi chính - Data Production Issue (DPI): biến tín hiệu chất lượng thành một quy trình sự cố,…
- How we deploy to production over 100 times a day Bài tóm tắt · Monzo · 2022
Theo Monzo, công ty lớn lên thường chậm lại: chi phí của lỗi tăng nên thêm quy trình phê duyệt, nhiều người đụng vào cùng hệ, nhiều người mới phải hiểu hệ. Hậu quả là engineer gom thay đổi thành bản phát hành lớn, vừa…