Tìm kiếm
29 kết quả cho “Kinesis”. Tìm không phân biệt dấu.
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
….com/blog/how-we-build/scaling-streamhub-transitioning-from-kinesis-to-kafka-for-145-billion-daily-events) Bối cảnh - StreamHub là event bus của Atlassian (click, impression, API c…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…llow là quyết định lập team Streaming Platform. Các so sánh Kinesis/Kafka ghi theo tác giả. Bối cảnh - Zillow chạy trên AWS và dùng SQS, SNS, Kinesis. Theo tác giả, lý lẽ "Kafka th…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…ng nhanh (Espresso, Oracle, MySQL, Kafka, Azure Event Hubs, Kinesis). - Mirror Kafka giữa các cụm và data center dùng Kafka MirrorMaker (KMM) : mỗi cụm KMM chỉ nối một cặp cụm Kafk…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…tin rao bán, tin cho thuê, tịch biên, khoản vay... - Amazon Kinesis Firehose (managed) đổ stream vào S3 , làm "Zillow Data Lake" giữ toàn bộ lịch sử cho Spark và cho các thương hiệ…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ời gian và báo cho producer. - Khó khăn: dùng Terraform tạo Kinesis/Firehose theo yêu cầu của team khác không scale (tài khoản data lake dùng chung). KPL (Kinesis Producer Library)…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…Thay đổi được phát lại thành stream qua DynamoDB Streams → Kinesis consumer → Kafka. - Làm lại search indexing trên Nebula: index sinh offline từ snapshot hằng ngày, chia shard sẵ…
- Instacart's Item Availability Architecture: Solving for scale and consistency Bài tóm tắt · Instacart · 2023
…tuổi cho phép thì được làm mới ở job nền; cập nhật gom qua Kinesis rồi ghi vào DB. - Lý do: full sync thường xuyên cho hàng trăm triệu item không scale và phần lớn điểm không đổi…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Atlassian Công ty Thành viên
Atlassian lên AWS năm 2016. Tenant Context Service (ánh xạ tenant → vị trí, gọi nhiều lần trong mỗi request) được tối ưu qua bốn bài học "không có phép màu": DynamoDB, load balancer, cache, client . Cùng năm 2019, nền…
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
…up ad-tech mà Zalando mua lại): ứng dụng Java phân tán, đọc Kinesis và Nakadi (lớp trên Kafka), giữ bid event trong cache bộ nhớ; tải tới khoảng 200 MB/s. - Hai giới hạn: - không c…
- Using an event-driven architecture to improve Jira Software responsiveness Bài tóm tắt · Atlassian · 2019
…ontend. - Nguồn event: đọc từ StreamHub , event bus nội bộ: Kinesis bên trong, at-least-once, mỗi consumer có một SQS queue riêng. Jira vốn đã đẩy event lên đó cho mục đích khác, n…
- Our not-so-magic journey scaling low latency, multi-region services on AWS Bài tóm tắt · Atlassian · 2019
…nh, yêu cầu availability và latency thấp hơn TCS một bậc) → Kinesis → bản ghi được phi chuẩn hoá cho từng use case → các TCS độc lập ở mỗi region chỉ đọc. Client tự chuyển sang reg…
- The Events Rail: Inside Atlassian's Webhook Delivery Platform Bài tóm tắt · Atlassian · 2026
webhooks-processor ("events rail") đánh giá, ghép và giao event từ Jira, Confluence, Bitbucket tới app Forge, repository hook, endpoint audit log. Forge là consumer lớn nhất.
- Online index migration and shard-scaling in OpenSearch with AOSC Bài tóm tắt · Atlassian · 2026
Team Core Index Serving (Search Platform) vận hành OpenSearch phía sau search của Confluence, Jira và Rovo: hơn 300 cụm, hơn 2.500 data node, 1,7 PB, cụm dùng chung và cụm theo tenant ở 13 region (2026).
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…Presto, MySQL, S3), dashboard, event/schema, stream (Kafka, Kinesis), job xử lý, và cả con người (team, dữ liệu hay dùng). - Amundsen là "Google cho dữ liệu": ô tìm kiếm bằng tiếng…
- Auditing AWS IAM for better security practices Bài tóm tắt · Postman · 2019
…anstalk, RDS, ElastiCache, nhóm Data Science dùng DynamoDB, Kinesis, Redshift, EMR…). Thay đổi chính - IAM phản ánh sơ đồ tổ chức: IAM user theo email nhân viên; IAM group theo tea…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…2,1 đích = 88.000 queue và còn tăng; Kafka, RabbitMQ, NSQ, Kinesis đều không scale tới số lượng đó một cách đơn giản. Thay đổi chính - Queue ảo trên database: thứ tự giao nằm tron…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…nguyên các thành phần cũ; 3. theo mẫu kiến trúc đang thịnh (Kinesis → Lambda) mà không phân tích có hợp không: chậm và làm chi phí cloud tăng mạnh; Spark/Beam hợp hơn. - Lần cuối (…
- Ratequeue: Core Queueing-And-Rate-Limiting System (chaos engineering cho failover) Bài tóm tắt · Twilio · 2017
…iây, gửi lên Nagios; - 3 lần lỗi thì Nagios đẩy sự kiện vào Kinesis; - Lazarus (dịch vụ tự động hoá cụm) đọc sự kiện, kiểm tra trạng thái cả cụm , rồi chạy workflow: xác định shard…
- How We Built a Cross-Region Caching Library Bài tóm tắt · Wix · 2022
…n trả giá trị cũ. Một sync service đọc CDC của DynamoDB qua Kinesis Data Streams và đẩy thành message Kafka nội bộ (một topic mỗi bảng); một dispatcher có bảng định tuyến bảng → to…