Tìm kiếm
30 kết quả cho “SQS”. Tìm không phân biệt dấu.
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…i, nhất quán nhưng không scale. Thay đổi chính - Hàng đợi = SQS, mỗi service một queue (tạo bằng một PR Terraform): đơn giản, không cần thứ tự hay lưu lâu như Kafka, at-least-once,…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…thêm đĩa cho lượng ảnh tăng. Thay đổi chính (các bài học) - SQS visibility timeout: quen RabbitMQ (message trả lại queue khi consumer mất kết nối), team mất thời gian mới hiểu vì s…
- Scaling Email Infrastructure for Medium Digest Bài tóm tắt · Medium · 2020
…mất ít digest. - Tất cả digest event chạy trên một hàng đợi SQS , giới hạn 500 event/giây . - Tháng 9–10/2019: thời gian "rảnh" trong ngày biến mất; tổng event/ngày chạm sức xử lý…
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
…trên Elastic Beanstalk nhận yêu cầu và đẩy vào một hàng đợi SQS cho mỗi feed . - Throttled Downloader điều chỉnh tốc độ và độ song song theo từng nguồn ; ảnh gốc ghi lên S3, lỗi và…
- Netflix Billing Migration to AWS — Part II Bài tóm tắt · Netflix · 2016
…egion; batch cũ vẫn ở DC nên dữ liệu được đồng bộ ngược qua SQS + dead letter queue về một region có đường nối thẳng tới Oracle. Proxy cloud định tuyến theo nước của user. Gia hạn…
- Utilizing Amazon DynamoDB and AWS Lambda for Asynchronous Event Publication Bài tóm tắt · Zalando · 2022
…i; retry với exponential backoff. - Hết retry thì event vào SQS dead letter queue ; một Kubernetes CronJob chạy lại cùng code Python theo chu kỳ để gửi lại và xoá khỏi hàng đợi khi…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Medium Công ty Thành viên
Năm 2015 Medium gặp throttle trên DynamoDB dù tổng capacity còn dư, vì capacity bị chia cho các partition ẩn; họ tự dựng access log qua ELK để tìm key nóng . Đầu 2018 Medium chuyển monolith Node.js có từ 2012 sang…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Using an event-driven architecture to improve Jira Software responsiveness Bài tóm tắt · Atlassian · 2019
…i bộ: Kinesis bên trong, at-least-once, mỗi consumer có một SQS queue riêng. Jira vốn đã đẩy event lên đó cho mục đích khác, nên Jira và StreamHub không phải sửa gì . - Đẩy tới cli…
- Terraform Poka-Yokes: Writing Effective, Scalable, Dynamic, and Error-Resistant Terraform Bài tóm tắt · CapitalOne · 2020
…nhớ), bọc trong module có chủ kiến theo ứng dụng (thêm SNS, SQS...). Bắt buộc tạo ứng dụng qua module có chủ kiến thì thực hành tốt (mã hoá, security group đúng, IAM role, ACL của…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…ke với Trino) → Snowpipe nạp vào Snowflake khi có thông báo SQS. Mỗi event một job Flink và một Snowpipe để scale và cô lập lỗi. - Onboard một event cần nhiều PR vào nhiều repo Ter…
- Expedia Công ty Thành viên
Bài đánh giá (2018) vì sao chuyển từ Cassandra sang DynamoDB: đổi khả năng tinh chỉnh (latency dưới 1 ms) lấy vận hành và capacity planning đơn giản; kèm danh sách khi nào không nên chuyển . Năm 2020, một bài hướng dẫn…
- How we store and process millions of orders daily Bài tóm tắt · Grab · 2022
…ng. - Pipeline Kafka nối hai DB: - Producer lỗi thì đẩy vào SQS để retry, rồi dead letter queue. - Consumer retry có back-off; trường hợp xấu nhất thì tua lại stream. - Message trù…
- The Stack That Helped Medium Drive 2.6 Millennia of Reading Time Bài tóm tắt · Medium · 2016
…e xử lý ảnh (gọi GraphicsMagick), một server xử lý hàng đợi SQS cho việc nền; SES, S3, CloudFront, nginx, Datadog, PagerDuty. Thay đổi chính - Khoảng một chục service (kiến trúc hư…
- Cache made consistent: Meta's cache invalidation solution Bài tóm tắt · Meta · 2022
…phần lớn lỗi. Liên quan - · (invalidation xuyên region qua SQS) - ·…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Active-Active for Multi-Regional Resiliency Bài tóm tắt · Netflix · 2013
…validate từ xa : mỗi lần ghi ở một region, gửi message (qua SQS) sang region kia để xoá entry; lần đọc sau ở đó tự tính lại hoặc rơi xuống Cassandra. - Deploy: môi trường tăng lên…
- Building observability into Notion's dead-letter queue Bài tóm tắt · Notion · 2026
…() có sẵn, stream task từ S3 và gửi theo batch vào overflow SQS queue của cell . Mọi lần re-enqueue được ghi lại (ai, cell nào, loại event, lý do) để biết task đã thử lại chưa và l…
- Advancing Our Chef Infrastructure Bài tóm tắt · Slack · 2024
…nhiều bản DishPig (mỗi stack một), fan-out qua SNS → nhiều SQS; message tới lệch giờ làm các stack có phiên bản cookbook khác nhau. - Chef Librarian: mỗi lần merge, GitHub Actions…
- Orchestrating Cassandra on Kubernetes with Operators Bài tóm tắt · Yelp · 2020
…o Taskerman (task manager phân tán tự viết trên ZooKeeper + SQS) quản lý, đã giảm nhiều việc tay. - PaaSTA (PaaS nội bộ) đang chuyển từ Mesos sang Kubernetes; Kubernetes hỗ trợ trạ…
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…data DB Postgres trên RDS, broker RabbitMQ (chọn thay Redis/SQS vì ổn định, chống mất dữ liệu), DAG/plugin/log trên S3, email qua SES, log về Splunk. - Airflow chỉ chạy job nhỏ; jo…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…a ghi theo tác giả. Bối cảnh - Zillow chạy trên AWS và dùng SQS, SNS, Kinesis. Theo tác giả, lý lẽ "Kafka throughput tốt hơn" không thuyết phục được lãnh đạo; ở công ty trước, chín…