Tìm kiếm
40 kết quả cho “auto rollback”. Tìm không phân biệt dấu.
- Argo Rollouts at scale: Bringing Automated Rollbacks to 2,100+ services at Monzo Bài tóm tắt · Monzo · 2022
Monzo (ngân hàng số ở Anh) theo đuổi microservices: hơn 2.100 service, hơn 100 lượt deploy/ngày, hơn 27.000 lượt deploy trong năm 2021.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Automating Feature-Flag Cleanup at Scale with a Multi-Agent LLM System Bài tóm tắt · DoorDash · 2026
…: Trung bình — [bài gốc](https://careersatdoordash.com/blog/automating-feature-flag-cleanup-at-scale-with-a-multi-agent-llm-system/) Bối cảnh - Nền tảng experimentation của DoorDas…
- The Story of Apollo – Amazon's Deployment Engine Bài tóm tắt · Amazon · 2014
Khi chuyển sang service-oriented architecture, Amazon tách phần mềm thành nhiều service nhỏ và tổ chức thành các team nhỏ tự chủ, mỗi team sở hữu cả phát triển lẫn vận hành một service. Team ra tính năng nhanh hơn,…
- Evolution and Scale of Uber's Delivery Search Platform Bài tóm tắt · Uber · 2026
Phần lớn đơn Uber Eats bắt đầu từ ô tìm kiếm. Khớp từ khoá hỏng với từ đồng nghĩa, lỗi gõ, viết tắt, trộn ngôn ngữ ("pan" là bánh mì tiếng Tây Ban Nha, là cái chảo tiếng Anh). Semantic search mã hoá query và tài liệu…
- Open Sourcing Coinbase's Secure Deployment Pipeline (Odin) Bài tóm tắt · Coinbase · 2018
…rvice với instance type, security group, ELB, target group, autoscaling. Mọi tài nguyên tham chiếu bằng tag , không bằng ID, để cùng file chạy được ở mọi môi trường. - State machin…
- Deployment At Scale: Dream11's In-House Blue-Green Deployment Platform "OneClick" Bài tóm tắt · Dream11 · 2022
…; green không được nhỏ hơn blue ; lấy khoá hạ tầng giữa các automation . 6. Chuyển traffic từng bước: đẩy một phần nhỏ sang green, theo dõi lỗi phần cứng load balancer, lỗi ứng dụn…
- Slack's Outage on January 4th 2021 Bài tóm tắt · Slack · 2021
…ce không với tới backend bị đánh dấu không khoẻ và bị thay; autoscaler scale xuống vì CPU giảm (thread chờ mạng nên CPU thấp) rồi ngay sau đó scale lên theo tỉ lệ thread Apache bận…
- Canary rollouts: upgrade models in production without downtime Bài tóm tắt · Together AI · 2026
…được và dừng; rollout chỉ nâng sàn replica chứ không chống autoscaler; kiểm khả thi capacity cho cả hành trình trước khi chạm vào gì. Tạo và bắt đầu là hai bước để có thể review t…
- A Kubernetes Resource That Doesn't Exist: Caching CI Images on Ephemeral Runners Bài tóm tắt · Mercari · 2026
…sinh đúng một workflow pod). Hết OutOfPods , nhưng cluster autoscaler mô phỏng thấy node còn tài nguyên nên không scale , runner Pending chờ mãi. Ý định "workflow pod phải cùng no…
- Atlas: Our journey from a Python monolith to a managed platform Bài tóm tắt · Dropbox · 2021
…anary để so công bằng (giống Kayenta), tự dừng và rollback; autoscaler giữ trên 40% headroom mỗi cluster theo độ dài hàng đợi request từ Envoy, vì nhiều cluster nhỏ mất khả năng hấ…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…tch hiếm khi alert được từ một chỉ số. Dùng Nurse (nền tảng auto-remediation sẵn có của LinkedIn, plan viết YAML) để kiểm lần lượt các alert khác, kể cả metric hạ tầng Hadoop, trướ…
- Designing MCP Gateway: Uber's MCP Management Platform Bài tóm tắt · Uber · 2026
…er và tool, nguồn sự thật cho tìm kiếm, ownership, bật/tắt. AutoCrawler (workflow Cadence chạy theo lịch) quét IDL registry của Uber (service Protobuf/Thrift trên HTTP, gRPC, TChan…
- Building Uber's Multi-Cloud Secrets Management Platform to Enhance Security Bài tóm tắt · Uber · 2025
Hơn 5.000 microservice, 5.000 database, hơn 500.000 job phân tích mỗi ngày, hơn 400 tích hợp nhà cung cấp và 400 ứng dụng SaaS; hơn 150.000 secret dùng để xác thực giữa chúng. Credential bị lộ là một nguyên nhân hàng…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Postgres as Your Platform: Building Event-Driven Systems with Schema Changes Bài tóm tắt · Neon · 2025
…lại được sau khi sửa bug, query được (schema nào đổi nhiều, automation nào chậm, cái gì lỗi). - Worker lai: NOTIFY cho độ trễ thấp khi mọi thứ chạy, tự rơi về poll bảng khi mất kết…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Monzo Công ty Thành viên
Ngân hàng số với hơn 2.100 microservice và hơn 100 deploy/ngày; rollback tự động bằng Argo Rollouts trở thành mặc định cho mọi service . Để chống "stampeding herd" khi hàng triệu người mở app cùng lúc, edge proxy cắt…
- How Figma's databases team lived to tell the scale Bài tóm tắt · Figma · 2024
…một giá trị khoá. - Hash khoá shard để route: nhiều khoá là auto-increment hoặc ID tiền tố timestamp kiểu Snowflake , nếu chia theo khoảng thì dồn dữ liệu vào một shard. Hash giải…
- Carving The Scheduler Out Of Our Orchestrator Bài tóm tắt · Fly.io · 2023
…một request HTTP đến (khởi động máy đồng bộ ở đúng region). Autoscaler lấy metric mỗi 15 giây cộng thời gian scheduling nên không hiệu quả. Phần đắt nhất là kéo image, mà scheduler…
- 3 Lessons Learned From Implementing Chaos Engineering at Enterprise Bài tóm tắt · CapitalOne · 2020
…có: - Môi trường: cạn IP, đường truy cập để xử lý sự cố, và automation tự chữa phải được kiểm xem thứ nó dựa vào có sẵn khi cần. - Bảo mật: đổi chuỗi tin cậy của chứng chỉ có thể g…
- How Discord Reduced Websocket Traffic by 40% Bài tóm tắt · Discord · 2024
…g gateway (1–8/2024). Vì sao - Kết nối gateway sống lâu nên autoscale theo giờ không hiệu quả; tài nguyên thừa giờ thấp điểm là lý do thử nâng buffer. Bài học cho SWE - Dark launch…