Tìm kiếm
40 kết quả cho “SRE”. Tìm không phân biệt dấu.
- Mô hình tổ chức SRE Chủ đề
Lúc nhỏ, một team ops hay SRE tập trung trực và vận hành mọi thứ. Khi chuyển sang microservice và "you build it, you run it", team sản phẩm phải tự sở hữu service trên production, nhưng nhiều team chưa có kỹ năng, còn…
- Embedded SRE at Mercari Bài tóm tắt · Mercari · 2022
…s://engineering.mercari.com/en/blog/entry/20220221-embedded-sre-at-mercari/) Bài của engineering manager team Microservices SRE, giới thiệu mô hình; bài kể từ góc nhìn một SRE nhún…
- What it's like to work as an embedded microservices SRE Bài tóm tắt · Mercari · 2022
…om/en/blog/entry/20220228-work-as-an-embedded-microservices-sre/) Bối cảnh - Mercari có Microservices SRE Team mà thành viên được nhúng (embedded) vào từng team sản phẩm một thời g…
- How Reliability and Product Teams Collaborate at Booking.com Bài tóm tắt · Booking.com · 2019
…nào". Hệ mới luôn bắt đầu ở mức 3 (giống mô hình engagement SRE của Google). - Nâng mức phải chứng minh độ quan trọng hoặc lưu lượng; nếu team reliability không đủ người thì phía s…
- Keeping Customers Streaming — The Centralized Site Reliability Practice at Netflix Bài tóm tắt · Netflix · 2020
…CORE (Critical Operations and Reliability Engineering) gồm SRE, Applied Resilience Engineer và Performance Engineer. Thay đổi chính (cách CORE làm việc) - Khác phần lớn team SRE:…
- The data platform cluster operator service for Hadoop cluster management Bài tóm tắt · Twitter · 2023
…ise, nên thiếu công cụ quản lý cụm chuẩn ở quy mô của họ. - SRE của Data Platform dành phần lớn thời gian cho việc vận hành cụm: thêm/bớt host, đáp ứng yêu cầu dung lượng, drain ho…
- Project STAR*: Streamlining Our On-Call Process Bài tóm tắt · LinkedIn · 2018
…mới: một engineer mỗi nền tảng, kèm người của Productivity, SRE và một manager điều phối. - Quy mô: hơn 600 engineer , 10.434 commit trong Q4/2017 . - Khảo sát 2016 cho thấy vấn đề…
- Three months, 30x demand: How we scaled Google Meet during COVID-19 Bài tóm tắt · Google · 2020
…d-of-usage-demand-during-covid-19) Bối cảnh - Từ 17/2/2020, SRE của Meet nhận page về năng lực theo region (alert kiểu triệu chứng: "quá nhiều task lỗi", "cắt tải quá nhiều"), bắt…
- Investment Insights from Two Years of AI-Powered Postmortem Analysis Bài tóm tắt · Zalando · 2025
…s.html) Bối cảnh - Văn hoá postmortem của Zalando theo sách SRE của Google: team phụ trách làm RCA và hành động phòng ngừa, sự cố chỉ đóng khi lãnh đạo (tới VP Engineering tuỳ mức)…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Scaling Production Globally: Solving observability problems for developers (Part-2) Bài tóm tắt · Achievers · 2022
…ane of glass" cho cả nền tảng phân tán. - Trước đó chỉ team SRE trực cho độ tin cậy của nền tảng; giờ engineer sở hữu service của mình trên production, nhiều team mới chưa biết bắt…
- SecDb Observability Journey Bài tóm tắt · Goldman Sachs · 2023
…ăm) - Giữ TSDB, thêm engine sự kiện có leo thang: cùng team SRE chọn Prometheus + PromQL + Alertmanager. Vì DB quá quan trọng, bước đầu không sửa DB : một metrics probe nói chuyện…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Achievers Công ty Thành viên
Để mở rộng sang nhiều region với data residency và có failover giữa các cụm GKE, Achievers chuyển từ Kong sang Istio làm cả gateway lẫn service mesh (migration xong cuối 2020) và gặp một loạt vấn đề do sidecar . Phần 2…
- Google Công ty Thành viên
Năm 2020 Google Meet tăng 30 lần trong khoảng ba tháng vì COVID-19. SRE chạy một incident kéo dài cho rủi ro năng lực: năm workstream, dự báo thay cho xu hướng lịch sử, task "béo" hơn để giảm overhead, nút giảm chất…
- The Evolution of Security at Riot Bài tóm tắt · Riot Games · 2017
…ên quan - (ownership từ inventory) · · · (mô hình nhúng của SRE) - ·…
- Alerting on Service-Level Objectives (SLOs) Bài tóm tắt · SoundCloud · 2019
…là chấp nhận được. Họ áp dụng chương "Alerting on SLOs" của SRE Workbook. - Triệu chứng hay nguyên nhân: thời một server LAMP, server chết là site chết. Nay hàng trăm, hàng nghìn s…
- Scaling Production Globally — The service mesh facelift (Part-1) Bài tóm tắt · Achievers · 2022
…netes đã có nhưng không có failover giữa region ; theo team SRE, mất một cụm hay một service trong region dễ xảy ra hơn mất toàn bộ GCP. - Yêu cầu cho service mesh: HTTP/2, xác thự…
- Load Testing Kubernetes: Building a Framework (Part 1) Bài tóm tắt · Achievers · 2023
…ối cảnh - Achievers chạy nền tảng Kubernetes nhiều cụm; đội SRE cần một framework để engineer tự tạo tải và đọc kết quả, vì nền tảng phải chịu được cả traffic dự đoán trước lẫn bất…
- Booking.com Công ty Thành viên
Booking.com scale đọc bằng hàng nghìn slave MySQL (2014). Crash-safe replication của MySQL 5.6 tải lại binlog từ master sau mỗi lần khởi động, đè lên card mạng của master; họ đặt Binlog Server cục bộ trên slave để phục…
- Worker Backpressure (Part 1): How we taught our queue workers to slow down Bài tóm tắt · Canva · 2026
…ổng tải Adaptive backoff (client-side throttling trong sách SRE của Google) Một team đã dùng tốt và là nguồn cảm hứng, nhưng nằm ngoài thư viện queue chung và cố định một thuật toá…
- CapitalOne Công ty Thành viên
Bài khái niệm (2020) của CapitalOne về active-active shared-nothing ở tầng DB: khác với HA, đòi ứng dụng chịu được xung đột ghi và hỏng dữ liệu âm thầm, nên hợp với cache hay session state hơn là system of record . Một…
- Terraform Poka-Yokes: Writing Effective, Scalable, Dynamic, and Error-Resistant Terraform Bài tóm tắt · CapitalOne · 2020
…-terraform-dcbd6a0ada6a) Bài của một Senior DevOps Engineer/SRE, nửa hướng dẫn nửa kể cách đội làm; mọi nhận định là theo tác giả. Bối cảnh - Tác giả hỗ trợ sáu team chạy hơn 75 mi…
- Enhancing Bandaid load balancing with real-time backend server load information Bài tóm tắt · Dropbox · 2019
…d balancing của Netflix và chương load balancing trong sách SRE của Google; Dropbox góp thêm số liệu production. Bài học cho SWE - LB phân tán chỉ thấy tải cục bộ; để server tự báo…
- GitHub Công ty Thành viên
Rails + một MySQL; sau đó tách vài tính năng, thêm replica, ProxySQL; nhưng lõi vẫn là cluster mysql1 được scale dọc liên tục. Từ 2019 họ tách ảo bằng schema domain + linter rồi dời vật lý bằng Vitess hoặc write-cutover…
- GitHub's Engineering Fundamentals program Bài tóm tắt · GitHub · 2024
Hơn 100 triệu người dùng, 90% Fortune 100 là khách; GitHub cần trả nợ kỹ thuật, tăng độ tin cậy và khả năng quan sát. Từ đó có chương trình quản trị kỹ thuật Fundamentals với ba trụ: Accessibility, Security,…
- Pitfalls and Patterns in Microservice Dependency Management Bài tóm tắt · Google · 2021
…nfoQ của Silvia Esparrachiari (Google, 11 năm; Google Cloud SRE) và Betsy Beyer, viết lại từ talk QCon Plus. Theo tác giả, đây là kinh nghiệm cá nhân, không mô tả một sản phẩm cụ t…
- How We Built a Logging Stack at Grab Bài tóm tắt · Grab · 2019
…mới lấy được), một nhà cung cấp SaaS hay timeout, hoặc nhờ SRE vào từng máy lấy log. - Khi bắt đầu: 25 TB log mỗi ngày . Theo bài, câu hỏi "có thật cần ngần ấy log không" có lẽ là…
- How we built a dynamic Kubernetes API Server for the API Aggregation Layer in Cozystack Bài tóm tắt · Kubernetes · 2024
…ource chỉ tạo được một lần rồi trả kết quả (SelfSubjectAccessReview, token upload của KubeVirt CDI); tự làm validation, chuyển đổi version, định dạng bảng; đăng ký kiểu resource độ…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…