Tìm kiếm
36 kết quả cho “Kubernetes Operator”. Tìm không phân biệt dấu.
- Orchestrating Cassandra on Kubernetes with Operators Bài tóm tắt · Yelp · 2020
…engineeringblog.yelp.com/2020/11/orchestrating-cassandra-on-kubernetes-with-operators.html) Đi trước loạt bài Kafka on PaaSTA () với cùng cách làm. Bối cảnh - Cassandra ở Yelp dùng…
- The feedback loops behind Kubernetes Bài tóm tắt · PlanetScale · 2026
…gốc](https://planetscale.com/blog/the-feedback-loops-behind-kubernetes) Bài giải thích của một kỹ sư PlanetScale viết operator cho Postgres/MySQL; nửa đầu là ví dụ dựng dần, nửa sa…
- Failing to Auto Scale Elasticsearch in Kubernetes Bài tóm tắt · Zalando · 2024
…do.com/posts/2024/06/failing-to-auto-scale-elasticsearch-in-kubernetes.html) Bối cảnh - Lounge by Zalando lưu mô tả sản phẩm trong một cụm Elasticsearch trên Kubernetes , vận hành…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 1 - Architecture) Bài tóm tắt · Yelp · 2021
…ạy ứng dụng có trạng thái trên PaaSTA (PaaS nội bộ dựa trên Kubernetes) như Cassandra và Flink. Thay đổi chính - Broker chạy thành pod trong các pool của PaaSTA, với EBS gỡ ra gắn…
- How we built a dynamic Kubernetes API Server for the API Aggregation Layer in Cozystack Bài tóm tắt · Kubernetes · 2024
· 2024 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://kubernetes.io/blog/2024/11/21/dynamic-kubernetes-api-server-for-cozystack/) Bài khách trên blog Kubernetes, do tác giả của…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 2 - Migration) Bài tóm tắt · Yelp · 2022
…rúc): . Bối cảnh Chuyển các cụm Kafka đang chạy từ EC2 sang Kubernetes (PaaSTA) mà producer và consumer không bị gián đoạn . Ba thành phần phải thay: Thành phần EC2 PaaSTA --- ---…
- Fleet Management at Spotify (Part 2): The Path to Declarative Infrastructure Bài tóm tắt · Spotify · 2023
…n tại. Theo bài, Terraform không đáp ứng (2) và (3). - Chọn Kubernetes làm mặt điều khiển: mỗi loại resource là một CRD; chạy trên cụm Kubernetes riêng (operator nặng về API server…
- Flava DBaaS deep dive: From architecture to migration and beyond Bài tóm tắt · LINE (LY Corp) · 2026
…ạng dịch vụ (DBaaS). Thay đổi chính - Operator pattern trên Kubernetes: người dùng khai báo "muốn database cấu hình thế này" bằng một CustomResource; controller chứa kinh nghiệm củ…
- Multi-region high availability for Kafka workloads with a single Stretch Cluster Bài tóm tắt · Redpanda · 2026
…h Cluster (GA): một cụm logic có broker trải trên nhiều cụm Kubernetes, thường mỗi cụm một AZ, region, thậm chí một cloud. Mỗi partition sao chép bằng Raft ; ghi chỉ được ack khi đ…
- Fleet Management at Spotify (Part 3): Fleet-wide Refactoring Bài tóm tắt · Spotify · 2023
…penRewrite), Fleetshift chạy nó trên từng repo bằng hạ tầng Kubernetes sẵn có (không còn chạy trên laptop), đẩy PR. Mỗi "shift" là một custom resource (operator trên hạ tầng khai b…
- Building Uber's Multi-Cloud Secrets Management Platform to Enhance Security Bài tóm tắt · Uber · 2025
…cret từ kho tự dựng sang (qua External Secrets Operator cho Kubernetes…). Lộ ra chuyện secret của một pipeline lại đọc được từ mọi pipeline chạy qua Piper (điều phối workflow dữ li…
- Utilizing Amazon DynamoDB and AWS Lambda for Asynchronous Event Publication Bài tóm tắt · Zalando · 2022
…koff. - Hết retry thì event vào SQS dead letter queue ; một Kubernetes CronJob chạy lại cùng code Python theo chu kỳ để gửi lại và xoá khỏi hàng đợi khi thành công. - Đánh đổi nêu…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…nối với VPC bằng đường P2P; workload từ bare metal tới cụm Kubernetes, cần giám sát độc lập. Thay đổi chính - Prometheus (đã so với Sensu, Nagios, ELK) vì mô hình label và PromQL.…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Yelp Công ty Thành viên
Kafka của Yelp (hàng chục tỷ message/ngày) chuyển từ EC2 + Puppet lên PaaS nội bộ PaaSTA trên Kubernetes với operator tự viết và Cruise Control (2021) ; migration không downtime bằng cách gấp đôi broker rồi dời…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…h: job chạy ngay trên master node nên tranh tài nguyên; pod Kubernetes của Airflow restart là đứt kết nối SSH, job hỏng; job chạy dài thành zombie sau khi kết nối mất; không biết c…
- Spotify Công ty Thành viên
Hai nguồn của Spotify trong wiki đều về nền tảng nội bộ Backstage. Năm 2021, khi team hạ tầng giữ cluster Kubernetes ở nhiều region và team tính năng chỉ deploy lên, Spotify viết plugin Kubernetes cho Backstage để người…
- Deployment of etcd on AWS EC2 Bài tóm tắt · etcd · 2017
…ạnh , replicate đồng bộ bằng Raft; là nền cho control plane Kubernetes, lock phân tán, config, secret. - Vì mọi ghi phải qua quorum, thêm node làm etcd chậm đi (leader phải phối hợ…
- LINE (LY Corp) Công ty Thành viên
Năm 2026 LY Corp thêm mã hoá đầu-cuối giữa producer và consumer cho một topic Kafka tới 1 triệu message/giây: mã hoá từng record qua interceptor, KEK dùng chung để header không phình, consumer hiểu cả hai định dạng…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…đổi chính - Đường metric: mỗi tiến trình Airflow (trong pod Kubernetes) bật client statsd trong airflow.cfg , gửi UDP tới Telegraf ; tiến trình tự viết cũng phát heartbeat theo các…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
Data Engineering của Slack (2024): mô hình liên bang hơn 60 cụm EMR phục vụ hơn 40 team, hàng nghìn DAG Airflow. Dữ liệu trên S3, metadata trong Hive Metastore (trên RDS); phần lớn là SQL, một số Scala/PySpark; Airflow…
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
…oscale theo CPU, chỉ Flink v1). Họ chuyển sang tự chạy trên Kubernetes với template nội bộ. - Interval join tốn 15–30% CPU chỉ để seek RocksDB (mỗi phần tử một lần seek, hàng đợi t…
- Journey to the cloud part II: Migrating Stack Overflow for Teams to Azure Bài tóm tắt · Stack Overflow · 2023
…er (đã có AKS cho Elastic). Theo , sau đó họ chuyển hết lên Kubernetes. Bài học cho SWE - Tập dượt kịch bản cắt chuyển trên dev cho tới khi trơn tru; lỗi cấu hình nhỏ (tiền tố key)…
- VTOrc: Vitess-native Orchestrator Bài tóm tắt · Vitess (PlanetScale/CNCF) · 2022
Orchestrator là công cụ phát hiện và sửa lỗi cho MySQL với gần như mọi topology (kể cả replication nhiều tầng). Vitess từng tích hợp với nó từ bên ngoài, nhưng phần tích hợp cồng kềnh và từng gây bug.
- The process: Implementing Yelp's failover strategy Bài tóm tắt · Yelp · 2021
Yelp phục vụ từ hai region AWS ở hai bờ nước Mỹ. Request chỉ đọc (phần lớn traffic) đi tới region gần nhất, có logic cân tải giữa hai bên.