Tìm kiếm
40 kết quả cho “Operator”. Tìm không phân biệt dấu.
- Orchestrating Cassandra on Kubernetes with Operators Bài tóm tắt · Yelp · 2020
…yelp.com/2020/11/orchestrating-cassandra-on-kubernetes-with-operators.html) Đi trước loạt bài Kafka on PaaSTA () với cùng cách làm. Bối cảnh - Cassandra ở Yelp dùng cho cả dữ liệu…
- The data platform cluster operator service for Hadoop cluster management Bài tóm tắt · Twitter · 2023
…/en us/topics/infrastructure/2023/the-data-platform-cluster-operator-service-for-hadoop-cluster-management) Bối cảnh - Twitter dùng Apache Hadoop bản gốc, không dùng giải pháp Hado…
- The feedback loops behind Kubernetes Bài tóm tắt · PlanetScale · 2026
…d-kubernetes) Bài giải thích của một kỹ sư PlanetScale viết operator cho Postgres/MySQL; nửa đầu là ví dụ dựng dần, nửa sau là cách operator của họ làm. Nhận định là theo tác giả.…
- Failing to Auto Scale Elasticsearch in Kubernetes Bài tóm tắt · Zalando · 2024
…ng một cụm Elasticsearch trên Kubernetes , vận hành bằng es-operator (custom resource ElasticsearchDataSet → StatefulSet). Pod rải qua mọi AZ; Elasticsearch bật zone awareness để r…
- Flava DBaaS deep dive: From architecture to migration and beyond Bài tóm tắt · LINE (LY Corp) · 2026
…trong đó có database dạng dịch vụ (DBaaS). Thay đổi chính - Operator pattern trên Kubernetes: người dùng khai báo "muốn database cấu hình thế này" bằng một CustomResource; controll…
- Fleet Management at Spotify (Part 2): The Path to Declarative Infrastructure Bài tóm tắt · Spotify · 2023
…i loại resource là một CRD; chạy trên cụm Kubernetes riêng (operator nặng về API server, khác workload stateless nặng về node). Hơn 3.000 project GCP; một namespace cho mỗi project…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 1 - Architecture) Bài tóm tắt · Yelp · 2021
…ommit) thay cho Puppet. ZooKeeper vẫn là cụm ngoài. - Kafka operator tự viết: Kubernetes có StatefulSet nhưng không hiểu khái niệm của Kafka; operator có vòng reconcile so trạng th…
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…g nêu tên hệ storage mã nguồn mở bên dưới (chỉ nhắc rollout operator của Grafana và Promxy). Bối cảnh rời vendor: . Bối cảnh - Airbnb chuyển từ nhà cung cấp metrics hosted sang tự…
- Multi-region high availability for Kafka workloads with a single Stretch Cluster Bài tóm tắt · Redpanda · 2026
…retch-clusters) Bài release note của nhà cung cấp (Redpanda Operator 26.2). Phần lớn là manifest mẫu; wiki chỉ giữ hai ý kiến trúc: stretch cluster và probe cho rolling restart. Mọ…
- Fleet Management at Spotify (Part 3): Fleet-wide Refactoring Bài tóm tắt · Spotify · 2023
…y trên laptop), đẩy PR. Mỗi "shift" là một custom resource (operator trên hạ tầng khai báo ở phần 2), chạy một lần hoặc hằng ngày (ví dụ cập nhật BOM mỗi ngày). Tìm repo đích bằng…
- Building Uber's Multi-Cloud Secrets Management Platform to Enhance Security Bài tóm tắt · Uber · 2025
…em; chuyển secret từ kho tự dựng sang (qua External Secrets Operator cho Kubernetes…). Lộ ra chuyện secret của một pipeline lại đọc được từ mọi pipeline chạy qua Piper (điều phối w…
- Infrastructure monitoring with Prometheus Bài tóm tắt · Zerodha · 2020
…s, truy vấn gộp xuyên cụm. - Cấu hình xuyên cụm: Prometheus Operator; Kustomize với base dùng chung và overlay theo cụm (số replica, endpoint remote, Alertmanager ngoài cụm). Mỗi P…
- Airflow at Zillow Bài tóm tắt · Zillow · 2017
…w chỉ chạy job nhỏ; job nặng (Spark, Hive) đẩy sang EMR qua operator SSH. - CI/CD cho DAG: mỗi push/merge vào repo DAG tự deploy; cập nhật backend bằng một lệnh. - Ba môi trường là…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…ệnh. Cách này lan ra khắp nơi; tới 2024 có hơn 700 job dùng operator dựa trên SSH, gồm cả job dựng index search Solr hằng ngày từ hàng TB dữ liệu. - Vấn đề: - Bảo mật: truy cập SSH…
- Yelp Công ty Thành viên
Kafka của Yelp (hàng chục tỷ message/ngày) chuyển từ EC2 + Puppet lên PaaS nội bộ PaaSTA trên Kubernetes với operator tự viết và Cruise Control (2021) ; migration không downtime bằng cách gấp đôi broker rồi dời…
- LINE (LY Corp) Công ty Thành viên
Năm 2026 LY Corp thêm mã hoá đầu-cuối giữa producer và consumer cho một topic Kafka tới 1 triệu message/giây: mã hoá từng record qua interceptor, KEK dùng chung để header không phình, consumer hiểu cả hai định dạng…
- Snowflake Optima Planning: cross-query performance Bài tóm tắt · Snowflake · 2026
…của Snowflake dựa trên chi phí: ước lượng số dòng của từng operator rồi chọn plan rẻ nhất. Ước lượng sai thì chọn sai thứ tự join hay sai bên build, có khi sinh hàng tỉ dòng trung…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…hái job, task của executor (running/queued/open slot), theo operator, theo task instance; thời gian của task và sensor quan trọng; thời gian DAG tới trạng thái cuối; schedule delay…
- KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure Bài tóm tắt · Meta · 2026
…rnel = {loại và thế hệ phần cứng} × {kiến trúc model} × {số operator}, ra hàng nghìn cấu hình. - Thư viện của hãng (cuBLAS, cuDNN) chỉ phủ phép toán phổ biến; đuôi dài operator riê…
- PlanetScale Công ty Thành viên
Nhà cung cấp DB managed (Vitess, Postgres). Trong sự cố AWS us-east-1 tháng 10/2025, tách control plane khỏi data plane giúp DB của khách chạy tiếp khi control plane sập . Bài lịch sử shard Postgres (2026) là góc nhìn…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…là SQL, một số Scala/PySpark; Airflow nộp job qua Livy bằng operator tự viết. - Mọi workload chạy trên EMR 5.36, Spark 2.4.8, Hive 2.3.9. Khối lượng dữ liệu tăng làm pipeline quan…
- Constraint Management for cluster operation safety and reliability at Twitter Bài tóm tắt · Twitter · 2023
…ông phải do phần cứng mà do va chạm giữa các thao tác : hai operator cùng rút máy khỏi cụm mà không biết nhau; operator làm việc khác trong lúc automation đang rolling reboot kerne…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…h Flink: tăng parallelism không tự giải nghẽn; profile từng operator và chỉnh riêng (512 cho operator trước join, 768 cho join, parallelism Flink lớn nhất từng chạy ở Uber). Checkp…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 2 - Migration) Bài tóm tắt · Yelp · 2022
…n rebalance cùng chạy); dựng instance PaaSTA nhưng tắt việc operator gọi Cruise Control. 3. Với cụm N broker, thêm N broker PaaSTA : cụm tạm gấp đôi. Tắt rebalance cũ. 4. Một helpe…
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…