OpenAI

Mạch tiến hoá

Hạ tầng nghiên cứu của OpenAI chạy trên Kubernetes: từ 2.500 node (2018), nơi etcd, agent giám sát và ARP cache lần lượt vỡ OpenAI 2018, lên một cụm 7.500 node (2021) với API server ngoài cụm, gang scheduling và health check GPU OpenAI 2021. Năm 2023, một bug trong thư viện redis-py làm lộ dữ liệu giữa user ChatGPT qua cache dùng chung OpenAI 2023. Ngày 11/12/2024, một service telemetry mới làm sập control plane của phần lớn cụm lớn và kéo theo mọi dịch vụ OpenAI 2024. Năm 2026, một team để Codex viết toàn bộ code rồi dựng Symphony để điều phối agent theo issue thay vì theo phiên tương tác OpenAI 2026.

Timeline

Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).

Năm	Giai đoạn	Thay đổi	Nguồn
2018	2. Tăng trưởng	Kubernetes 2.500 node: etcd sang SSD cục bộ, giảm poll của agent, tách etcd cho Events, anti-affinity KubeDNS.	OpenAI 2018
2021	3. Quy mô lớn	Một cụm 7.500 node: mạng pod native, 5 API server, EndpointSlices, preflight GPU, team taints, gang scheduling.	OpenAI 2021
2023	3. Quy mô lớn	Sự cố ChatGPT 20/3: kết nối Redis bẩn khi request bị huỷ trả dữ liệu của user khác; thêm kiểm tra chủ sở hữu.	OpenAI 2023
2024	3. Quy mô lớn	Sự cố 11/12: service telemetry làm quá tải API server Kubernetes, DNS hỏng, mọi dịch vụ ngừng khoảng 4 giờ; bị khoá ngoài control plane.	OpenAI 2024
2026	4. Điều chỉnh	Symphony: board Linear làm control plane cho Codex, mỗi issue mở luôn có một agent chạy; mở mã nguồn dạng SPEC.md (năm theo Wayback).	OpenAI 2026

Mạch tiến hoá

Timeline

Concept liên quan

Tất cả bài viết của blog (27 bài)

Được nhắc tới trong