GitLab

Mạch tiến hoá

GitLab.com (~3 triệu user, 2019) dùng một replica Postgres trễ 8 giờ để khôi phục sau một lần xoá nhầm trong 90 phút GitLab 2019. Cùng năm, team Delivery bỏ release tháng có feature freeze và làm continuous delivery ngay trên hạ tầng cũ, trước khi lên Kubernetes: số deploy tăng từ khoảng 7 lên 35 mỗi tháng GitLab 2019. Cùng năm, một lỗi SSH chập chờn hoá ra là "tyranny of the clock": job định kỳ của người dùng cùng chạy đầu phút làm sshd từ chối kết nối GitLab 2019. Cùng năm 2019, GitLab kể hai bước đưa Elasticsearch lên GitLab.com: index quá lớn (khoảng 66% dung lượng repo) nên chuyển sang index chọn lọc theo group và tự dogfood GitLab 2019 GitLab 2019. Năm 2020 họ công bố khung 5 giai đoạn kiểm soát chi phí cloud, từ gán chi phí theo service tới cảnh báo chi tiêu bất thường GitLab 2020. Trước đó, ngày 31/1/2017, GitLab.com mất khoảng 6 giờ dữ liệu DB: kỹ sư dựng lại replica bằng tay đã xoá nhầm primary, và mọi backup đều hỏng âm thầm (pg_dump sai phiên bản, email cảnh báo bị chặn, không ai sở hữu việc kiểm tra) GitLab 2017. Năm 2020, cơ chế push mirror sang fork bảo mật được sửa để commit vá lỗi không còn nằm trong repo công khai, theo các bước chạy song song, feature flag rồi xoá đường cũ GitLab 2021. Năm 2020, trang trạng thái sự cố được sinh tự động từ issue sự cố và đặt ở cloud khác để sống được khi GitLab.com sập GitLab 2020. Cũng năm 2019, một cert Consul hết hạn buộc đội hạ tầng restart gần cả fleet trong cùng một giây, bằng một mẹo sysadmin cũ thay cho công cụ rollout dần GitLab 2019. Hàng đợi nền…