Tìm kiếm
22 kết quả cho “Google Cloud Storage”. Tìm không phân biệt dấu.
- Scaling data access by moving an exabyte of data to Google Cloud Bài tóm tắt · Twitter · 2022
…re/2022/scaling-data-access-by-moving-an-exabyte-of-data-to-google-cloud) Bối cảnh - 2019: Twitter muốn "dân chủ hoá" việc phân tích dữ liệu cho nhân viên và tăng tốc ML. Họ hợp tá…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…ator gom event từ service đẩy vào message queue (Kafka hoặc Google Pub/Sub); Streaming Event Processor chạy Apache Beam trên Google Dataflow đọc queue, biến đổi/đổi định dạng rồi g…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…rơi đúng chỗ đã cache. - Hybrid cloud: đang đưa dữ liệu lên Google Cloud (Hive Sync từ HDFS sang GCS); router Presto hỏi Hive Metastore xem bảng nằm on-prem hay cloud để đặt truy v…
- Running Cost-Efficient Export Workloads at Uber Bài tóm tắt · Uber · 2026
…nhỏ, nhưng vẫn quét cả bảng . - Lakehouse của Uber nằm trên Google Cloud Storage với Autoclass: dữ liệu ít đụng tới tự xuống lớp rẻ hơn. Analytics thường quét nhiều nhưng ở partiti…
- How We Rebuilt Our Log Storage and Search Infrastructure for Scale Bài tóm tắt · Railway · 2022
…me bằng tail file và query ngắn hạn) vừa ghi theo batch lên Google Cloud Storage để giữ lâu; query ngoài cửa sổ vài giờ thì đọc GCS. - Đọc: frontend mở GraphQL subscription → backe…
- Behind the scenes: Redpanda Cloud's response to the GCP outage Bài tóm tắt · Redpanda · 2025
…trăm cluster trên GCP. Diễn biến (theo Redpanda) - TAM của Google báo trước khi có ticket nào. Monitoring suy giảm : dữ liệu observability tự host, nhưng dashboard và cảnh báo dùn…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…nhận khoảng 4 tỉ dòng/ngày , gần nghìn tỉ dòng tổng; event Google Analytics dạng mảng lồng; bản đổ từ DB NoSQL của control plane dạng JSON. Đưa ra cả dạng thô (user tự trích trườn…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- How we built Status Page Bài tóm tắt · GitLab · 2020
…file JSON đó. - Chỉ hỗ trợ Amazon S3: GitLab.com chạy trên Google Cloud, nên trang trạng thái phải sống được khi Google Cloud (và GitLab.com) sập. Vì sao - Theo GitLab: không over…
- How Discord Supercharges Network Disks for Extreme Low Latency Bài tóm tắt · Discord · 2022
…-low-latency) Bối cảnh - Discord chạy các cụm ScyllaDB trên Google Cloud, khoảng 4 tỉ tin nhắn/ngày (2022). Khi tải cao, hàng đợi đọc đĩa của DB tăng mãi và query bắt đầu timeout.…
- Turborepo Remote Cache: Accelerating CI to Move Fast Bài tóm tắt · Mercari · 2026
…server cache ngay trong job , lưu artifact trên storage của Google Cloud qua Workload Identity sẵn có của runner. Họ thừa nhận cách này "khác thường" nhưng rẻ và nhanh nhất. - Hai…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…òng và 3 triệu file mới mỗi ngày; 350 PB logic trên HDFS và Google Cloud Storage; 10 PB ingest mỗi ngày; 350.000 commit/ngày; 70.000 lượt table service (compaction, clean, clusteri…
- Deployment of etcd on AWS EC2 Bài tóm tắt · etcd · 2017
etcd là kho key-value nhất quán mạnh, replicate đồng bộ bằng Raft; là nền cho control plane Kubernetes, lock phân tán, config, secret.
- How we used delayed replication for disaster recovery with PostgreSQL Bài tóm tắt · GitLab · 2019
…-in-time recovery): base backup định kỳ + lưu trữ WAL (trên Google Cloud Storage) để khôi phục về bất kỳ thời điểm nào. - Delayed replica: một replica áp WAL trễ 8 giờ ( recovery m…