Tìm kiếm
30 kết quả cho “GCS”. Tìm không phân biệt dấu.
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…uler liên tục quét và parse lại mọi file DAG. Ban đầu mount GCS qua GCSFuse ở mỗi pod , mỗi lần đọc file là một request GCS: nghẽn. Chuyển sang một NFS server trong cluster (read-w…
- Realtime Fastly logs with Grafana Loki for under $1 a day Bài tóm tắt · Loveholidays · 2021
…bằng Go, ít bộ nhớ, không giữ index trong bộ nhớ, lưu trên GCS, khớp với Grafana và Prometheus sẵn có, giảm số công cụ. - Đường đi: Fastly stream log qua HTTPS → DNS record riêng…
- How we improved reporting and monitoring of test automation results Bài tóm tắt · trivago · 2023
…eport HTML (plugin Cluecumber) được gsutil rsync lên bucket GCS theo đường dẫn repo/workflow/run id, phục vụ qua một proxy GCS có liệt kê file; link gắn vào status badge, comment P…
- Superuser Gateway: Guardrails for Privileged Command Execution Bài tóm tắt · Uber · 2026
…gateway-guardrails/) Bối cảnh - Data platform của Uber dùng GCS, OCI và HDFS. Một nhóm nhỏ engineer thỉnh thoảng cần quyền superuser để chuyển dữ liệu, sửa quyền, dọn đường dẫn hỏn…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
Mọi tương tác (bấm, vuốt, cuộn) được log thành event từ hàng chục nghìn microservice ở nhiều data center; quy mô hàng chục nghìn node, hàng trăm petabyte, hàng nghìn tỉ event/ngày (2022).
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Enhancing Cloud Usage Forecasting, Monitoring & Optimizing Bài tóm tắt · Etsy · 2024
…t triển. - Tối ưu (khoảng 2023–2024): - một squad riêng cho GCS: TTL theo mẫu truy cập, Intelligent tiering. Dung lượng GCS thấp hơn 2 năm trước ; - chuyển hơn 90% hạ tầng phục vụ…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…: đang đưa dữ liệu lên Google Cloud (Hive Sync từ HDFS sang GCS); router Presto hỏi Hive Metastore xem bảng nằm on-prem hay cloud để đặt truy vấn; Presto đọc GCS qua một HDFS clien…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…truy vấn Postgres theo khoảng ngày, ghi CSV; 2. upload lên GCS; 3. load vào bảng tạm BigQuery; 4. chép sang bảng đích bằng LEFT JOIN ... WHERE f.key IS NULL , vì BigQuery không ép…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…t ngày càng nhiều metadata để biết đọc file nào; hoá đơn S3/GCS tăng. Ví dụ của bài: 100 lần chèn một dòng vào Iceberg qua pyiceberg sinh 100 file Parquet và hơn 300 file metadata.…
- Etsy Công ty Thành viên
Etsy shard MySQL từ khoảng 2010 bằng ORM tự viết: gán shard ngẫu nhiên, lưu ánh xạ trong một index DB, thành điểm hỏng chung. Từ 2018 họ chuyển sang Vitess mà không dời dữ liệu (vindex lai: SQLite cho ID cũ, hash cho ID…
- GitLab Công ty Thành viên
GitLab.com (~3 triệu user, 2019) dùng một replica Postgres trễ 8 giờ để khôi phục sau một lần xoá nhầm trong 90 phút . Cùng năm, team Delivery bỏ release tháng có feature freeze và làm continuous delivery ngay trên hạ…
- How we optimized infrastructure spend at GitLab Bài tóm tắt · GitLab · 2020
…trúc mạng làm chi phí đổi; cho runner tải artifact thẳng từ GCS thay vì đi qua proxy, giảm đáng kể chi phí mạng. 4. Đánh đổi: khi hết việc dễ, cân giá trị của thay đổi phức tạp hơn…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…rker, executor, họ có thêm tiến trình riêng: đồng bộ DAG từ GCS/git, đồng bộ biến Airflow tuỳ biến. Theo họ, càng nhiều thành phần thì càng dễ hỏng. Thay đổi chính - Đường metric:…
- Enforcing best practice on self-serve infrastructure with Terraform, Atlantis and Policy As Code Bài tóm tắt · Loveholidays · 2021
…nâng tag tối thiểu trong policy để ép nâng cấp); cấm bucket GCS public; chỉ Google Group do Terraform quản lý được có trong IAM; cấm role quá rộng như project owner. - Hai kiểu pol…
- From Local to Global: Building Seamless B2C Product Integration at Mercari Bài tóm tắt · Mercari · 2025
…load. - Historical sync: batch từ file export BigQuery trên GCS cho listing cũ (hết hàng, ngừng bán) và để sửa dữ liệu lệch; cấu hình theo job: offset bắt đầu/kết thúc, kích thước…
- Onehouse Công ty Thành viên
Nguồn duy nhất của Onehouse trong wiki là bản tóm tắt (2024) talk năm 2023 của Uber về hạ tầng dữ liệu, nên mọi nhận định là theo Uber qua lời kể của Onehouse: kiến trúc Lambda phục vụ bốn loại nhu cầu từ streaming dưới…
- Railway Công ty Thành viên
Nền tảng PaaS tự vận hành datacenter, mỗi site nối ít nhất ba nhà mạng Tier 1. Sự cố 2/7/2026: ngắt một nhà mạng hỏng làm một site thế hệ đầu (nhận default route từ nhà mạng) mất internet 20 phút; sau đó kết nối storage…
- How We Rebuilt Our Log Storage and Search Infrastructure for Scale Bài tóm tắt · Railway · 2022
…loud Storage để giữ lâu; query ngoài cửa sổ vài giờ thì đọc GCS. - Đọc: frontend mở GraphQL subscription → backend kiểm quyền, mở gRPC stream tới log service → log service đẩy thẳn…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…log đổ theo dòng vào log của task; artefact của dbt ghi lên GCS; mỗi task xong ghi một event vào bảng workflow run events , dùng cho lịch sử và dự đoán giờ dữ liệu sẵn sàng . - Sau…
- Shopify Công ty Thành viên
Năm 2015 không còn mua được DB to hơn nên Shopify shard, rồi phát hiện thao tác lặp mọi shard làm mất cô lập lỗi. Kiến trúc pod (mỗi request chỉ chạm một tập datastore cô lập, Pod Mover dời pod sang DR) ra đời .…
- trivago Công ty Thành viên
Service PSE-kafka đẩy giá khách sạn sang dịch vụ Ads bị consumer lag kéo dài (19 sự cố P1) dù CPU chỉ 10%. Năm 2026 một đợt điều tra tìm ra ba nút thắt cùng lúc (consumer tự viết từ 2019, độ trễ cố ý trong RAM, pool…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…hất giúp khử trùng ảnh cùng URL hay từ nhiều đối tác; ảnh ở GCS sau CDN; - thống nhất schema topic Kafka với các team consumer. - Go-live theo giai đoạn qua A/B test: staging nối v…
- How We Halved Go Monorepo CI Build Time Bài tóm tắt · Uber · 2022
…quả test được đẩy lên cache chung: HTTP tự viết → gRPC trên GCS (P95 từ dao động 40 đến hơn 100 phút về ổn định dưới 40 phút) → Buildfarm năm 2021 (thời gian build giảm khoảng một…