Tìm kiếm
17 kết quả cho “S3 raw”. Tìm không phân biệt dấu.
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
…ẵn năng lực) → kiểm tra nhẹ rồi ghi nguyên request JSON lên S3 . S3 là nguồn sự thật; lifecycle rule tự xoá request thô chưa gom sau một thời gian. - Gom chứ không biến đổi: job AW…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…Kiến trúc: mỗi nguồn dùng công cụ riêng để đẩy dữ liệu vào S3 làm tầng trung gian chuẩn (export native, BigQuery export, AWS AppFlow cho Salesforce, Fivetran cho Marketo, một app…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…o trì: gán thí nghiệm (giải các loại định danh), metric (từ S3 và Redshift), tổng hợp/thống kê. Hơn 80 job Spark trong DAG; riêng khối gán thí nghiệm tăng từ 2 lên 25 job vì phải h…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…ề máy, C .NET chuyển sang CSV (làm phẳng, tính cột), upload S3, COPY vào Redshift . Lịch bằng SSIS/SQL Server Agent. - V2: dữ liệu tăng, gộp ba bước đầu thành đọc–biến đổi–ghi tron…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…ý gia hạn theo từng message ( ChangeMessageVisibility ). - S3 không có thư mục thật: "đổi tên thư mục" là đổi key của từng object. Đã chuyển hơn một triệu file từ SAN lên S3 bằng…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…ục vụ người dùng. - Use case chính: backup bảng DynamoDB ra S3 dạng JSON bằng Spark; các job Spark khác nạp bản backup vào Redshift, Databricks. Medium chọn cách này thay vì AWS Da…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…ick, repin). - Nguồn dữ liệu: event từ Kafka được log xuống S3; object (Pin, board, user) từ DB production. Thay đổi chính - Bốn thành phần: pipeline batch Hadoop MapReduce tạo một…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Netflix Billing Migration to AWS — Part II Bài tóm tắt · Netflix · 2016
…viên đổi sang Aegisthus đọc SSTable Cassandra ra JSON trên S3, Pig chạy MapReduce mỗi ngày; Sqoop đẩy cả Oracle và Cassandra vào Hive để join khi điều tra. - Migrate từng nước: tắ…
- Open Sourcing Coinbase's Secure Deployment Pipeline (Odin) Bài tóm tắt · Coinbase · 2018
…ểm tra ngày tạo còn mới và so release với bản đã upload lên S3; audit từ log của Step Function và Lambda. - Codeflow (nội bộ, chưa mở mã nguồn) quản lý cấu hình và gọi Odin; cho mọ…
- Creating a Logical Replica from a Snapshot in RDS Postgres Bài tóm tắt · Instacart · 2020
…ch LSN trên slot cho tới 0. Instance restore lúc đầu đọc từ S3 nên chậm; khoảng cách có thể tăng một lúc, miễn LSN đã flush vẫn tiến. - Promote: dừng ghi ở primary → huỷ subscripti…
- Prometheus High Availability and Fault Tolerance Strategy, Long Term Storage with VictoriaMetrics Bài tóm tắt · Miro · 2020
…u instance sau load balancer. Có thể snapshot vmstorage lên S3 để giữ lâu hơn nữa. Bài học cho SWE - Tách ngắn hạn/nóng (Prometheus nhỏ, đĩa nhanh, nhân đôi) khỏi dài hạn/lạnh (kho…
- Zig Software Foundation Công ty Thành viên
Chiều ngược với câu chuyện quen thuộc: năm 2024 ziglang.org rời S3 + CloudFront về một máy Hetzner 36 €/tháng, chấp nhận 99% uptime và dựa vào chữ ký + mirror cộng đồng . Năm 2025, sự cố đầu tiên (một bot crawl điên…
- The First ziglang.org Outage Bài tóm tắt · Zig Software Foundation · 2025
…i quá tải. Các đề xuất bị từ chối và lý do (theo Zig): dùng S3/serverless tự scale thì tốn tiền nuôi bot; xin CDN hay credit miễn phí thì phụ thuộc vào thiện chí của một công ty cl…