Tìm kiếm
40 kết quả cho “S3”. Tìm không phân biệt dấu.
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…dium.com/box-tech-blog/snitch-putting-consistency-back-into-s3-f1db2b21a07a) Bối cảnh - Hạ tầng analytics của Box coi S3 là nguồn sự thật trên cloud: dữ liệu ghi vào Kafka on-prem,…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…h - Nền big data của Netflix (2014) đặt data warehouse trên S3 : compute tách khỏi storage, nhiều cụm (chạy dài hay tạm) cùng đọc chung dữ liệu. User viết job Pig hoặc Hive cho ETL…
- Globally Distributed Object Storage with Tigris Bài tóm tắt · Fly.io · 2024
…e để tải lại về sau, nên mọi người dùng object storage kiểu S3. Khách của Fly.io liên tục đòi có nó. - Theo Fly.io, S3 được thiết kế khi ứng dụng chạy ở một thành phố: byte nằm ở m…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…Kiến trúc: mỗi nguồn dùng công cụ riêng để đẩy dữ liệu vào S3 làm tầng trung gian chuẩn (export native, BigQuery export, AWS AppFlow cho Salesforce, Fivetran cho Marketo, một app…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…nh - Data lake của Grab: hàng petabyte, hàng tỉ object trên S3, phục vụ cả metric gần thời gian thực lẫn batch lớn qua hai nền tảng nội bộ (Slide cho batch, Hugo cho ingest từ hệ o…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
…ẵn năng lực) → kiểm tra nhẹ rồi ghi nguyên request JSON lên S3 . S3 là nguồn sự thật; lifecycle rule tự xoá request thô chưa gom sau một thời gian. - Gom chứ không biến đổi: job AW…
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
…e mất vài trăm ms, p99 produce mặc định khoảng 400 ms ; với S3 Express One Zone (S3EOZ) xuống median 105 ms, p99 170 ms. - Một produce đi bốn bước tuần tự: gom record (mặc định 250…
- Sitar-agent: Building a reliable dynamic configuration sidecar at scale Bài tóm tắt · Airbnb · 2026
…ACL) → Snapshot Service mỗi giờ đóng gói toàn bộ config lên S3 → khi pod khởi động, sidecar chạy trước, tải snapshot từ S3 vào đĩa chung với container chính, rồi đồng bộ phần thay…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…o trì: gán thí nghiệm (giải các loại định danh), metric (từ S3 và Redshift), tổng hợp/thống kê. Hơn 80 job Spark trong DAG; riêng khối gán thí nghiệm tăng từ 2 lên 25 job vì phải h…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…(TLS hay không). Nhiều tài khoản AWS dùng chung một bucket S3 trung tâm, Agent Group nằm ở VPC khác nhau: bên ghi và bên đọc gặp nhau qua S3, không cần VPC peering hay PrivateLink…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…hối lượng đổi theo giờ; có lúc một mẻ tới 10 TB . - Mô hình S3 data lake : S3 thay HDFS, dựng cụm ETL/analytics/ML trỏ vào cùng dữ liệu trên S3, tức tách compute khỏi storage. Thay…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…ề máy, C .NET chuyển sang CSV (làm phẳng, tính cột), upload S3, COPY vào Redshift . Lịch bằng SSIS/SQL Server Agent. - V2: dữ liệu tăng, gộp ba bước đầu thành đọc–biến đổi–ghi tron…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…y đổi chính - Xuất bản DAG: CI đóng gói DAG của project lên S3 , ghi metadata vào hai file YAML: project catalog (lịch sử mọi phiên bản: tên, version, đường dẫn S3, ngày tạo; chỉ a…
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…ý gia hạn theo từng message ( ChangeMessageVisibility ). - S3 không có thư mục thật: "đổi tên thư mục" là đổi key của từng object. Đã chuyển hơn một triệu file từ SAN lên S3 bằng…
- Image Processing at Zillow: Out with the Old and In with the AWS Bài tóm tắt · Zillow · 2015
…nh tốc độ và độ song song theo từng nguồn ; ảnh gốc ghi lên S3, lỗi vào hàng đợi lỗi. - Image Processor (worker Beanstalk, Python PIL): làm sạch ảnh (bỏ viền màu đơn), render trước…
- Session revocations at scale Bài tóm tắt · Canva · 2026
…n đề sang một kho khác cộng thêm việc giữ nhất quán. - Chọn S3: bền, rẻ, hợp để tải file lớn. Chia cửa sổ trượt 12 giờ thành khối 30 phút , mỗi khối một object; tên object chứa thờ…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…ục vụ người dùng. - Use case chính: backup bảng DynamoDB ra S3 dạng JSON bằng Spark; các job Spark khác nạp bản backup vào Redshift, Databricks. Medium chọn cách này thay vì AWS Da…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…ick, repin). - Nguồn dữ liệu: event từ Kafka được log xuống S3; object (Pin, board, user) từ DB production. Thay đổi chính - Bốn thành phần: pipeline batch Hadoop MapReduce tạo một…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
…gửi bất đồng bộ bản protobuf vào Kafka; consumer gom lô ghi S3; định kỳ nạp vào Presto và Redshift để phân tích nhiều tháng bằng SQL (ví dụ: tỉ lệ phiên bản Go của client). - Cùng…
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
…e để định tuyến tới shard; ghi chảy ra CDC (oplog → Kafka → S3). Thay đổi chính - Data Movement Platform , ban đầu để scale ngang vượt giới hạn dọc của MongoDB, nay dùng cho: tách…
- Investment Insights from Two Years of AI-Powered Postmortem Analysis Bài tóm tắt · Zalando · 2025
…ụ trách các datastore trong Tech Radar (Postgres, DynamoDB, S3, ElastiCache, Elasticsearch) thử dùng LLM. Thay đổi chính - Thử NotebookLM trước: tóm tắt nhanh gấp 3 nhưng vẫn mất h…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…u lịch sử. - Pipeline offline mỗi repository: dump delta ra S3 → Spark merge với snapshot cũ + dữ liệu offline (feature ML) + kiểm tra sanity → nạp snapshot mới; delta chỉ bị xoá s…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…arehouse hai bước : Flink StreamingFileSink ghi Parquet lên S3 (exactly-once theo checkpoint, phân thư mục để batch đọc nhanh, backfill được khi Kafka hết hạn giữ, mở đường cho lak…
- Finding Order in Chaos: How We Automated Performance Testing with Torque Bài tóm tắt · Dream11 · 2021
…hoá Redis (Redisson) → generator thắng lấy dữ liệu, đẩy lên S3, gọi Lambda (hoặc Spark nếu 100–200 triệu dòng, vượt giới hạn Lambda) chia file theo số generator và ghi đường dẫn và…
- How we built Status Page Bài tóm tắt · GitLab · 2020
…g, giấy phép MIT, đọc các file JSON đó. - Chỉ hỗ trợ Amazon S3: GitLab.com chạy trên Google Cloud, nên trang trạng thái phải sống được khi Google Cloud (và GitLab.com) sập. Vì sao…
- Advancing Our Chef Infrastructure: Safety Without Disruption Bài tóm tắt · Slack · 2025
…úc không đoán trước được, Chef Librarian ghi một object vào S3 mỗi khi promote (theo stack và môi trường, kèm tham số như Splay để rải thời điểm); một dịch vụ mới kích Chef trên no…
- IPLS: Privacy-preserving storage for your WhatsApp contacts Bài tóm tắt · WhatsApp · 2024
…ụ ký của Cloudflare. Proof nhất quán giữa các epoch đưa lên S3 dạng ghi một lần đọc nhiều, ai cũng lấy được. Mục tiêu: chỉ có một bản thư mục, được bên thứ ba xác nhận. - Hệ thống…
- On WordPress Scaling and Performance, The Zillow Way Bài tóm tắt · Zillow · 2012
…server chỉ còn phục vụ PHP. - File người dùng lưu thẳng lên S3, URL viết lại sang nhiều hostname CloudFront; tên file chứa hash nội dung và header cache 10 năm, nên sửa ảnh thì URL…
- How Zillow Tests Clickstream Analytics Bài tóm tắt · Zillow · 2020
…ng Platform ; DSP ghi vào topic Kafka (và Kafka Connect lưu S3), nên event đọc được ngay. - Test chức năng: Selenium + ChromeDriver thao tác trang như người dùng, kiểm UI, rồi đọc…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn: