Tìm kiếm
11 kết quả cho “Firehose”. Tìm không phân biệt dấu.
- The Architecture Twitter Uses to Deal with 150M Active Users, 300K QPS, a 22 MB/S Firehose, and Send Tweets in Under 5 Seconds Bài tóm tắt · Twitter · 2013
…nh 5K/giây, đỉnh 7K/giây, hơn 12K/giây khi có sự kiện lớn); firehose 22 MB/giây. - Từ một site Rails ba tầng thành lõi các service (Timeline, Tweet, User, Social Graph); team platf…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…: Khó — [bài gốc](https://www.uber.com/us/en/blog/taming-ml-firehose/) Bối cảnh - Mục tiêu: feature dùng lúc inference chính là feature dùng để train model kế tiếp. Trước đó hai đư…
- Search Architecture Bài tóm tắt · Instagram · 2015
…, NOT) rồi xếp hạng và cắt. - Đưa dữ liệu vào (Slipstream + Firehose): - Instagram phục vụ hàng triệu request/giây, ghi vào các DB PostgreSQL chính. Search cần nhiều hơn một dòng P…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…backfill không nhất quán; mỗi team tự tạo role, credential, Firehose; không biết chính sách PII và vòng đời dữ liệu. Thay đổi chính - Data Streaming Platform dạng dịch vụ: team chỉ…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…bán, tin cho thuê, tịch biên, khoản vay... - Amazon Kinesis Firehose (managed) đổ stream vào S3 , làm "Zillow Data Lake" giữ toàn bộ lịch sử cho Spark và cho các thương hiệu khác t…
- Instagram Công ty Thành viên
Bắt đầu bằng stack "nhàm chán" (Django + Postgres + Redis + Memcached trên EC2). Nguyên tắc: đơn giản, không phát minh lại, dùng đồ đã kiểm chứng. 3 kỹ sư vận hành được 14 triệu user . Cùng năm họ giữ Postgres, chia…