Tìm kiếm
20 kết quả cho “Streaming Platform team”. Tìm không phân biệt dấu.
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ình — [bài gốc](https://www.zillow.com/tech/building-a-data-streaming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Data Sci…
- How to Pitch Apache Kafka Bài tóm tắt · Zillow · 2020
…ãnh đạo đầu tư Kafka; phần về Zillow là quyết định lập team Streaming Platform. Các so sánh Kinesis/Kafka ghi theo tác giả. Bối cảnh - Zillow chạy trên AWS và dùng SQS, SNS, Kinesi…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…t availability do ứng dụng quản lý tồn kho phát ra. - Spark Streaming đọc Kafka, xử lý và upsert vào Cassandra : cần kho chịu lượng upsert lớn mà đọc vẫn nhanh. Theo Walmart, RDBMS…
- Hertz, an Ultra Large Scale Enterprise-Level Microservice HTTP Framework, is Now Officially Open Source Bài tóm tắt · ByteDance · 2022
…ặt mặc định để mở rộng; hỗ trợ HTTP/1.1, HTTP/2, WebSocket, streaming và chunk (bản mở mã nguồn đầu chỉ có HTTP/1). - Công cụ hz sinh khung project từ IDL (Thrift, Protobuf) và cập…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
Nhiều tính năng của Zillow (Zestimate, gợi ý nhà, floor plan, semantic search) chạy bằng model ML. Đưa một model đã train lên làm web service cần nhiều logic nghiệp vụ quanh nó: tiền xử lý request, trích feature tức…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
Grab chuyển từ một đội Data Engineering trung tâm sang data mesh: các team tự publish data product, được chứng nhận (chủ sở hữu, tài liệu, lineage, kiểm chất lượng) qua Hubble (metadata, lineage), Genchi (quan sát chất…
- Anomaly Detection at Zillow Using Luminaire Bài tóm tắt · Zillow · 2021
Zestimate, gợi ý, model CV xử lý lượng dữ liệu lớn qua nhiều pipeline, mỗi chỗ là một điểm có thể hỏng. Theo Zillow, công cụ phát hiện bất thường có sẵn hoặc không bền trên nhiều dạng dữ liệu, hoặc cần chuyên môn mô…
- Accelerating Search and Ingestion with High-Performance gRPC in OpenSearch Bài tóm tắt · Uber · 2026
…quest lớn, RPS cao, tài liệu nhị phân. Tiếp theo: thêm API, streaming, bảo mật và observability cho transport. Vì sao - Theo Uber, cách biểu diễn API không phải lựa chọn bề mặt: ở…