Tìm kiếm
37 kết quả cho “batch sang streaming”. Tìm không phân biệt dấu.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…, hàng nghìn tỉ event/ngày (2022). - Pipeline nạp log cũ là batch , tối ưu thông lượng (hàng tỉ event/phút) nên dữ liệu mới tới tay kỹ sư dữ liệu sau tới vài giờ. Thay đổi chính -…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…i mới đổ thành file lớn là mẫu chung: so với WarpStream gom batch trước khi PUT. - Thận trọng với benchmark nhà cung cấp so với đối thủ: cấu hình đối thủ (REST catalog, cỡ lô) quyế…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…thể gây mất hoặc trùng; cơ chế bù có nhưng làm hệ phức tạp. Batch cho phép copy nguyên tử theo khoảng thời gian và kiểm sau mỗi lần . - "Kopiowaczka" (cái máy copy): bảng task (bản…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…ổn định; team đã có kinh nghiệm tốt với Cassandra. - Spark batch mỗi 6 giờ đọc toàn bảng Cassandra, join nguồn khác, gộp theo nhiều cột, ghi Parquet vào Swift storage. - Bảng Hive…
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…eline cũ: tính feature trong data warehouse Snowflake , job batch chấm điểm mọi item mỗi 2–4 giờ , ghi vào Postgres để phục vụ. Vấn đề: chấm hàng trăm triệu item thường xuyên rất đ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
…g hiển thị MRR, churn, tỉ lệ chuyển đổi trial... Hệ cũ chạy batch , trễ trung bình 24 giờ: trạng thái hiện tại của một subscription được tính lại bằng cách phân tích toàn bộ lịch s…
- Netflix Billing Migration to AWS Bài tóm tắt · Netflix · 2016
…ra 130 nước mới, billing chạy 100% trên AWS. - Billing gồm batch job tạo đơn gia hạn định kỳ, đẩy dữ liệu doanh thu vào sổ cái (GL), tax service; API cho website và chăm sóc khách…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…Khoảng 2015, data lake chuẩn của ngành là file, chỉ append, batch. Workload quan trọng của Uber thì khác: dữ liệu thay đổi (vòng đời chuyến, trạng thái đơn, thuộc tính thiết bị), s…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…rquet lên S3 (exactly-once theo checkpoint, phân thư mục để batch đọc nhanh, backfill được khi Kafka hết hạn giữ, mở đường cho lake với Trino) → Snowpipe nạp vào Snowflake khi có t…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- How We Rebuilt Our Log Storage and Search Infrastructure for Scale Bài tóm tắt · Railway · 2022
…eam realtime bằng tail file và query ngắn hạn) vừa ghi theo batch lên Google Cloud Storage để giữ lâu; query ngoài cửa sổ vài giờ thì đọc GCS. - Đọc: frontend mở GraphQL subscripti…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…ch ly. - File nhỏ xử lý nhiều tầng: gộp trong bộ đệm, micro-batch 32 MB, file đích 64 MB, cuối cùng compaction nền. Partition theo trường, theo thời gian, bucket, truncate, kết hợp…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- Yahoo Công ty Thành viên
Yahoo tạo BookKeeper năm 2009 làm WAL cho HDFS: một kho log tuần tự nhân bản theo quorum trên phần cứng phổ thông, metadata trong ZooKeeper. Đến 2015 nó là lớp lưu bền cho Cloud Messaging Service đa tenant (hơn 60 ứng…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…QPS qua RPC); interactive (báo cáo ngày cho chủ nhà hàng); batch (xu hướng một năm). Thay đổi chính - Lambda architecture: một luồng dữ liệu vào phục vụ cả hai nhánh. Nhánh realti…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- Optimizing Elasticsearch for Low Latency, Real-Time Recommendations Bài tóm tắt · Zillow · 2022
…nhân hoá. Trước đây phần lớn (ngoài kết quả tìm kiếm) tính batch ; năm 2022 chuyển phần lớn sang realtime để bắt kịp listing mới và sở thích mới nhất. Thay đổi chính - Service rt-…
- Debugging Production with Event Logging Bài tóm tắt · Zillow · 2018
Trang tìm căn hộ: khi lưu một bản ghi vào SQL, các thuộc tính tìm kiếm được index vào Elasticsearch; search chạy trên Elasticsearch, rồi lấy bản ghi đầy đủ từ SQL theo ID.
- Serving Machine Learning Models Efficiently at Scale at Zillow Bài tóm tắt · Zillow · 2022
…của Metaflow (Zillow có bản riêng zillow-metaflow) dùng cho batch: lớp OnlineFlowSpec khai báo các bước bằng @step / self.next (có thể rẽ nhánh để xử lý song song); decorator ở mức…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…tỉ object trên S3, phục vụ cả metric gần thời gian thực lẫn batch lớn qua hai nền tảng nội bộ (Slide cho batch, Hugo cho ingest từ hệ online). Nhiều năm, phần lớn bảng là Hive Parq…
- Me and my shadow (link!): Disaster recovery replication made easy Bài tóm tắt · Redpanda · 2026
…chép: dữ liệu topic giữ nguyên offset , timestamp, header, batch; cấu hình topic; offset đã commit của consumer group; ACL; schema registry (tuỳ chọn). - Mô hình active-passive, b…
- Onehouse Công ty Thành viên
Nguồn duy nhất của Onehouse trong wiki là bản tóm tắt (2024) talk năm 2023 của Uber về hạ tầng dữ liệu, nên mọi nhận định là theo Uber qua lời kể của Onehouse: kiến trúc Lambda phục vụ bốn loại nhu cầu từ streaming dưới…
- Accelerating Search and Ingestion with High-Performance gRPC in OpenSearch Bài tóm tắt · Uber · 2026
Uber đã chuẩn hoá trên OpenSearch cho search và retrieval (ghép tài xế, chống gian lận, gợi ý Uber Eats). Hạ tầng nội bộ nói gRPC + Protobuf, còn OpenSearch chỉ có REST/JSON; các lớp chuyển đổi ở giữa thêm latency, phức…