Tìm kiếm
40 kết quả cho “Batch pipeline”. Tìm không phân biệt dấu.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
…%: cùng lúc chuyển sang cụm lớn hơn và topic chi tiết hơn . Batch tối đa 1 MB trên đường ống bị vượt: MirrorMaker đặt quá sát 1 MB (giảm còn 250 KB), Logstash dùng client cũ đếm th…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…a trong vòng query, mẫu cấp phát gây GC. - Hướng tiếp: microbatching đầu–cuối để ứng viên đi tiếp ngay khi có, không chờ shard chậm nhất ở mỗi pha (ước hơn 100 ms); search theo sản…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…yếu qua Apache Gobblin (nguồn Kafka, Espresso, Oracle), job batch chạy hàng giờ trên hàng trăm dataset. Giám sát lúc đó chỉ là trạng thái pass/fail của job trên dashboard Azkaban t…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…ó — [bài gốc](https://technology.doximity.com/articles/from-batch-snapshots-to-near-real-time-data) Bối cảnh - Doximity đã có pipeline batch chép định kỳ snapshot của DB ứng dụng v…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
Gần 20 team dữ liệu của Doximity dùng Airflow điều phối hơn 900 DAG đang chạy, hàng chục lần cập nhật mỗi ngày (2025). Airflow chạy trên EC2 bằng Docker Compose, dự định chuyển sang EKS.
- AWS Lessons Learned for Data Processing Pipelines Bài tóm tắt · Expedia · 2016
…và nhà cung cấp, tối ưu, phân phối cho các site) từ một hệ batch cũ sang pipeline dựa trên queue trên AWS . - Được: scale khi tải nặng, deploy nhanh hơn, hết lo mua thêm đĩa cho l…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…, hàng nghìn tỉ event/ngày (2022). - Pipeline nạp log cũ là batch , tối ưu thông lượng (hàng tỉ event/phút) nên dữ liệu mới tới tay kỹ sư dữ liệu sau tới vài giờ. Thay đổi chính -…
- Why We Switched Our Data Orchestration Service Bài tóm tắt · Spotify · 2022
…estration-service/) Bối cảnh - Spotify chạy 20.000 pipeline batch mỗi ngày , định nghĩa trong hơn 1.000 repo, của hơn 300 team (2022). Đa số dựa vào Luigi (Python) và Flo (Java): w…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…ngày gần nhất ở kho online (phần cũ hơn vẫn lấy từ pipeline batch), và tính feature lúc cần thay vì tính sẵn, vì lượng dữ liệu mỗi lần nhỏ. - Khảo sát các team AI thấy đa số featur…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…(thay vì theo từng thí nghiệm hay từng metric). - Pipeline batch Spark hằng ngày trên EMR on-demand , chia ba khối để dễ checkpoint và bảo trì: gán thí nghiệm (giải các loại định…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…trong DB , bỏ pipeline ID đắt tiền chạy trên AWS; - ingest batch bằng Apache Beam (Dataflow) ; ID thống nhất giúp khử trùng ảnh cùng URL hay từ nhiều đối tác; ảnh ở GCS sau CDN; -…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…nt/giây, latency tăng vọt sau p99. - Spark Streaming (micro-batch) có hình bậc thang: latency cao hơn nhiều, đổi lại kỳ vọng chịu được thông lượng cao hơn. Ở 100.000 message/giây l…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…từ DB production. Thay đổi chính - Bốn thành phần: pipeline batch Hadoop MapReduce tạo một dataset mới mỗi ngày → HBase phục vụ với độ trễ thấp → API (có kiểm quyền truy cập) → web…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…tition (mỗi partition có thứ tự, không có thứ tự toàn cục), batch đọc/ghi, một định dạng nhị phân dùng chung cho bộ nhớ, đĩa và mạng (zero-copy). - Stream processing: job batch chạ…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…thể gây mất hoặc trùng; cơ chế bù có nhưng làm hệ phức tạp. Batch cho phép copy nguyên tử theo khoảng thời gian và kiểm sau mỗi lần . - "Kopiowaczka" (cái máy copy): bảng task (bản…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…ổn định; team đã có kinh nghiệm tốt với Cassandra. - Spark batch mỗi 6 giờ đọc toàn bảng Cassandra, join nguồn khác, gộp theo nhiều cột, ghi Parquet vào Swift storage. - Bảng Hive…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…của Dynovault, p95 khoảng 25–35 ms . - Nạp theo ba đường: - Batch cho biến đổi lớn trên kiến trúc medallion, kèm phát hiện thay đổi để chỉ ghi bản ghi đã đổi: số bản ghi ghi mỗi lầ…
- Centralized Application Logging at eBay (CAL Ingress) Bài tóm tắt · eBay · 2019
CAL gom log cục bộ của các application server về một chỗ và làm báo cáo cho mọi mảng của eBay. CAL Ingress nhận log từ hàng nghìn client qua kết nối TCP sống lâu, chia ra: raw log tới Filer, metric VID (gộp lại) qua…
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…eline cũ: tính feature trong data warehouse Snowflake , job batch chấm điểm mọi item mỗi 2–4 giờ , ghi vào Postgres để phục vụ. Vấn đề: chấm hàng trăm triệu item thường xuyên rất đ…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…g nhau. Engine chạy trên nhiều node GPU ở hai zone, dynamic batching đầu vào, tăng giảm node theo tải; "hàng chục nghìn tin nhắn mỗi giây" (2021). - Giám sát và rollback: mọi hệ ML…
- Rearchitecting the Workflows control plane for the agentic era Bài tóm tắt · Cloudflare · 2026
Workflows (engine durable execution chạy trên chính nền tảng Workers của Cloudflare) được thiết kế cho workflow do người kích hoạt (đăng ký, đặt hàng): mỗi người một instance, người không bấm nhanh được. Thực tế dần…
- Open Sourcing Iris and Oncall Bài tóm tắt · LinkedIn · 2017
…chỉ gọi một cuộc); tự động hoá làm mất lớp gộp đó. Họ thêm batching và tự hạ ưu tiên khi một người nhận quá nhiều tin, nhưng theo bài cách thật sự là gom và chỉnh lại alert : Iris…
- Predicting the real-time availability of 200 million grocery items Bài tóm tắt · Instacart · 2018
Hơn 100.000 shopper quét hàng triệu món mỗi ngày ở 20.000 cửa hàng (2018). Instacart không sở hữu chuỗi cung ứng; đối tác bán lẻ gửi dữ liệu tồn kho khoảng một lần mỗi ngày, trong khi hàng có thể hết trong ngày. Hàng…
- Fulfilling the promise of CI/CD Bài tóm tắt · Stack Overflow · 2021
Theo tác giả, ai cũng nói "CI/CD" nhưng thực ra chỉ làm CI; gần như không ai thực hành continuous deployment. Mục đích của CI vốn là dọn đường cho CD.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…