Tìm kiếm
40 kết quả cho “Batch”. Tìm không phân biệt dấu.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…ó — [bài gốc](https://technology.doximity.com/articles/from-batch-snapshots-to-near-real-time-data) Bối cảnh - Doximity đã có pipeline batch chép định kỳ snapshot của DB ứng dụng v…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…nt/giây, latency tăng vọt sau p99. - Spark Streaming (micro-batch) có hình bậc thang: latency cao hơn nhiều, đổi lại kỳ vọng chịu được thông lượng cao hơn. Ở 100.000 message/giây l…
- Cook: A Fair Preemptive Resource Scheduler for Compute Clusters Bài tóm tắt · Two Sigma · 2016
…task nhỏ, người dùng chờ kết quả ngay; cần latency thấp) và batch (chạy qua đêm hoặc nhiều ngày trên dải dữ liệu lớn; cần throughput). - Theo Two Sigma, latency thấp cho interactiv…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
…m 1 giây cho thao tác real-time như giữ tiền thẻ). Đã loại: batch qua Kafka (trễ phía client và consumer 1–2 giây là bình thường), stream có thứ tự toàn cục (quá phức tạp, phải com…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…ổn định; team đã có kinh nghiệm tốt với Cassandra. - Spark batch mỗi 6 giờ đọc toàn bảng Cassandra, join nguồn khác, gộp theo nhiều cột, ghi Parquet vào Swift storage. - Bảng Hive…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…thể gây mất hoặc trùng; cơ chế bù có nhưng làm hệ phức tạp. Batch cho phép copy nguyên tử theo khoảng thời gian và kiểm sau mỗi lần . - "Kopiowaczka" (cái máy copy): bảng task (bản…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…của Dynovault, p95 khoảng 25–35 ms . - Nạp theo ba đường: - Batch cho biến đổi lớn trên kiến trúc medallion, kèm phát hiện thay đổi để chỉ ghi bản ghi đã đổi: số bản ghi ghi mỗi lầ…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…ngày gần nhất ở kho online (phần cũ hơn vẫn lấy từ pipeline batch), và tính feature lúc cần thay vì tính sẵn, vì lượng dữ liệu mỗi lần nhỏ. - Khảo sát các team AI thấy đa số featur…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…, hàng nghìn tỉ event/ngày (2022). - Pipeline nạp log cũ là batch , tối ưu thông lượng (hàng tỉ event/phút) nên dữ liệu mới tới tay kỹ sư dữ liệu sau tới vài giờ. Thay đổi chính -…
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…- Thử nghiệm online vs offline, loại instance, số instance, batch size; chọn Batch Transform trên CPU : không cần realtime vì có khoảng trễ giữa lúc chụp và lúc dùng kết quả; không…
- Centralized Application Logging at eBay (CAL Ingress) Bài tóm tắt · eBay · 2019
CAL gom log cục bộ của các application server về một chỗ và làm báo cáo cho mọi mảng của eBay. CAL Ingress nhận log từ hàng nghìn client qua kết nối TCP sống lâu, chia ra: raw log tới Filer, metric VID (gộp lại) qua…
- Rest.li: RESTful Service Architecture at Scale Bài tóm tắt · LinkedIn · 2013
…Java REST+JSON, thiết kế theo entity với động từ kiểu HTTP, batch operation chuẩn, client và server type-safe, IDL mô tả resource, kiểm tra tương thích khi API đổi. - R2: lớp trans…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…model đã train. LyftLearn là nền tảng chung cho training và batch prediction . Thay đổi chính - Nguyên tắc thiết kế, theo Lyft: lặp nhanh là thứ phân biệt phát triển ML với phần mề…
- How we reduced our text similarity runtime by 99.96% Bài tóm tắt · Microsoft · 2021
…a học mới cho các tổng quan hệ thống. Đây là tối ưu một job batch, không phải hạ tầng lớn. Bối cảnh - Mỗi lần chạy phải chấm 100.000 tới 1,5 triệu bài báo mới so với mọi review (mỗ…
- Rediscovering Transaction Processing From History and First Principles Bài tóm tắt · TigerBeetle · 2024
Năm 1985, Jim Gray đề xuất đo OLTP bằng TPS và gắn TPS với giá thành mỗi transaction. "Transaction" chuẩn của ông không phải SQL transaction mà là DebitCredit: ghi nợ một tài khoản, ghi sổ kép, trả lời terminal. Mỗi…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…ng policy ttft p95 300 ms không bao giờ scale vì continuous batching dồn áp lực hàng đợi vào latency tổng chứ không vào token đầu đo ở engine; policy gpu utilization 75% cũng không…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…a trong vòng query, mẫu cấp phát gây GC. - Hướng tiếp: microbatching đầu–cuối để ứng viên đi tiếp ngay khi có, không chờ shard chậm nhất ở mỗi pha (ước hơn 100 ms); search theo sản…
- Next Best Action platform: democratizing personalization with contextual bandits Bài tóm tắt · Zillow · 2024
…ng theo giá trị kinh doanh hội tụ trong 3 ngày . - Hạ tầng: batch xử lý dữ liệu, train, tính sẵn quyết định và đẩy vào online storage; service online chỉ tra cứu; thư viện chuẩn ho…
- Designing AI-Driven User Memory for Personalization Bài tóm tắt · Zillow · 2025
…ăng cần lặp lại chính xác (nhà vừa xem). Hạ tầng hai lớp: - Batch hằng ngày cho profile dài hạn (sở thích dài hạn đổi chậm, dùng được thuật toán phức tạp hơn). - Gần realtime : ing…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…g nhau. Engine chạy trên nhiều node GPU ở hai zone, dynamic batching đầu vào, tăng giảm node theo tải; "hàng chục nghìn tin nhắn mỗi giây" (2021). - Giám sát và rollback: mọi hệ ML…
- Serverless Transactions Serve Customers Bài tóm tắt · CapitalOne · 2017
…ud chỉ phục vụ traffic đọc, được mainframe nạp dữ liệu theo batch và gần real-time . - CQRS: mainframe vẫn giữ mô hình ghi; cloud giữ mô hình đọc riêng (DynamoDB). Cái giá là phải…
- Rearchitecting the Workflows control plane for the agentic era Bài tóm tắt · Cloudflare · 2026
Workflows (engine durable execution chạy trên chính nền tảng Workers của Cloudflare) được thiết kế cho workflow do người kích hoạt (đăng ký, đặt hàng): mỗi người một instance, người không bấm nhanh được. Thực tế dần…
- How image search works at Dropbox Bài tóm tắt · Dropbox · 2021
…h vector cùng không gian bằng word vector (ConceptNet Numberbatch, đa ngôn ngữ nên "dog" và "chien" gần nhau, không cần dịch) nhân với ma trận word vector của tên các lớp. Điểm = t…
- How GitHub uses merge queue to ship hundreds of changes every day Bài tóm tắt · GitHub · 2024
…óm. Tự động gom, tự loại phần xung đột giữ được lợi ích của batch mà không mất throughput. Bài học cho SWE - Khi số thay đổi tăng, quy trình tuần tự hoặc gom thủ công thành nút thắ…
- Under the Hood of the Grammarly Editor, Part Two: How Suggestions Work Bài tóm tắt · Grammarly · 2022
Editor dùng giao thức operational transformation (OT) với định dạng Delta (insert, delete, retain) cho cả văn bản, thay đổi của người dùng và gợi ý từ backend. Backend quét văn bản rồi gửi gợi ý về client.
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…eline cũ: tính feature trong data warehouse Snowflake , job batch chấm điểm mọi item mỗi 2–4 giờ , ghi vào Postgres để phục vụ. Vấn đề: chấm hàng trăm triệu item thường xuyên rất đ…
- Maximizing Our Publishing Platform Reach with Network Distribution Bài tóm tắt · LinkedIn · 2014
…feed tính lúc đọc, thông báo bất đồng bộ có lọc, email bằng batch. Liên quan - · (thay hạ tầng feed năm 2016) · · - ·…
- Open Sourcing Iris and Oncall Bài tóm tắt · LinkedIn · 2017
…chỉ gọi một cuộc); tự động hoá làm mất lớp gộp đó. Họ thêm batching và tự hạ ưu tiên khi một người nhận quá nhiều tin, nhưng theo bài cách thật sự là gom và chỉnh lại alert : Iris…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…elta thường xuyên và đẩy đủ thưa. Liên quan - · (cùng hướng batch → gần realtime) · (cụm local và aggregate) - · ·…
- Our Journey to a Near Perfect Log Pipeline Bài tóm tắt · Salesforce · 2017
…%: cùng lúc chuyển sang cụm lớn hơn và topic chi tiết hơn . Batch tối đa 1 MB trên đường ống bị vượt: MirrorMaker đặt quá sát 1 MB (giảm còn 250 KB), Logstash dùng client cũ đếm th…
- Why We Switched Our Data Orchestration Service Bài tóm tắt · Spotify · 2022
…estration-service/) Bối cảnh - Spotify chạy 20.000 pipeline batch mỗi ngày , định nghĩa trong hơn 1.000 repo, của hơn 300 team (2022). Đa số dựa vào Luigi (Python) và Flo (Java): w…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…(thay vì theo từng thí nghiệm hay từng metric). - Pipeline batch Spark hằng ngày trên EMR on-demand , chia ba khối để dễ checkpoint và bảo trì: gán thí nghiệm (giải các loại định…
- Deploying key transparency at WhatsApp Bài tóm tắt · WhatsApp · 2023
Mã hoá đầu cuối chỉ đáng tin nếu hai đầu biết public key của nhau là thật. Public key do WhatsApp lưu và phát, nên server độc (hay bị xâm nhập) có thể đưa key giả để làm person-in-the-middle.
- Predicting the real-time availability of 200 million grocery items Bài tóm tắt · Instacart · 2018
Hơn 100.000 shopper quét hàng triệu món mỗi ngày ở 20.000 cửa hàng (2018). Instacart không sở hữu chuỗi cung ứng; đối tác bán lẻ gửi dữ liệu tồn kho khoảng một lần mỗi ngày, trong khi hàng có thể hết trong ngày. Hàng…
- Fulfilling the promise of CI/CD Bài tóm tắt · Stack Overflow · 2021
Theo tác giả, ai cũng nói "CI/CD" nhưng thực ra chỉ làm CI; gần như không ai thực hành continuous deployment. Mục đích của CI vốn là dọn đường cho CD.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…