Tìm kiếm
40 kết quả cho “ATC”. Tìm không phân biệt dấu.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- How we evolved our code: Notion's ratcheting system using custom ESLint rules Bài tóm tắt · Notion · 2025
…ttps://www.notion.com/blog/how-we-evolved-our-code-notions-ratcheting-system-using-custom-eslint-rules) Bối cảnh - Codebase lớn dần thì pattern cũ tích lại. Cách thường làm là vài…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…— [bài gốc](https://technology.doximity.com/articles/from-batch-snapshots-to-near-real-time-data) Bối cảnh - Doximity đã có pipeline batch chép định kỳ snapshot của DB ứng dụng và…
- Who Watches the Watchmen? Keeping an Eye on Our Monitoring Systems Bài tóm tắt · Mercari · 2022
…https://engineering.mercari.com/en/blog/entry/20220805-who-watches-the-watchmen-keeping-an-eye-on-our-monitoring-systems/) Bài của team Security Engineering về giám sát pipeline th…
- Catching bugs on the client-side: how we developed our error tracking system Bài tóm tắt · Bumble · 2020
…khó: Trung bình — [bài gốc](https://medium.com/bumble-tech/catching-bugs-on-a-client-48c793720b9b) Bối cảnh - Bumble và Badoo có web (desktop, mobile) và app Android, iOS với hàng…
- Building a data plane from scratch: Stripe's own high-performance distributed proxy Bài tóm tắt · Stripe · 2026
…gốc](https://stripe.dev/blog/building-a-data-plane-from-scratch-stripes-own-high-performance-distributed-proxy) Bối cảnh - Mục tiêu độ tin cậy 99,9995% cho request thanh toán; ser…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…t/giây, latency tăng vọt sau p99. - Spark Streaming (micro-batch) có hình bậc thang: latency cao hơn nhiều, đổi lại kỳ vọng chịu được thông lượng cao hơn. Ở 100.000 message/giây la…
- Cook: A Fair Preemptive Resource Scheduler for Compute Clusters Bài tóm tắt · Two Sigma · 2016
…ask nhỏ, người dùng chờ kết quả ngay; cần latency thấp) và batch (chạy qua đêm hoặc nhiều ngày trên dải dữ liệu lớn; cần throughput). - Theo Two Sigma, latency thấp cho interactive…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…Reed là 40 triệu user mỗi kỹ sư. - Stack: Erlang R16B01 có patch riêng, FreeBSD 9.2, Mnesia, Yaws; bare metal thuê ở SoftLayer, cấu hình hai data center. - Khoảng 550 server cộng m…
- How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server Bài tóm tắt · Kubernetes · 2026
…server và etcd. Vì vậy Kubernetes được dựng quanh mô hình watch từ đầu chứ không poll. Cơ chế - List + watch: lấy snapshot một lần (kèm resourceVersion ), rồi mở watch từ đúng ver…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
…1 giây cho thao tác real-time như giữ tiền thẻ). Đã loại: batch qua Kafka (trễ phía client và consumer 1–2 giây là bình thường), stream có thứ tự toàn cục (quá phức tạp, phải comp…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…ổn định; team đã có kinh nghiệm tốt với Cassandra. - Spark batch mỗi 6 giờ đọc toàn bảng Cassandra, join nguồn khác, gộp theo nhiều cột, ghi Parquet vào Swift storage. - Bảng Hive…
- ML Model Deployment for Zillow Floor Plans with SageMaker Bài tóm tắt · Zillow · 2020
…Thử nghiệm online vs offline, loại instance, số instance, batch size; chọn Batch Transform trên CPU : không cần realtime vì có khoảng trễ giữa lúc chụp và lúc dùng kết quả; không…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…hể gây mất hoặc trùng; cơ chế bù có nhưng làm hệ phức tạp. Batch cho phép copy nguyên tử theo khoảng thời gian và kiểm sau mỗi lần . - "Kopiowaczka" (cái máy copy): bảng task (bảng…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…ủa Dynovault, p95 khoảng 25–35 ms . - Nạp theo ba đường: - Batch cho biến đổi lớn trên kiến trúc medallion, kèm phát hiện thay đổi để chỉ ghi bản ghi đã đổi: số bản ghi ghi mỗi lần…
- Concourse: Generating Personalized Content Notifications in Near-Real-Time Bài tóm tắt · LinkedIn · 2018
…fan-out, gắn feature, chấm điểm bằng model, rồi chuyển cho ATC (cổng chung cho mọi liên lạc với member). - Hai hạn chế: trễ 6–10 giờ từ hoạt động tới thông báo (tin thời sự đã cũ,…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…gày gần nhất ở kho online (phần cũ hơn vẫn lấy từ pipeline batch), và tính feature lúc cần thay vì tính sẵn, vì lượng dữ liệu mỗi lần nhỏ. - Khảo sát các team AI thấy đa số feature…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…trước về Feature Service: . Bối cảnh - Mỗi team ở Lyft (dispatch, định giá, chống gian lận, hỗ trợ) dùng kỹ thuật mô hình riêng, nhưng đều cần cùng các việc: môi trường phát triển,…
- Fleet Management at Spotify (Part 3): Fleet-wide Refactoring Bài tóm tắt · Spotify · 2023
…vice framework và bộ thư viện lõi chung, phần lớn pipeline batch dùng Scio. Từ 2021 Spotify đầu tư vào refactor toàn fleet để "repo" không còn là đơn vị công việc, và kỹ sư bỏ cách…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…hàng nghìn tỉ event/ngày (2022). - Pipeline nạp log cũ là batch , tối ưu thông lượng (hàng tỉ event/phút) nên dữ liệu mới tới tay kỹ sư dữ liệu sau tới vài giờ. Thay đổi chính - S…
- Serverless Transactions Serve Customers Bài tóm tắt · CapitalOne · 2017
…d chỉ phục vụ traffic đọc, được mainframe nạp dữ liệu theo batch và gần real-time . - CQRS: mainframe vẫn giữ mô hình ghi; cloud giữ mô hình đọc riêng (DynamoDB). Cái giá là phải g…
- Centralized Application Logging at eBay (CAL Ingress) Bài tóm tắt · eBay · 2019
CAL gom log cục bộ của các application server về một chỗ và làm báo cáo cho mọi mảng của eBay. CAL Ingress nhận log từ hàng nghìn client qua kết nối TCP sống lâu, chia ra: raw log tới Filer, metric VID (gộp lại) qua…
- Rest.li: RESTful Service Architecture at Scale Bài tóm tắt · LinkedIn · 2013
…ava REST+JSON, thiết kế theo entity với động từ kiểu HTTP, batch operation chuẩn, client và server type-safe, IDL mô tả resource, kiểm tra tương thích khi API đổi. - R2: lớp transp…
- How we reduced our text similarity runtime by 99.96% Bài tóm tắt · Microsoft · 2021
…học mới cho các tổng quan hệ thống. Đây là tối ưu một job batch, không phải hạ tầng lớn. Bối cảnh - Mỗi lần chạy phải chấm 100.000 tới 1,5 triệu bài báo mới so với mọi review (mỗi…
- Rediscovering Transaction Processing From History and First Principles Bài tóm tắt · TigerBeetle · 2024
Năm 1985, Jim Gray đề xuất đo OLTP bằng TPS và gắn TPS với giá thành mỗi transaction. "Transaction" chuẩn của ông không phải SQL transaction mà là DebitCredit: ghi nợ một tài khoản, ghi sổ kép, trả lời terminal. Mỗi…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…g policy ttft p95 300 ms không bao giờ scale vì continuous batching dồn áp lực hàng đợi vào latency tổng chứ không vào token đầu đo ở engine; policy gpu utilization 75% cũng không…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…trong vòng query, mẫu cấp phát gây GC. - Hướng tiếp: microbatching đầu–cuối để ứng viên đi tiếp ngay khi có, không chờ shard chậm nhất ở mỗi pha (ước hơn 100 ms); search theo sản…
- The WhatsApp Architecture Facebook Bought For $19 Billion Bài tóm tắt · WhatsApp · 2014
…giây. - Server gần như toàn bộ là Erlang trên FreeBSD , có patch riêng cho BEAM (máy ảo Erlang); máy phục vụ user là 2 CPU Westmere 6 nhân (24 CPU logic), 100 GB RAM, SSD, hai card…
- Next Best Action platform: democratizing personalization with contextual bandits Bài tóm tắt · Zillow · 2024
…g theo giá trị kinh doanh hội tụ trong 3 ngày . - Hạ tầng: batch xử lý dữ liệu, train, tính sẵn quyết định và đẩy vào online storage; service online chỉ tra cứu; thư viện chuẩn hoá…
- Designing AI-Driven User Memory for Personalization Bài tóm tắt · Zillow · 2025
…ng cần lặp lại chính xác (nhà vừa xem). Hạ tầng hai lớp: - Batch hằng ngày cho profile dài hạn (sở thích dài hạn đổi chậm, dùng được thuật toán phức tạp hơn). - Gần realtime : inge…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…nhau. Engine chạy trên nhiều node GPU ở hai zone, dynamic batching đầu vào, tăng giảm node theo tải; "hàng chục nghìn tin nhắn mỗi giây" (2021). - Giám sát và rollback: mọi hệ ML…
- Rearchitecting the Workflows control plane for the agentic era Bài tóm tắt · Cloudflare · 2026
Workflows (engine durable execution chạy trên chính nền tảng Workers của Cloudflare) được thiết kế cho workflow do người kích hoạt (đăng ký, đặt hàng): mỗi người một instance, người không bấm nhanh được. Thực tế dần…
- How image search works at Dropbox Bài tóm tắt · Dropbox · 2021
…vector cùng không gian bằng word vector (ConceptNet Numberbatch, đa ngôn ngữ nên "dog" và "chien" gần nhau, không cần dịch) nhân với ma trận word vector của tên các lớp. Điểm = tí…
- How GitHub uses merge queue to ship hundreds of changes every day Bài tóm tắt · GitHub · 2024
…m. Tự động gom, tự loại phần xung đột giữ được lợi ích của batch mà không mất throughput. Bài học cho SWE - Khi số thay đổi tăng, quy trình tuần tự hoặc gom thủ công thành nút thắt…
- Under the Hood of the Grammarly Editor, Part Two: How Suggestions Work Bài tóm tắt · Grammarly · 2022
Editor dùng giao thức operational transformation (OT) với định dạng Delta (insert, delete, retain) cho cả văn bản, thay đổi của người dùng và gợi ý từ backend. Backend quét văn bản rồi gửi gợi ý về client.
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…line cũ: tính feature trong data warehouse Snowflake , job batch chấm điểm mọi item mỗi 2–4 giờ , ghi vào Postgres để phục vụ. Vấn đề: chấm hàng trăm triệu item thường xuyên rất đắ…
- Can you use autoregressive diffusion to generate market data? Bài tóm tắt · Jane Street · 2026
…(88–95% giá trị cách trung bình hơn 8 độ lệch chuẩn); flow matching chạy tốt ngay. - Xử lý điểm gián đoạn: chỉ 8% sự kiện là trade nên head phân loại đoán lệch. Chẻ BBO thành nhiều…
- Maximizing Our Publishing Platform Reach with Network Distribution Bài tóm tắt · LinkedIn · 2014
…eed tính lúc đọc, thông báo bất đồng bộ có lọc, email bằng batch. Liên quan - · (thay hạ tầng feed năm 2016) · · - ·…
- Open Sourcing Iris and Oncall Bài tóm tắt · LinkedIn · 2017
…chỉ gọi một cuộc); tự động hoá làm mất lớp gộp đó. Họ thêm batching và tự hạ ưu tiên khi một người nhận quá nhiều tin, nhưng theo bài cách thật sự là gom và chỉnh lại alert : Iris…
- The AI Lied to Me — And That's When I Learned How to Use It Bài tóm tắt · Mercari · 2025
…e (nếu không lộ ra) " vào định dạng (tác giả gọi là escape hatch) thì kết quả kiểm được. Chạy lại 4 tháng sau, model đã tự trả "không dùng" đúng. - Việc quá lớn thì agent tự đổi sa…