Tìm kiếm
40 kết quả cho “Checkpoint”. Tìm không phân biệt dấu.
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…riptor, namespace). Thay đổi chính - Ghép hai công cụ: cuda-checkpoint đổ trạng thái GPU về bộ nhớ CPU của process; CRIU ghi cả cây process xuống storage chung (NFS/SMB). Restore ở…
- Helix: The internal tool powering our Shopify app's native migration Bài tóm tắt · Shopify · 2026
…một vòng lặp mà kết quả chưa đạt thì không được đi tiếp. - Checkpoint nhỏ: engineer chỉ vào một màn hình; Helix đọc code React Native và đề xuất chuỗi checkpoint tăng dần (khung m…
- The Real Cost of a Single Insert in Postgres Bài tóm tắt · Tiger Data · 2026
…. Thêm full page writes : lần sửa đầu tiên của mỗi page sau checkpoint ghi cả page vào WAL, nên lượng WAL vọt lên sau mỗi checkpoint. - Đo được (100.000 dòng, bảng 500.000 dòng): n…
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
…nên mỗi pod phải đọc toàn bộ interaction event; - không có checkpoint , nên mỗi lần deploy hay rescale mất tới 15 phút event đang đệm. Hệ quả là họ cấp dư pod để tránh rescale. Th…
- Anatomy of a serverless usage-based billing system Bài tóm tắt · WarpStream · 2024
…c khởi động lại bất cứ lúc nào và luôn nghiêng về gửi lại . Checkpoint (khoảng thời gian đã gửi xong, lưu trong metadata store) chỉ là tối ưu để khỏi gửi lại từ đầu, không cần cho…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…768 cho join, parallelism Flink lớn nhất từng chạy ở Uber). Checkpoint RocksDB mặc định phình hơn 12 TB/giờ tới mức ghi lên cloud bắt đầu hỏng; chuyển sang quản lý state riêng: chỉ…
- How we're building Scam Alert on WhatsApp Bài tóm tắt · WhatsApp · 2026
…ó nhiễu. - Pipeline gộp trong thời gian dài nên định kỳ lưu checkpoint mã hoá (khoá không rời TEE) để crash không phải đo lại từ đầu. - Nền tảng là hệ PAPAYA của Meta (NSDI 2025).…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- NVIDIA Công ty Thành viên
Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint,…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
…inline với file Parquet có sẵn. - Flush (riêng, hoặc trong CHECKPOINT cùng expire snapshot, gộp file, dọn dẹp) đổ dữ liệu inline ra một file Parquet gom lại. Kết quả (theo DuckDB…
- Migrating Large-Scale Interactive Compute Workloads to Kubernetes Without Disruption Bài tóm tắt · Uber · 2025
…ontainer (mất bộ nhớ, đĩa cục bộ, package đã cài); - Docker checkpoint và volume snapshot không dùng được hoặc không đủ nhanh; - giữ toàn bộ môi trường trên NFS thì quá nhiều file…
- Zillow Transitions to Streaming Data Architecture Bài tóm tắt · Zillow · 2016
…g, rồi mỗi giây chỉ lấy phần thay đổi (mới, sửa, xoá) kể từ checkpoint cuối, lưu checkpoint vào DynamoDB. Vì sao (theo Zillow) Cần một kiến trúc scale được, sẵn sàng cao, chịu lỗi,…
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…tch Spark hằng ngày trên EMR on-demand , chia ba khối để dễ checkpoint và bảo trì: gán thí nghiệm (giải các loại định danh), metric (từ S3 và Redshift), tổng hợp/thống kê. Hơn 80 j…
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…EXPy (Python/PySpark): interface cho nguồn exposure/metric, checkpoint dữ liệu trung gian theo trial, platform, segment để chạy lại từng phần và debug; chạy local giống hệt product…
- How Discord Stores Trillions of Messages Bài tóm tắt · Discord · 2023
…rator bằng Rust trong một buổi chiều (đọc theo token range, checkpoint bằng SQLite), ước tính còn 9 ngày , tốc độ tới 3,2 triệu tin/giây. Nhờ vậy bỏ được phương án cắt theo thời gi…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…ink StreamingFileSink ghi Parquet lên S3 (exactly-once theo checkpoint, phân thư mục để batch đọc nhanh, backfill được khi Kafka hết hạn giữ, mở đường cho lake với Trino) → Snowpip…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…nay gồm cả delete và update: thay đổi nhỏ ghi vào catalog, CHECKPOINT mới đổ ra Parquet. - Sorted tables (sắp khi compaction, flush, và tuỳ chọn lúc insert) để thu hẹp cận min/max…
- Resiliency and Disaster Recovery with Kafka Bài tóm tắt · eBay · 2020
…onsumer group khác nhau giữa hai cluster . MirrorMaker 2 có checkpoint offset và RemoteClusterUtils để dịch offset, nhưng service phải tự biết mình đang chuyển cluster, tra offset…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
…ng dụng không cần biết; giữ một transaction đọc dài để chặn checkpoint WAL, dựng "shadow WAL" và đẩy liên tục các trang WAL lên object storage tương thích S3. Mất server thì khôi p…
- Incident report for September 18, 2026: When Deletion Cascades Exhausted Our Database Connections Bài tóm tắt · Inngest · 2026
…tăng theo lượng dữ liệu của account, không chia nhỏ, không checkpoint. 2. Retry khuếch đại thay vì được hấp thụ: không idempotent ở mức transaction, không có gì xếp hàng phía trướ…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…abus. - Data Replicator (consumer Databus, quản bằng Helix, checkpoint ở ZooKeeper) chuyển commit sang cụm ở data center khác, batch theo partition cho đường WAN. - Snapshot servic…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…khoảng; partition khác chạy tiếp. Chế độ flushless produce checkpoint theo partition thay vì gọi flush. - Kết quả: số cụm mirror từ hàng trăm xuống khoảng một chục ; hàng nghìn st…
- Reliable load testing with regards to unexpected nuances Bài tóm tắt · Miro · 2020
…fana) để tinh chỉnh cấu hình PostgreSQL (VACUUM không chạy, CHECKPOINT kích hoạt ngoài lịch) bằng vòng lặp ngắn thay cho test ba giờ. Không ghi log ở production để tránh dùng dữ li…
- Inside branch-based restores in Lakebase Postgres Bài tóm tắt · Neon · 2026
…hành một thao tác thường ngày, ví dụ nền tảng cho agent lưu checkpoint theo version code và "undo" cả schema lẫn dữ liệu. Vì sao - Theo Neon: chi phí restore truyền thống nằm ở chỗ…