Tìm kiếm
40 kết quả cho “KV cache”. Tìm không phân biệt dấu.
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Redesigning Workers KV for increased availability and faster performance Bài tóm tắt · Cloudflare · 2025
…bài gốc](https://blog.cloudflare.com/rearchitecting-workers-kv-for-redundancy/) Bối cảnh - Workers KV là kho KV toàn cầu: dữ liệu lưu ở storage theo vùng, cache khắp mạng Cloudflar…
- Inside Stream's Real-Time Architecture for Trading & Investing Apps Bài tóm tắt · Stream (GetStream) · 2026
…guồn được theo dõi , rồi merge vào kết quả đã cache trong TiKV (TiKV lo multi-Raft và rebalance mà trước đây Stream tự vận hành). Lúc dựng top N, nguồn nào không còn gì đủ mới thì…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…"đỗ": giải phóng phần có thể dựng lại, giữ dải địa chỉ của KV cache mà không có bộ nhớ vật lý, chờ khoá. Chi phí thường trực chỉ là context, graph, buffer communicator. - Bầu acti…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…iếp tục ngay trong vòng chờ rồi mới kết nối. - Tối ưu 1, bỏ KV cache khỏi checkpoint: KV cache chiếm phần còn lại của GPU nhưng lúc checkpoint chưa phục vụ request nào nên không cầ…
- Learning the language of home buying: Zillow's event-based foundational user behavior model Bài tóm tắt · Zillow · 2026
…worker một luồng tính, chỉ tính xác suất trên token hợp lệ, KV cache lịch sử người dùng (giảm hơn 80% xử lý khi dự đoán nhiều thuộc tính). Latency giảm 96%, còn khoảng 300 ms . Vì…
- Meet Chrono, our scalable, consistent, metadata caching solution Bài tóm tắt · Dropbox · 2024
…-solution) Bối cảnh - Metadata của Dropbox nằm trên Panda , KV store giao dịch MVCC tự xây; theo đà tăng, QPS đọc sẽ vượt sức máy storage. Cache là lời giải hiển nhiên nhưng các cl…
- How We Built a Cross-Region Caching Library Bài tóm tắt · Wix · 2022
…bại) Mỗi pod khi khởi động đọc compact topic từ đầu để dựng KV trong RAM. Ổn với topic nhỏ; với topic lớn, đọc lại hàng trăm nghìn event làm khởi động pod chậm vài phút , phá autos…
- A Decade of Evolution of Alibaba's Databases - Part 2 Bài tóm tắt · Alibaba · 2019
…cụm Tair đã gặp sự cố. Người dùng cũng muốn DB có giao diện KV hiệu năng cao, nhất quán với giao diện SQL. - 2016→2017, làm phẳng đường cong 00:00: dù đã có full-link stress test,…
- Meta's Infrastructure Evolution and the Advent of AI Bài tóm tắt · Meta · 2025
…r manager hàng triệu máy), Tectonic (file system), ZippyDB (KV nhất quán mạnh), Shard Manager (hàng chục triệu shard), Delos (control plane), Service Router (service mesh). - Che l…
- Globally Distributed Object Storage with Tigris Bài tóm tắt · Fly.io · 2024
Upload file trong ứng dụng full-stack thì dễ; khó là giữ file để tải lại về sau, nên mọi người dùng object storage kiểu S3. Khách của Fly.io liên tục đòi có nó.
- From Static Rate Limiting to Adaptive Traffic Management in Airbnb's Key-Value Store Bài tóm tắt · Airbnb · 2026
Mussel là kho key-value multi-tenant cho dữ liệu dẫn xuất. Mọi lượt tra cứu (search, hỗ trợ khách...) cuối cùng đều chạm vào nó. Mussel là một fleet dispatcher stateless (pod Kubernetes) đứng trước storage.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Wix Công ty Thành viên
Năm 2015 Wix dùng MySQL như một kho key/value (blob, không join, không transaction, GUID do client sinh) cho bảng phân giải URL → site, active-active 3 DC, đọc khoảng 1 ms; theo Wix, "MySQL là NoSQL tốt hơn" . Năm 2021,…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Stream (GetStream) Công ty Thành viên
Stream là nhà cung cấp API feed, chat và video; nguồn duy nhất trong wiki (9/2026) là bài tiếp thị cho app giao dịch nhưng có mô tả kiến trúc: feed fan-out on read có cache kết quả trong TiKV với cursor theo từng nguồn,…
- Cloudflare Công ty Thành viên
Cloudflare bắt đầu bằng một cluster Postgres cfdb cho hầu hết control plane; từ 2017 các service dời dữ liệu ra dần. Đến 2022–2024 dữ liệu DNS (hàng tỷ record) được tách sang cluster riêng, sau khi mọi service đã đi qua…
- When DNSSEC goes wrong: how we responded to the .de TLD outage Bài tóm tắt · Cloudflare · 2026
DNSSEC: mỗi bản ghi có chữ ký (RRSIG); chuỗi tin cậy đi từ root xuống TLD xuống domain. Gãy ở một mắt xích thì mọi thứ bên dưới đều lỗi xác thực. Resolver bắt buộc phải trả SERVFAIL.
- Cross Shard Transactions at 10 Million Requests Per Second Bài tóm tắt · Dropbox · 2018
…thể thấy 2PC quá nặng; thế hệ metadata tiếp theo hướng tới KV đơn giản + các service metadata với mức nhất quán khác nhau. Vì sao - Độ phức tạp đã dồn quá nhiều về phía developer;…
- Attack of the Shards: Our Migration to FoundationDB, Part 2 Bài tóm tắt · Inngest · 2026
…hạy trong RAM, thao tác queue đơn luồng) sang FoundationDB (KV có transaction, dữ liệu trên đĩa). - Lý do nêu trong bài: backlog lớn trên RAM là "tình trạng khẩn cấp về bộ nhớ"; đơ…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…rver). Theo họ, Facebook scale được nhờ hai thứ: Memcached (KV trong RAM) và sinh code (HipHop dịch PHP sang C++). Ghép hai ý vào database: DB trong RAM nhưng giao diện là SQL thay…
- 500 Tbps of capacity: 16 years of scaling our global network Bài tóm tắt · Cloudflare · 2026
…t cục bộ và lan ra toàn cầu trong vài giây qua Quicksilver (KV phân tán); - sau đó gói tin mới tới Unimog (cân tải L4). - Năm 2025 họ chặn một đợt 31,4 Tbps kéo dài 35 giây (botnet…