Tìm kiếm
40 kết quả cho “validation”. Tìm không phân biệt dấu.
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Cache made consistent: Meta's cache invalidation solution Bài tóm tắt · Meta · 2022
…onsistent/) Bài ngoài sheet; là nguồn gốc của phần "cache invalidation và consistency API" mà chỉ nhắc lướt. Bối cảnh - Meta vận hành TAO (hơn một nghìn nghìn tỉ query mỗi ngày) và…
- The Chubby lock service for loosely-coupled distributed systems Bài tóm tắt · Google · 2006
…ác phục vụ và metadata cache được. - Cache phía client có invalidation tường minh: master gửi lệnh huỷ khi dữ liệu đổi, client không bao giờ nhận cập nhật đẩy , vì cập nhật đẩy có…
- How LinkedIn handles merging code in high-velocity repositories Bài tóm tắt · LinkedIn · 2020
…ô ích. Thay đổi chính - git submit thay git push : chạy job validation và trả quyền điều khiển cho dev ngay; job tự rebase và push hộ khi qua. Dev không cần HEAD local mới nhất, ch…
- How We Improved Website Performance by Evolving Our Infrastructure Bài tóm tắt · Wix · 2021
…giải pháp nội bộ: Varnish để proxy và cache, Kafka để gửi invalidation, một service Scala/Netty sửa HTML và thêm cookie. Thành phần gọn nên triển khai được ở nhiều nơi: năm 2019 th…
- Prefetch Caching of Items at eBay Bài tóm tắt · eBay · 2020
Phần lớn traffic vào trang item đến từ trang kết quả tìm kiếm. Những năm trước eBay đã prefetch ảnh item sau khi trang tìm kiếm tải xong. Lần này họ muốn phục vụ cả trang item từ cache khi user bấm vào từ kết quả tìm…
- Active-Active for Multi-Regional Resiliency Bài tóm tắt · Netflix · 2013
…chuyển từ từ. - Cache đa region có thể giữ đơn giản bằng invalidation xuyên region thay vì sao chép dữ liệu cache. - Chỉ tin được failover đã diễn tập ở production, kể cả kịch bản…
- Caching Without Marshal Part 2: The Path to MessagePack Bài tóm tắt · Shopify · 2022
MessagePack từ chối object lạ: chỉ mã hoá kiểu cơ bản và extension type đã đăng ký; object khác ném NoMethodError có tham chiếu tới object. Đó là điểm để log xem thứ gì đang bị đưa vào cache.
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
…tạo không gian tham số (lưu BigQuery) → gán nhãn train/test/validation → tune song song theo thị trường × lát cắt cross-validation × tổ hợp tham số (lúc đầu gọi thẳng Apache Beam,…
- Modernizing Artifact Storage at Uber Bài tóm tắt · Uber · 2026
…tifact mỗi tháng , và tăng theo số build. - Proxy kiểm tra (validation proxy), không phải cache theo TTL: mọi request vẫn được chuyển tới SaaS; nếu proxy đã thấy artifact thì gửi k…
- Himeji: A Scalable Centralized System for Authorization at Airbnb Bài tóm tắt · Airbnb · 2021
Ở thời monolith Rails, mỗi resource có một API duy nhất để đọc dữ liệu, và kiểm tra quyền nằm trong API đó, nên rất dễ quản lý.
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…giá chất lượng vì tin độc hại quá hiếm. Đội dựng quy trình validation offline (trên TensorBoard) so model mới với các bản lịch sử và bản đang chạy, và sau vài lần "sai thật ở prod…
- Stack Overflow: How We Do App Caching - 2019 Edition Bài tóm tắt · Stack Overflow · 2019
Thang độ trễ (2019): RAM khoảng 100 ns; một lần gọi Redis qua LAN của họ 0,2–0,5 ms (chậm hơn RAM 2.000–5.000 lần); trang câu hỏi render trung bình 18–20 ms, nên vài lần gọi Redis đã chiếm một phần đáng kể.
- Code caching for JavaScript developers Bài tóm tắt · V8 (Google) · 2019
Parse + compile JavaScript chiếm phần đáng kể thời gian khởi động trang. Code cache lưu kết quả (bytecode) để lần sau bỏ qua bước đó.
- A lesson in creating and using niche business DSLs at scale Bài tóm tắt · Zerodha · 2020
…luật trong plugin. - Quy trình: dashboard có editor; server validation build và chạy test của luật, trả log build đầy đủ nếu lỗi; server compiler đồng bộ luật, biên dịch, đẩy plugi…
- Safeguarding Dynamic Configuration Changes at Scale Bài tóm tắt · Airbnb · 2026
Dynamic config cho đổi hành vi lúc chạy mà không deploy lại: mở form địa chỉ cho một vùng mới, siết luật phân quyền, chỉnh timeout khi dependency chậm. Nhanh cho iterate và xử lý sự cố, nhưng một thay đổi xấu gây hồi…
- Building a Dependency Graph of Our Python Codebase Bài tóm tắt · Hudson River Trading · 2023
Trong khoảng năm năm, codebase Python hướng nghiên cứu của HRT lớn theo cấp số nhân lên hàng triệu dòng: văn hoá "đủ tốt hơn hoàn hảo", chia sẻ code giữa team, giai đoạn tăng trưởng nhanh.
- Building Robust Codebases with Python's Type Annotations Bài tóm tắt · Hudson River Trading · 2024
Hàng triệu dòng Python của hàng trăm developer trong khoảng mười năm; giao dịch ở hơn 200 thị trường nên code phải đổi thường xuyên theo luật.
- Production testing with dark canaries Bài tóm tắt · LinkedIn · 2020
Code ở LinkedIn có thể lên production trong vòng một giờ, nhiều lần mỗi ngày; code, config hay model AI xấu vẫn gây sự cố dù có unit và integration test. Một số thứ (bộ nhớ, CPU/GPU, concurrency, latency) chỉ đo đúng…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
Data Engineering của Slack (2024): mô hình liên bang hơn 60 cụm EMR phục vụ hơn 40 team, hàng nghìn DAG Airflow. Dữ liệu trên S3, metadata trong Hive Metastore (trên RDS); phần lớn là SQL, một số Scala/PySpark; Airflow…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
Một pipeline ETL sinh gallery ảnh đã sắp thứ tự cho mỗi chỗ ở (theo tag nội dung và chất lượng ảnh) rồi gửi cho các đội frontend. Pipeline chạy trên AWS, rồi được chuyển sang GCP và thiết kế lại toàn bộ để thêm tính…
- Evolution and Scale of Uber's Delivery Search Platform Bài tóm tắt · Uber · 2026
Phần lớn đơn Uber Eats bắt đầu từ ô tìm kiếm. Khớp từ khoá hỏng với từ đồng nghĩa, lỗi gõ, viết tắt, trộn ngôn ngữ ("pan" là bánh mì tiếng Tây Ban Nha, là cái chảo tiếng Anh). Semantic search mã hoá query và tài liệu…
- Superuser Gateway: Guardrails for Privileged Command Execution Bài tóm tắt · Uber · 2026
Data platform của Uber dùng GCS, OCI và HDFS. Một nhóm nhỏ engineer thỉnh thoảng cần quyền superuser để chuyển dữ liệu, sửa quyền, dọn đường dẫn hỏng, gỡ sự cố gấp; chính các lệnh đó có bán kính ảnh hưởng lớn nhất (một…
- Strengthening end-to-end encrypted backups Bài tóm tắt · WhatsApp · 2026
Backup Key Vault trên HSM nay là nền cho sao lưu E2EE của cả WhatsApp và Messenger. Vault là một đội HSM phân tán theo địa lý ở nhiều data center, chịu lỗi bằng replication theo đa số (majority consensus).
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
Yelp đã có feature store cho dữ liệu tái lập được, thư viện training chung cho neural network và gradient-boosted tree, tích hợp Spark, và MLflow cho theo dõi và deploy model; còn thiếu phần ở giữa: cách chuẩn để điều…
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề:
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- On WordPress Scaling and Performance, The Zillow Way Bài tóm tắt · Zillow · 2012
…nhất khi đơn vị là tenant độc lập (, ). Bài học cho SWE - Invalidation thô (xoá cả domain) chấp nhận được khi đơn vị cache nhỏ và lần ghi hiếm. - Tên file theo hash nội dung biến b…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…mid-tier : chúng giữ dữ liệu dẫn xuất từ nhiều domain nên invalidation và call graph vượt tầm kiểm soát. Theo LinkedIn, cache nên đặt sát kho dữ liệu nhất có thể. - Kafka: nhiều pi…
- Meta's Infrastructure Evolution and the Advent of AI Bài tóm tắt · Meta · 2025
…thấy ảnh, tin nhắn sai thứ tự). Họ xây hệ phân phối cache invalidation, rồi một consistency API. - Quản lý fleet: Twine (cluster manager hàng triệu máy), Tectonic (file system), Zi…
- Protecting our platform from spikes in usage by reducing load from the Monzo app Bài tóm tắt · Monzo · 2023
…uối của mỗi tài nguyên. - Đây thực chất là bài toán cache invalidation tức thời. - Nhiều response được làm giàu lúc request (ví dụ feature flag đổi cách hiển thị số dư), nên không…