Tìm kiếm
40 kết quả cho “Data validation”. Tìm không phân biệt dấu.
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ung bình — [bài gốc](https://www.zillow.com/tech/building-a-data-streaming-platform/) Bối cảnh Ba cách đưa dữ liệu vào data lake S3 trước đó, đều có vấn đề: - Sqoop job do team Dat…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Cache made consistent: Meta's cache invalidation solution Bài tóm tắt · Meta · 2022
…): fill đan xen với một giao dịch hiếm cập nhật cả bảng metadata và bảng version, nên cache có metadata cũ với version mới; invalidation sau đó gặp lỗi tạm thời, nhánh xử lý lỗi gọ…
- Open sourcing Databus: LinkedIn's low latency change data capture system Bài tóm tắt · LinkedIn · 2013
…hó: Trung bình — [bài gốc](https://engineering.linkedin.com/data-replication/open-sourcing-databus-linkedins-low-latency-change-data-capture-system) Bối cảnh - LinkedIn có nhiều hệ…
- A Decade of Evolution of Alibaba's Databases - Part 2 Bài tóm tắt · Alibaba · 2019
…www.alibabacloud.com/blog/a-decade-of-evolution-of-alibabas-databases---part-2 594445) Phần 2 của hồi ký. Phần 1: . Thay đổi chính - 2016, giám sát: hệ giám sát DB thành nút cổ cha…
- Instagration Pt. 2: Scaling our infrastructure to multiple data centers Bài tóm tắt · Instagram · 2015
…om/instagration-pt-2-scaling-our-infrastructure-to-multiple-data-centers-5745cbad7834) Bối cảnh - 2013, khoảng một năm sau khi về Facebook: 200 triệu user/tháng, 20 tỷ ảnh. Họ bắt…
- Scaling Time Series Data Storage — Part II Bài tóm tắt · Netflix · 2018
…— [bài gốc](https://netflixtechblog.com/scaling-time-series-data-storage-part-ii-d67939655586) Bối cảnh - 1/2016 Netflix mở ra 130 nước, 20 ngôn ngữ; cuối 2016 thêm video preview k…
- Meet Chrono, our scalable, consistent, metadata caching solution Bài tóm tắt · Dropbox · 2024
…tech/infrastructure/meet-chrono-our-scalable-consistent-metadata-caching-solution) Bối cảnh - Metadata của Dropbox nằm trên Panda , KV store giao dịch MVCC tự xây; theo đà tăng, QP…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…ttps://engineering.linkedin.com/blog/2023/upscaling-profile-datastore-while-reducing-costs) Bối cảnh - Đỉnh 4,8 triệu profile/giây , request tới storage gấp đôi mỗi năm (2023). Pro…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…the-spark-3-and-emr-6-upgrade-journey-at-slack/) Bối cảnh - Data Engineering của Slack (2024): mô hình liên bang hơn 60 cụm EMR phục vụ hơn 40 team, hàng nghìn DAG Airflow. Dữ liệu…
- Scaling Time Series Data Storage — Part I Bài tóm tắt · Netflix · 2018
…— [bài gốc](https://netflixtechblog.com/scaling-time-series-data-storage-part-i-ec2b6d44ba39) Bối cảnh - Lịch sử xem (viewing history) dùng cho bookmark và gợi ý; hội viên xem hơn…
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
…au) → tự sinh tóm tắt và biểu đồ cho cả công ty. - Công cụ: Dataflow (Beam do Google quản lý) cho việc cần song song lớn; job Python đóng Docker chạy trên Kubernetes cho việc nhỏ.…
- How We Improved Website Performance by Evolving Our Infrastructure Bài tóm tắt · Wix · 2021
Wix phục vụ hàng triệu site, nhiều site làm từ lâu và không ai sửa nữa; là môi trường quản lý nên phần lớn hiệu năng nằm trong tay nền tảng chứ không phải người dùng. Từ 6/2021 Google đưa page experience vào xếp hạng…
- Evolution of Application Data Caching: From RAM to SSD Bài tóm tắt · Netflix · 2018
…ttps://medium.com/netflix-techblog/evolution-of-application-data-caching-from-ram-to-ssd-a33d6fa7a690) Bối cảnh - EVCache (từ 2013): cache phân tán dựa trên memcached, tích hợp với…
- Incident Report: March 30th, 2026 — Authenticated user data cached Bài tóm tắt · Railway · 2026
…lway.com/p/incident-report-march-30-2026-authenticated-user-data-cached) Bối cảnh - Trên Railway, CDN cache là opt-in : domain không bật CDN thì request luôn đi thẳng tới ứng dụng.…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…để thêm tính năng và độ ổn định. Thay đổi chính - Chuỗi job Dataflow (Apache Beam): chụp snapshot ảnh, snapshot tag, lấy chỗ ở có ảnh đổi, dựng gallery, snapshot gallery, kiểm tra…
- Safeguarding Dynamic Configuration Changes at Scale Bài tóm tắt · Airbnb · 2026
…hế nào; định tuyến config đang thử tới một lát subscriber), data plane (lưu, là nguồn sự thật của giá trị và version, phân phối nhanh và nhất quán), agent sidecar + client library…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…onolith (servlet cho mọi trang, business logic, kết nối vài database). - Service đầu tiên là member graph ("Cloud"): đồ thị kết nối cần duyệt trong bộ nhớ, có profile tải khác hẳn…
- Meta's Infrastructure Evolution and the Advent of AI Bài tóm tắt · Meta · 2025
…rung bình — [bài gốc](https://engineering.fb.com/2025/09/29/data-infrastructure/metas-infrastructure-evolution-and-the-advent-of-ai/) Wiki tập trung vào phần 2004–2020 (tiến hoá hệ…
- Himeji: A Scalable Centralized System for Authorization at Airbnb Bài tóm tắt · Airbnb · 2021
…nằm trong API đó, nên rất dễ quản lý. - Khi tách sang SOA (data service bọc DB, presentation service ghép dữ liệu từ nhiều data service), kiểm tra quyền ban đầu được dời lên prese…
- Stack Overflow: How We Do App Caching - 2019 Edition Bài tóm tắt · Stack Overflow · 2019
…tố theo ID site (Stack Overflow là 1), ở Redis mỗi site một database; - Local Cache : chỉ trong RAM, không có Redis phía sau, cho dữ liệu rẻ để lấy nhưng lớn, không đáng một hop mạ…
- Modernizing Artifact Storage at Uber Bài tóm tắt · Uber · 2026
…ười năm, một nền tảng artifact của bên thứ ba tự host ở hai data center nằm trên đường găng của build: GeoDNS đưa client tới DC gần nhất; thiếu artifact thì hỏi DC kia rồi lưu lại;…
- The Chubby lock service for loosely-coupled distributed systems Bài tóm tắt · Google · 2006
…uy cập) để mỗi thư mục có thể do master khác phục vụ và metadata cache được. - Cache phía client có invalidation tường minh: master gửi lệnh huỷ khi dữ liệu đổi, client không bao g…
- Prefetch Caching of Items at eBay Bài tóm tắt · eBay · 2020
…ài trăm ms trước khi user bấm, không cần replica trong cùng datacenter (Couchbase chẳng hạn cần replica mỗi region, đội chi phí); khả dụng dựa vào nhiều datacenter. Chọn CACHET (me…
- Superuser Gateway: Guardrails for Privileged Command Execution Bài tóm tắt · Uber · 2026
…er.com/us/en/blog/superuser-gateway-guardrails/) Bối cảnh - Data platform của Uber dùng GCS, OCI và HDFS. Một nhóm nhỏ engineer thỉnh thoảng cần quyền superuser để chuyển dữ liệu,…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…hàm: loại step định nghĩa bằng schema input/output (step ra dataset nối với step cần dataset, step ra model nối với step cần model), và orchestrator kiểm schema giữa các step , nên…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…ian embedding của model nên wiki không ingest). Bài của đội Data Science; phần kiến trúc model chỉ tóm tắt ngắn. Bối cảnh - Bumble Inc. (vận hành Badoo và Bumble) có mặt ở 150 nước…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…lượng đó một cách đơn giản. Thay đổi chính - Queue ảo trên database: thứ tự giao nằm trong MySQL (RDS), nên đổi chất lượng dịch vụ hay thứ tự giao chỉ là một câu SQL , không phải…
- Re-architecting Slack's Workspace Preferences: Moving to an EAV Model Bài tóm tắt · Slack · 2018
Thiết kế ban đầu: lưu tuỳ chọn của workspace dưới dạng một JSON blob ngay trong bảng workspaces (MySQL). Hợp lý khi Slack còn nhỏ.
- Code caching for JavaScript developers Bài tóm tắt · V8 (Google) · 2019
…lưu file; lần hai (warm) compile rồi đính bytecode làm metadata của file trong cache; lần ba (hot) deserialize, bỏ qua compile. - Code cache chỉ serialize sau khi script chạy xong…
- A lesson in creating and using niche business DSLs at scale Bài tóm tắt · Zerodha · 2020
…ug , Validate (trả kết quả kèm thông báo cho khách), và TestData (mỗi luật tự mang test case , chạy trước khi được publish). - Lách các giới hạn của Go plugin (phải cùng phiên bản…
- Turborepo Remote Cache: Accelerating CI to Move Fast Bài tóm tắt · Mercari · 2026
Nhiều repo web của Mercari là monorepo dùng Turborepo (song song hoá task, cache theo task). Runner GitHub Actions tự host là runner tạm, nên cache cục bộ của Turborepo mất sau mỗi job; action cache chung của GitHub…
- Evolution and Scale of Uber's Delivery Search Platform Bài tóm tắt · Uber · 2026
…ra lúc phục vụ: index ghi model ID của cả hai cột trong metadata; trên request lấy mẫu, service so model sinh query embedding với model ID của cột đang dùng; lệch thì phát metric l…
- Building Robust Codebases with Python's Type Annotations Bài tóm tắt · Hudson River Trading · 2024
…nh dùng kiểu nguyên thuỷ cho khái niệm miền (CUSIP) mà dùng dataclass có kiểm tra hoặc NewType + TypeGuard ; Literal như enum nhẹ. - Thêm type dần dần, không cần làm hết một lần. Đ…
- Production testing with dark canaries Bài tóm tắt · LinkedIn · 2020
…host-host trong ZooKeeper dựng bằng script Python. Khi thêm data center, dùng ở cả mid-tier và frontend, và instance co giãn động, mapping hỏng mỗi khi host bị thay và phải dựng lạ…
- Strengthening end-to-end encrypted backups Bài tóm tắt · WhatsApp · 2026
…essenger. Vault là một đội HSM phân tán theo địa lý ở nhiều data center, chịu lỗi bằng replication theo đa số (majority consensus) . - Cuối 2025 sao lưu E2EE đã dùng được passkey.…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.