Tìm kiếm
26 kết quả cho “schema validation”. Tìm không phân biệt dấu.
- Building a Data Streaming Platform Bài tóm tắt · Zillow · 2020
…ười viết không hiểu ngữ nghĩa bảng, phải đuổi theo thay đổi schema, schema DB không hợp cho ML; job hằng ngày ảnh hưởng DB production nên DBA phải dựng replica chỉ đọc, có DB phải…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…ình. - Step = cặp settings + hàm: loại step định nghĩa bằng schema input/output (step ra dataset nối với step cần dataset, step ra model nối với step cần model), và orchestrator ki…
- Safeguarding Dynamic Configuration Changes at Scale Bài tóm tắt · Airbnb · 2026
…rge; portal web cho admin và cập nhật khẩn), control plane (schema, quyền sở hữu, ACL, quyết định rollout: môi trường nào, zone nào, bao nhiêu phần trăm pod, tiến thế nào, rollback…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…-LFU) → storage node (MySQL). Profile lưu dạng Avro binary; schema tiến hoá. OHC có hit rate thấp vì cục bộ từng router và vì request dùng projection. Thay đổi chính - Couchbase là…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…- Catalog chung: nâng Hive Metastore 2.3 lên 3.1 bằng Hive Schema Tool (có backup, có downtime xử lý job lúc nâng schema); HMS 3 tương thích ngược nên cả hai thế hệ cụm dùng chung…
- Modernizing Artifact Storage at Uber Bài tóm tắt · Uber · 2026
…, có lúc không sơ tán được; nâng cấp phần mềm cần migration schema nhiều TB và nhiều bước tay, có thể mất cả cụm. Thay đổi chính - Chuyển sang dịch vụ SaaS quản lý sẵn: nhiều regio…
- Building Robust Codebases with Python's Type Annotations Bài tóm tắt · Hudson River Trading · 2024
…dữ liệu từ API ngoài thì TypedDict không đủ, vẫn phải kiểm schema lúc runtime; tránh dùng kiểu nguyên thuỷ cho khái niệm miền (CUSIP) mà dùng dataclass có kiểm tra hoặc NewType +…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Working with PostgreSQL Bài tóm tắt · Zerodha · 2021
…vọt; chuyển sang nhiều shard đầu năm 2020. Thay đổi chính - Schema: denormalize hầu hết dữ liệu và dùng materialized view để tránh JOIN trên bảng tỷ dòng; bỏ foreign key để bulk im…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Caching Without Marshal Part 1: Marshal from the Inside Out Bài tóm tắt · Shopify · 2022
…ueue) phải tương thích cả hai chiều trong lúc deploy, giống schema DB. - Định dạng serialize "tiện" (Marshal, pickle, Java serialization) ghi chi tiết nội bộ vào dữ liệu; đổi chi t…
- Re-architecting Slack's Workspace Preferences: Moving to an EAV Model Bài tóm tắt · Slack · 2018
…chọn không kéo theo phần thừa; thêm tuỳ chọn không cần đổi schema. Đã cân nhắc và loại phương án mỗi tuỳ chọn một cột (đổi schema đắt mỗi lần thêm). Bảng tạo trên Vitess (). - Mig…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- The Events Rail: Inside Atlassian's Webhook Delivery Platform Bài tóm tắt · Atlassian · 2026
…ẳng : sản phẩm publish lên một event substrate nội bộ (kiểm schema, lưu bền), substrate fan-out vào Events Queue của rail. - Hai giai đoạn, hai queue: - Event Matching (CPU-bound):…
- Cross Shard Transactions at 10 Million Requests Per Second Bài tóm tắt · Dropbox · 2018
…hỉ dựng trạng thái khi áp dụng, thay vì lưu bản sao đầy đủ (schema không cho trùng object): khuếch đại ghi giảm tới 95% so với đa phiên bản ngây thơ. Bảng phụ nhỏ (tỉ lệ với tốc độ…
- Instacart Công ty Thành viên
Năm 2020, để bật mã hoá at-rest cho RDS Postgres vài TB mà không downtime nhiều giờ, Instacart dựng replica logic từ snapshot (đẩy vị trí replication khớp LSN của snapshot) thay vì copy toàn bộ; cách này về sau dùng cho…
- Instagram Công ty Thành viên
Bắt đầu bằng stack "nhàm chán" (Django + Postgres + Redis + Memcached trên EC2). Nguyên tắc: đơn giản, không phát minh lại, dùng đồ đã kiểm chứng. 3 kỹ sư vận hành được 14 triệu user . Cùng năm họ giữ Postgres, chia…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…số bản ghi) và "skinny" (key rỗng, giới hạn theo số key). - Schema registry Avro lưu ngay trong RocksDB của từng node. - Relevance: sinh code Java tối ưu từ cấu hình transform + hồ…
- How Twitter Uses Redis to Scale - 105TB RAM, 39MM QPS, 10,000+ Instances Bài tóm tắt · Twitter · 2014
…KB ở 100K+ ops/giây. Cần thêm không gian khoá phân cấp cho schema linh hoạt và metric. Thay đổi chính - Fork Redis 2.4 , thêm hai kiểu dữ liệu, quản lý cluster và log nội bộ (đổi…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…ia trải nhiều ổ đĩa; thu "đảo" Mnesia về 2 node để thao tác schema chạy được khi có tải. Network partition: báo động nhanh, chạy tiếp, rồi gộp lại bằng tay. Tối ưu và patch - Kho o…