Tìm kiếm
40 kết quả cho “shadow traffic”. Tìm không phân biệt dấu.
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…dia.com/blog/restore-llm-inference-capacity-in-seconds-with-shadow-engine-recovery-in-nvidia-dynamo/) Bài của nhà cung cấp về tính năng đang ở dạng preview; số liệu do NVIDIA tự đo…
- Deploying Large-scale Fraud Detection Machine Learning Models at PayPal Bài tóm tắt · PayPal · 2021
…s://medium.com/paypal-tech/machine-learning-model-ci-cd-and-shadow-platform-8c4f44998c78) Bài đầu của một series về nền tảng shadow cho model; các phần sau (meta-learning, feature…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
…giảm hỏng lô khi một zone sập hay lúc deploy. - Kiểm chứng: shadow traffic production sang hệ mới; kiểm đầy đủ (mọi audit log và giao dịch được ghi, mọi request được xử lý, mọi tác…
- Production testing with dark canaries Bài tóm tắt · LinkedIn · 2020
…ice đã dùng thì vừa bền vừa quen với dev. Bài học cho SWE - Shadow traffic chỉ an toàn khi kiểm soát được side effect; phải liệt kê mọi chỗ ghi và mọi call xuống dưới. - Tính tỉ lệ…
- How We Replaced Our Data Pipeline With Zero Downtime Bài tóm tắt · Twilio · 2014
…time (với công ty viễn thông, downtime là rớt cuộc gọi): 1. Shadow (công cụ tự viết, mã nguồn mở): proxy gửi cùng request tới bản ổn định và bản mới, báo khác biệt, chỉ trả kết quả…
- How we seamlessly migrated high volume real-time streaming traffic with zero data loss and duplication Bài tóm tắt · Grab · 2024
…và đã test kỹ. - Kiểm chứng bằng "sink" tạm là biến thể của shadow traffic cho luồng ghi, giống ý tưởng mock DAO năm 2016 (). - Monorepo + code dùng chung làm cho hai service hành…
- Uber's Rate Limiting System Bài tóm tắt · Uber · 2026
…ả hai; phạm vi toàn cầu, region hoặc zone; chế độ deny hoặc shadow (chỉ quan sát). - Kết quả, theo Uber: bỏ limiter Redis ở một service lớn làm request dồn về bucket latency thấp;…
- How Discord Automates ScyllaDB Clusters at Scale Bài tóm tắt · Discord · 2026
…olling restart sau đổi cấu hình, mở rộng cụm, nâng OS, dựng shadow cluster (bản sao đầy đủ nhận cùng đọc/ghi như production trong thời gian ngắn) để thử bản ScyllaDB mới. Theo Disc…
- Cross Shard Transactions at 10 Million Requests Per Second Bài tóm tắt · Dropbox · 2018
…, từ lỗi bị nuốt tới lỗ hổng trong giao thức lọc khi đọc. - Shadow trên production: phiên bản "validation" của giao thức: staging ghi shadow rồi xoá ngay trong cùng transaction của…
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…y và tham số không ai biết chỉnh cái nào. - Kiểm chứng bằng shadow cluster nhận traffic production lộ ra: thành phần ghi/đọc mất ổn định khi series active tăng đột biến và thiếu gu…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- This Rocket Ain't Stopping - Achieving Zero Downtime for Rails to Golang API Migration Bài tóm tắt · Grab · 2016
…ắc: mỗi endpoint phải qua unit test, load test, QA staging, shadow test trên production ; deploy từng endpoint một, tăng dần, rollback được ngay. - Hướng đi bị bỏ: ban đầu muốn chi…
- Counter Service: How we rewrote it in Rust Bài tóm tắt · Grab · 2025
…ệ, cho tới khi đổi sang bản non-blocking. - Kiểm chứng bằng shadow traffic cho cả hai service. Kết quả (2025) QPS chuẩn hoá Tài nguyên --- --- --- Bản Go 1.000 20 core Bản Rust 1.0…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- PayPal Công ty Thành viên
Nguồn đầu tiên của PayPal trong wiki là về tổ chức: các team sản phẩm tự chủ cao, không có cơ quan trung tâm quy định quy trình. Từ cuối 2019 một nhóm tình nguyện liên phòng ban định nghĩa thế nào là sự cố, mức nghiêm…
- How Figma's databases team lived to tell the scale Bài tóm tắt · Figma · 2024
…t bằng corpus query production (overhead tối đa <10%), cộng shadow reads so sánh kết quả có view và không có view. - Rồi mới tách vật lý 1 → N, tái dùng công cụ từ lần tách dọc. -…
- Scaling Cache Infrastructure at Pinterest Bài tóm tắt · Pinterest · 2020
…use case quan trọng, mất trọn một AZ vẫn không downtime; - shadow traffic và tiêm lỗi/latency giả lập trên traffic thật. - Sharding: consistent hashing để thêm hoặc bớt server mà…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…đã có. Liên quan - - Cùng công ty: · - Cùng bài toán: (cổng shadow trước khi model tham gia quyết định) · ·…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Wix Inbox Journey: 3 Approaches for Zero Downtime Database Migration Bài tóm tắt · Wix · 2021
…hi kép, lúc đầu ghi DynamoDB trong try/catch chỉ báo lỗi ( "shadow mode" , để DynamoDB "ấm" lên rồi mới đưa vào đường chính); - clone snapshot Cassandra làm nguồn migrate. Thử trên…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…uan - · - Cùng công ty: - Cùng bài toán lệch train/serve: · shadow model:…
- Figma Công ty Thành viên
Năm 2017, đợt spam đầu tiên chứng minh giá trị của rate limiter tự viết . Năm 2019 cả Figma vẫn chạy trên một DB instance theo nguyên tắc KISS, và họ đã nói cần DB scale ngang . Ví dụ kinh điển của lộ trình Postgres.…
- How we prevented security fixes leaking into our public repositories Bài tóm tắt · GitLab · 2021
…i ít đổi trước. - Mẫu đổi hành vi an toàn: chạy bóng và so (shadow) → flag tách đường → bật mặc định có đường lùi → xoá code cũ. Liên quan - · (so bản cũ và mới trên dữ liệu thật)…
- Protecting our platform from spikes in usage by reducing load from the Monzo app Bài tóm tắt · Monzo · 2023
…GET với độ chính xác khoảng 90% . - Rollout an toàn: - chạy shadow mode (ghi lại quyết định nhưng vẫn tính response); - metric lên Prometheus; - chính sách nằm trong framework load…
- Migration from HBase to MyRocks at Quora Bài tóm tắt · Quora · 2021
…→ backfill bằng INSERT IGNORE (không đè dữ liệu ghi kép) → shadow read ~5% so sánh, log chỗ lệch → cắt sang MyRocks làm nguồn sự thật (vẫn ghi kép và đọc bóng HBase để quay lại đư…