Tìm kiếm
31 kết quả cho “Dark run”. Tìm không phân biệt dấu.
- Production testing with dark canaries Bài tóm tắt · LinkedIn · 2020
…/engineering.linkedin.com/blog/2020/production-testing-with-dark-canaries) Bối cảnh - Code ở LinkedIn có thể lên production trong vòng một giờ, nhiều lần mỗi ngày; code, config hay…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 2 - Migration) Bài tóm tắt · Yelp · 2022
…giảm cửa sổ lookback giúp nó dựng lại mô hình nhanh hơn. - Darklaunch: clone một cụm bằng MirrorMaker rồi migrate thử trọn vẹn ở non-prod, rồi ở prod; sau đó migrate thật dev và s…
- How We Improved Our Performance Using ElasticSearch Plugins: Part 1 Bài tóm tắt · Tinder · 2019
…(trường ngày khi là chuỗi ISO, khi là UNIX timestamp); (3) dark run trên production: gửi query fire-and-forget với script mới, giữ vài ngày để lộ lỗi chậm như rò bộ nhớ; (4) tăng…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…ệp vụ (ví dụ tỉ lệ khách chờ quá 5 phút so với ước lượng) → dark launch (model ứng viên thấy request thật, sinh dự đoán nhưng không hiện cho khách; vài ngày là biết offline và onli…
- How Discord Reduced Websocket Traffic by 40% Bài tóm tắt · Discord · 2024
…4: giảm băng thông client, nhất là mobile. Thay đổi chính - Dark launch : nén một phần nhỏ traffic production bằng cả zlib lẫn zstandard, ghi metric rồi bỏ dữ liệu zstandard. Tránh…
- Auditing content features in FollowFeed Bài tóm tắt · LinkedIn · 2019
…ang HDFS (Gobblin). Response kèm feature được lấy từ broker dark canary (không phục vụ traffic thật) để không thêm tải lên node thật, và chỉ lấy mẫu 0,1% vì có hàng triệu response…
- How LinkedIn handles merging code in high-velocity repositories Bài tóm tắt · LinkedIn · 2020
Gần 10 năm trước (tức khoảng 2010) LinkedIn bỏ một codebase monolith sang microservice, mỗi team một repo. Năm 2020: hàng nghìn dev, hơn 10.000 repo đang hoạt động, có repo hơn 300 commit/ngày. Trunk-based development.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- Yelp Công ty Thành viên
Kafka của Yelp (hàng chục tỷ message/ngày) chuyển từ EC2 + Puppet lên PaaS nội bộ PaaSTA trên Kubernetes với operator tự viết và Cruise Control (2021) ; migration không downtime bằng cách gấp đôi broker rồi dời…
- Quora Công ty Thành viên
Quora dùng MySQL (tự shard), HBase và Redis trên AWS. Năm 2016 họ diễn tập thảm hoạ (Game Day): dựng lại cả site ở region khác chỉ từ backup, mất chưa tới 5 giờ . Về sau họ chuyển HBase sang MyRocks để dùng chung kiến…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…n) tự rebalance khi cụm lệch dần do lỗi cục bộ. - Chaos với dark traffic trước khi cutover: làm bão hoà tài nguyên, tắt broker có kiểm soát. Phát hiện phục hồi bị giới hạn bởi pack…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- How Discord Stores Billions of Messages Bài tóm tắt · Discord · 2017
…100MB (khi import đã thấy partition 100MB gây áp lực GC). - Dark launch: đọc/ghi kép vào MongoDB và Cassandra, rồi bỏ MongoDB trong vòng một tuần. - Cụm ban đầu: 12 node, replicati…
- Rebuilding our tech stack for the new Facebook.com Bài tóm tắt · Meta · 2020
…hậm thêm một chút và khó bảo trì hơn, đến mức tính năng như dark mode hay giữ vị trí trong News Feed khó làm. - Theo Facebook, viết lại toàn bộ là cực hiếm, nhưng web đã đổi quá nh…
- Notion Công ty Thành viên
Một Postgres monolith chạy 5 năm tới khi vacuum kẹt và TXID wraparound đe doạ; năm 2021 Notion shard ở tầng ứng dụng theo workspace ID thành 480 shard logic trên 32 DB, migrate bằng audit log, chuyển trong 5 phút bảo…
- Herding elephants: Lessons learned from sharding Postgres at Notion Bài tóm tắt · Notion · 2021
…hơn. 3. Kiểm chứng: script so ngẫu nhiên các dải UUID; thêm dark read (đọc cả hai, so sánh, vứt bản shard) dù tăng latency API. Người viết logic migration và người viết logic kiểm…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…
- Resilience Engineering at LinkedIn with Project Waterbear Bài tóm tắt · LinkedIn · 2017
Càng nhiều microservice thì càng nhiều phụ thuộc, điểm hỏng và miền lỗi. Năm 2017 trang chủ phụ thuộc hơn 550 endpoint. SRE nhận "độ bền ứng dụng như một dịch vụ": đo, phân tích và đưa best practice cho chủ service.
- Slack Công ty Thành viên
Slack bắt đầu bằng LAMP và giữ PHP vì môi trường của nó (mỗi request trạng thái sạch, vòng lặp sửa–tải lại). Họ cải tiến dần bằng HHVM và Hack thay vì viết lại . Tầng dữ liệu đi từ MySQL active-active shard theo…
- Tinder Công ty Thành viên
Nhiều năm Tinder dùng một index Elasticsearch cho gợi ý; năm 2019 chia thành 40–100 geoshard cân theo load score trên S2 . Shard được hiện thực là nhiều index trong một cluster, chốt cỡ bằng performance test, và rải…
- Bigger, Faster, and More Engaging while on a Budget Bài tóm tắt · Zillow · 2015
…ngay sau mỗi bản phát hành. - Code cho tính năng chưa bật (dark code trong bucket A/B) vẫn chạy và vẫn tốn tài nguyên. - Một chỉ số xấu đi không chắc người dùng cảm thấy; cần chỉ…