Tìm kiếm
40 kết quả cho “A/B test”. Tìm không phân biệt dấu.
- Building and Open-Sourcing Wix's A/B Testing System Bài tóm tắt · Wix · 2015
…code tồi cũng lên production ngay, một hệ thống experiment (A/B test và feature toggle) là điều kiện cần của CD: đánh dấu code là thử nghiệm, bật/tắt cho một nhóm người dùng. - Sau…
- Phoenix — Tinder's Testing Platform, Part I Bài tóm tắt · Tinder · 2019
…ies về nền tảng experimentation Phoenix ("testing" ở đây là A/B test, không phải kiểm thử phần mềm). Phần 2: (Levers, remote config); phần 3: (pipeline metric). Đọc qua trình duyệt…
- A monolithic architecture for our clients' hundreds of versions: how we write and support tests Bài tóm tắt · Bumble · 2019
…c mọi client (app mobile, site), bọc bằng feature flag hoặc A/B test; client phát hành sau tuỳ ưu tiên, có khi nửa năm sau. Người viết backend chịu trách nhiệm tới khi client cuối…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Our Evolution Towards T-REX: The Prehistory of Experimentation Infrastructure at LinkedIn Bài tóm tắt · LinkedIn · 2020
…Targeting, Ramping, and Experimentation) phục vụ tới 41.000 A/B test cùng lúc trên hơn 700 triệu thành viên; gồm targeting, cấu hình động, hạ tầng thí nghiệm, pipeline báo cáo, thô…
- Making the LinkedIn experimentation engine 20x faster Bài tóm tắt · LinkedIn · 2020
…ber) so v1 với v2, phủ 99,9998% nhánh. - Rollout bằng chính A/B test: phát hành client chứa cả hai engine, một thí nghiệm nội bộ chọn engine; mất 37 vòng và 8 tháng ; giữa chừng mớ…
- Bigger, Faster, and More Engaging while on a Budget Bài tóm tắt · Zillow · 2015
…90. - Điều tra: tính năng mới (ảnh listing to hơn) đã thắng A/B test; thủ phạm thật là lỗi trong bucket control của một A/B test khác chuẩn bị ra, tải ngầm ảnh cho một tính năng ch…
- The Journey of User-Generated Content Translation Bài tóm tắt · Mercari · 2025
…(cho đối tác mua hộ, rồi Đài Loan 8/2024, rồi Global App). A/B test: dịch làm số giao dịch tăng vài điểm phần trăm dù trình duyệt có sẵn tính năng dịch. - C2C: mỗi listing là duy…
- How We Built A Context-Specific Bidding System for Etsy Ads Bài tóm tắt · Etsy · 2021
…ống: từ batch hằng ngày sang dự đoán online, và cái khó của A/B test khi mọi biến thể dùng chung ngân sách. Bối cảnh - Etsy Ads là đấu giá second-price thời gian thực; năm 2019 mọi…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…c Kafka với các team consumer. - Go-live theo giai đoạn qua A/B test: staging nối với staging của các team liên quan vài tuần; production theo thứ tự API (công cụ admin, Business S…
- Scaling Reliable Experimentation in a Two-Sided AdTech Marketplace: ZMS Budget Split Bài tóm tắt · Zalando · 2026
…hạy trên một tài nguyên hữu hạn là ngân sách chiến dịch . - A/B test thông thường dựa trên giả định SUTVA: biến thể của người này không ảnh hưởng kết quả của người khác. Ở đây giả…
- Search Journey Towards Better Experimentation Practices Bài tóm tắt · Spotify · 2022
Spotify đầu tư khoảng hai năm (2020–2021) vào nền tảng thí nghiệm mới; theo bài, nền tảng đã đủ tính năng và tiến nhanh hơn tốc độ các team áp dụng.
- グローバルなメルカリの検索バックエンド設計と検索基盤拡充 (Search backend for the Global App and extending the search platform) Bài tóm tắt · Mercari · 2025
…ó lời , và dùng thời gian đó chuẩn bị phía Elasticsearch. - A/B test cho thấy với dữ liệu sản phẩm và event người dùng của Mercari (phải chuyển từ hệ event riêng sang schema GA4),…
- Designing Experimentation Guardrails Bài tóm tắt · Airbnb · 2021
Mỗi tuần hàng nghìn thí nghiệm online chạy song song trên Airbnb, mỗi thí nghiệm theo dõi khoảng vài chục metric (2021).
- Jepsen: PostgreSQL 12.3 Bài tóm tắt · Jepsen · 2020
…ransaction và tìm chu trình theo định nghĩa của Adya (G0, G1a/b/c, G-single, G2-item) cùng các lỗi nhất quán nội bộ. - Read committed: đúng như mong đợi. - Repeatable read: khớp st…
- Building a strong foundation to accelerate StreetEasy's data science efforts Bài tóm tắt · Zillow · 2024
…ng giá trị khác nhau. - Hệ quả: phân tích chậm (một câu hỏi A/B mất vài giờ đến vài ngày), cùng một KPI ra số khác nhau, gần như không ai ngoài team data tự làm được. Thay đổi chín…
- Building visibility into a CI platform Bài tóm tắt · Optiver · 2026
…ild nhanh/chậm đi, regression rơi vào workload nào: gần như A/B test cho toolchain. Vì sao - Với hệ không co giãn, quyết định mua thêm phần cứng tốn thời gian và tiền; có dữ liệu t…
- Rest.li 2.x and a Protocol Upgrade Story Bài tóm tắt · LinkedIn · 2015
…d feed homepage; trang profile–graph service), ramp bằng hệ A/B test lên 100% traffic và chạy nhiều tuần. - Rollout có kiểm soát: mỗi tuần một nhóm service; chỉ cần sửa cấu hình D2…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, đồng bộ thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- LinkedOut: A Request-Level Failure Injection Framework Bài tóm tắt · LinkedIn · 2018
…cấu hình trong D2 rồi ném). - Hai cách kích hoạt: - LiX (hệ A/B và feature gate): nhắm từ một request của một member tới một tỉ lệ member của cả cụm phía dưới. - Invocation context…
- Next Best Action platform: democratizing personalization with contextual bandits Bài tóm tắt · Zillow · 2024
…sản phẩm và marketing chọn thông điệp, CTA bằng luật tay và A/B test tuần tự, rồi áp người thắng cho tất cả. Theo Zillow: thông điệp thắng với 60% khách bỏ quên 40% còn lại; mỗi vò…
- How we achieved independent deployments in a micro-frontend architecture Bài tóm tắt · Allegro · 2026
…hết về component thường. - Thử 2: mở rộng cơ chế sẵn có cho A/B test (nhiều phiên bản một component trong registry, chọn lúc render). Mỗi phiên bản mới mặc định tắt ; chủ tự bật tr…
- Wix Công ty Thành viên
Năm 2015 Wix dùng MySQL như một kho key/value (blob, không join, không transaction, GUID do client sinh) cho bảng phân giải URL → site, active-active 3 DC, đọc khoảng 1 ms; theo Wix, "MySQL là NoSQL tốt hơn" . Năm 2021,…
- Etsy Công ty Thành viên
Etsy shard MySQL từ khoảng 2010 bằng ORM tự viết: gán shard ngẫu nhiên, lưu ánh xạ trong một index DB, thành điểm hỏng chung. Từ 2018 họ chuyển sang Vitess mà không dời dữ liệu (vindex lai: SQLite cho ID cũ, hash cho ID…