Tìm kiếm
40 kết quả cho “Experimentation”. Tìm không phân biệt dấu.
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Designing Experimentation Guardrails Bài tóm tắt · Airbnb · 2021
…— [bài gốc](https://medium.com/airbnb-engineering/designing-experimentation-guardrails-ed6a976ec669) Bối cảnh - Mỗi tuần hàng nghìn thí nghiệm online chạy song song trên Airbnb, mỗ…
- Our Evolution Towards T-REX: The Prehistory of Experimentation Infrastructure at LinkedIn Bài tóm tắt · LinkedIn · 2020
…om/blog/2020/our-evolution-towards-t-rex--the-prehistory-of-experimentation-i) Bài đầu của series về lịch sử nền tảng thí nghiệm của LinkedIn (tên cũ: LiX, XLNT); các phần sau (eng…
- Search Journey Towards Better Experimentation Practices Bài tóm tắt · Spotify · 2022
…neering.atspotify.com/2022/02/search-journey-towards-better-experimentation-practices/) Bài về thực hành và tổ chức quanh nền tảng thí nghiệm (do một data scientist của nhóm Search…
- Scaling Reliable Experimentation in a Two-Sided AdTech Marketplace: ZMS Budget Split Bài tóm tắt · Zalando · 2026
…ps://engineering.zalando.com/posts/2026/09/scaling-reliable-experimentation-in-two-sided-adtech-marketplace.html) Bối cảnh - Zalando Marketing Services (ZMS) bán quảng cáo sản phẩm…
- Making the LinkedIn experimentation engine 20x faster Bài tóm tắt · LinkedIn · 2020
…ps://engineering.linkedin.com/blog/2020/making-the-linkedin-experimentation-engine-20x-faster) Bối cảnh - Mọi release ở LinkedIn đều qua thí nghiệm. Năm 2020 nền tảng: tới 800.000…
- Phoenix — Tinder's Testing Platform, Part I Bài tóm tắt · Tinder · 2019
…atform-part-i-8e51c19ca977) Phần 1/3 của series về nền tảng experimentation Phoenix ("testing" ở đây là A/B test, không phải kiểm thử phần mềm). Phần 2: (Levers, remote config); ph…
- Phoenix — Tinder's Testing Platform, Part II (Levers) Bài tóm tắt · Tinder · 2019
Một tính năng của app mobile đi qua PM, design, code, QA, build rồi duyệt của app store. Bất kỳ thay đổi nào sau đó (bug lọt QA, chỉnh chi tiết, muốn ra mắt đúng giờ) đều phải lặp lại cả vòng; trên mobile không thể…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
Sản phẩm rộng và đổi nhanh, mỗi thành phần hành xử khác nhau theo vùng; muốn biết "sức khoẻ" cần nhiều chiều metric, và muốn tiến hoá nhanh thì phải thử nhiều và nhanh.
- Automating Feature-Flag Cleanup at Scale with a Multi-Agent LLM System Bài tóm tắt · DoorDash · 2026
…t-scale-with-a-multi-agent-llm-system/) Bối cảnh - Nền tảng experimentation của DoorDash quản lý hơn 60.000 feature flag (gọi là dynamic value, DV) trên khoảng 623 repo; hơn một ng…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
Giữa 2020, gần 200 triệu người dùng unique mỗi tháng. Các team dùng gần một chục công cụ thí nghiệm mua hoặc tự viết, mỗi cái giải một phần: có nơi gán bucket tốt nhưng PM chờ data scientist hàng tuần để có scorecard;…
- Instacart's Item Availability Architecture: Solving for scale and consistency Bài tóm tắt · Instacart · 2023
Điểm availability real-time từ phần 2 phải phục vụ ba nhu cầu: lấy qua RPC của team ML; lọc hàng loạt ở bước retrieval của search (RPC quá chậm); và nhất quán giữa mọi màn hình (một nơi báo hết hàng, nơi khác báo còn là…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Tinder Công ty Thành viên
Nhiều năm Tinder dùng một index Elasticsearch cho gợi ý; năm 2019 chia thành 40–100 geoshard cân theo load score trên S2 . Shard được hiện thực là nhiều index trong một cluster, chốt cỡ bằng performance test, và rải…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Spotify Công ty Thành viên
Hai nguồn của Spotify trong wiki đều về nền tảng nội bộ Backstage. Năm 2021, khi team hạ tầng giữ cluster Kubernetes ở nhiều region và team tính năng chỉ deploy lên, Spotify viết plugin Kubernetes cho Backstage để người…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Next Best Action platform: democratizing personalization with contextual bandits Bài tóm tắt · Zillow · 2024
Team sản phẩm và marketing chọn thông điệp, CTA bằng luật tay và A/B test tuần tự, rồi áp người thắng cho tất cả. Theo Zillow: thông điệp thắng với 60% khách bỏ quên 40% còn lại; mỗi vòng thử mất vài tuần tới vài tháng;…
- Building a strong foundation to accelerate StreetEasy's data science efforts Bài tóm tắt · Zillow · 2024
Dữ liệu event thô của StreetEasy là một bảng hàng tỷ dòng, hàng trăm cột. Tính một chỉ số đơn giản (tỉ lệ session có gửi yêu cầu xem nhà) cần biết nhiều chi tiết ngầm: giá trị nào là huỷ, desktop và iOS ghi cùng hành…
- Community-focused Feed optimization Bài tóm tắt · LinkedIn · 2019
Feed hai tầng (): các first pass ranker (FPR) chọn ứng viên từ kho của mình, second pass ranker (SPR) gộp và chấm điểm. FollowFeed là FPR chính: hơn 80% update trên feed, đóng góp hơn 95% cuộc hội thoại của member…
- What we learned from an iOS app OOMs incident Bài tóm tắt · Pinterest · 2021
Đầu 2020: crash out-of-memory trên app iOS tăng mạnh; tỉ lệ người dùng không gặp crash (CFUR) giảm từ 99% xuống 96%.
- Building and Open-Sourcing Wix's A/B Testing System Bài tóm tắt · Wix · 2015
Wix làm continuous delivery: code đẩy lên là chạy production. Theo Wix, vì code tồi cũng lên production ngay, một hệ thống experiment (A/B test và feature toggle) là điều kiện cần của CD: đánh dấu code là thử nghiệm,…
- Etsy Công ty Thành viên
Etsy shard MySQL từ khoảng 2010 bằng ORM tự viết: gán shard ngẫu nhiên, lưu ánh xạ trong một index DB, thành điểm hỏng chung. Từ 2018 họ chuyển sang Vitess mà không dời dữ liệu (vindex lai: SQLite cho ID cũ, hash cho ID…
- How We Built A Context-Specific Bidding System for Etsy Ads Bài tóm tắt · Etsy · 2021
Etsy Ads là đấu giá second-price thời gian thực; năm 2019 mọi seller được chuyển sang giá thầu tự động. Bộ đặt giá cũ tĩnh: ước lượng tỉ lệ mua sau click (PC-CVR) cho mỗi listing một lần mỗi ngày, nên đặt cùng giá lúc…
- Garbage Collection Optimization for High-Throughput and Low-Latency Java Applications Bài tóm tắt · LinkedIn · 2014
Khi dựng thế hệ mới của feed data platform (index cập nhật từ member, company, group để phục vụ feed), team làm prototype gần đủ chức năng, chạy lại workload query của hệ đang chạy để đo GC trong thời gian dài. Java…
- Rest.li 2.x and a Protocol Upgrade Story Bài tóm tắt · LinkedIn · 2015
Rest.li 2.0 đổi định dạng URL (gọn hơn, nhất quán giữa compound key và complex key, biểu diễn được list/map/chuỗi rỗng) và không tương thích ngược với 1.0. Server mới hiểu cả hai, client mới gửi 2.0 tới server cũ thì…
- LinkedOut: A Request-Level Failure Injection Framework Bài tóm tắt · LinkedIn · 2018
Mục tiêu: biết một trang xuống cấp ra sao khi service phía dưới hỏng, thử ngay trên production mà không làm member hay khách bị ảnh hưởng. Cách mịn nhất là inject lỗi theo từng request.
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- How we deliver mobile app updates faster Bài tóm tắt · Mercari · 2025
App Global trên iOS và Android nằm chung monorepo với app Nhật. Mục tiêu: thay đổi tới người dùng nhanh (thí nghiệm ngắn, sửa nhanh) mà bản phát hành vẫn ổn định; review của Apple/Google là phần không kiểm soát được.
- The Journey of User-Generated Content Translation Bài tóm tắt · Mercari · 2025
Dịch tiêu đề và mô tả listing (tiếng Nhật) sang tiếng Anh và Trung phồn thể, từ 10/2023 (cho đối tác mua hộ, rồi Đài Loan 8/2024, rồi Global App). A/B test: dịch làm số giao dịch tăng vài điểm phần trăm dù trình duyệt…
- モジュラモノリスの品質を支えるリーダビリティチーム ― AI時代のスケーラブルなコード管理 (Readability team for a modular monolith in the AI era) Bài tóm tắt · Mercari · 2025
Backend Global App là modular monolith: BFF và các tầng Tier 1–4, request đi từ tầng trên xuống tầng dưới, giao tiếp giữa module chuẩn hoá bằng Protobuf + gRPC. Theo tác giả, modular monolith tự nó không giải được vấn…
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
Forecast số người dùng theo thị trường là một trong các chỉ số sức khoẻ kinh doanh được dùng nhiều nhất, khi Spotify mở rộng ra hơn 180 nước. Trước đó việc tune hyperparameter chạy trên một máy, mất vài tháng.