Tìm kiếm
40 kết quả cho “eval”. Tìm không phân biệt dấu.
- Quantifying infrastructure noise in agentic coding evals Bài tóm tắt · Anthropic · 2026
…structure-noise) Anthropic là nhà cung cấp model và tự chạy eval cho model của mình; các con số dưới đây là "theo Anthropic". Bối cảnh - Benchmark coding kiểu agent (SWE-bench, Ter…
- Evaluating MySQL Parallel Replication Part 3: Benchmarks in Production Bài tóm tắt · Booking.com · 2015
…ó — [bài gốc](https://medium.com/booking-com-infrastructure/evaluating-mysql-parallel-replication-part-3-benchmarks-in-production-db5811058d74) Phần 3 của series "Evaluating MySQL…
- Evaluating MySQL Parallel Replication Part 2: Slave Group Commit Bài tóm tắt · Booking.com · 2015
…ó — [bài gốc](https://medium.com/booking-com-infrastructure/evaluating-mysql-parallel-replication-part-2-slave-group-commit-459026a141d2) Phần 2 của series "Evaluating MySQL Parall…
- Evaluating MySQL Parallel Replication Part 4: More Benchmarks in Production Bài tóm tắt · Booking.com · 2016
…ó — [bài gốc](https://medium.com/booking-com-infrastructure/evaluating-mysql-parallel-replication-part-4-more-benchmarks-in-production-49ee255043ab) Phần 4 của series; phần trước:…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…thropic) - Quy trình kiểm tra thường dùng benchmark, safety eval, metric hiệu năng, spot check và canary; nhưng eval không bắt được suy giảm người dùng thấy, một phần vì model thườ…
- How Instacart Uses Embeddings to Improve Search Relevance Bài tóm tắt · Instacart · 2022
…chỉ tóm tắt ngắn; wiki giữ phần phục vụ và vị trí của retrieval bằng vector trong hệ search. Bối cảnh - 2022: catalog hơn 1 tỉ sản phẩm từ hơn 900 nhà bán lẻ. Query lệch mạnh: dướ…
- Flex Model: an event-driven feature engineering system Bài tóm tắt · Jane Street · 2026
…t handler (chạy ở mọi sự kiện liên quan, cập nhật state) và eval (chỉ chạy khi cần giá trị). - Engine đời đầu viết theo một chiến lược: chỉ phản ứng với cập nhật sổ lệnh, nhóm feat…
- Halving the Time: How Uber Eats Rebuilt Its Search Pipeline Bài tóm tắt · Uber · 2026
…ng tới mức không chấp nhận được. Ba nguyên nhân chính: retrieval lấy hàng chục nghìn ứng viên rồi hydrate đầy đủ tất cả trước khi ranking bỏ phần lớn; hydration là một pha nguyên k…
- Making the LinkedIn experimentation engine 20x faster Bài tóm tắt · LinkedIn · 2020
…oảng 35.000 thí nghiệm chạy cùng lúc , tới 23 nghìn tỷ lượt evaluate/ngày , latency trung bình 700 ns (p99 3 µs), dùng trong khoảng 500 service production. - Lix Engine là thư viện…
- KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure Bài tóm tắt · Meta · 2026
Fleet phần cứng của Meta không đồng nhất: GPU NVIDIA, GPU AMD, chip MTIA tự làm (4 thế hệ trong 2 năm), CPU. Mỗi phép toán của model phải có kernel tối ưu cho từng chip; số kernel = {loại và thế hệ phần cứng} × {kiến…
- Maintaining Machine Learning Model Accuracy Through Monitoring Bài tóm tắt · DoorDash · 2021
Model của DoorDash ước thời gian nấu, thời gian giao, quyết định giao đơn nào cho Dasher. Theo DoorDash, model bắt đầu xuống cấp ngay khi lên production (model drift) vì dữ liệu đổi: thêm khách, thêm sản phẩm, hay sự…
- Stack Overflow: How We Do App Caching - 2019 Edition Bài tóm tắt · Stack Overflow · 2019
Thang độ trễ (2019): RAM khoảng 100 ns; một lần gọi Redis qua LAN của họ 0,2–0,5 ms (chậm hơn RAM 2.000–5.000 lần); trang câu hỏi render trung bình 18–20 ms, nên vài lần gọi Redis đã chiếm một phần đáng kể.
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Anthropic Công ty Thành viên
Nguồn đầu tiên của Anthropic trong wiki là một postmortem về hạ tầng phục vụ model: tháng 8–9/2025, ba lỗi hạ tầng độc lập (định tuyến sai pool context, cấu hình sai trên TPU, lỗi compiler XLA bị một workaround cũ che)…
- Scaling Our Geo-Search Service For 10x Load Bài tóm tắt · Gojek · 2022
…mỗi master một shard, nhiều replica). Lọc geo chạy bằng Lua EVAL , nhưng EVAL không được coi là lệnh chỉ đọc nên bị đẩy hết về master, và client go-redis mặc định cũng vậy. Gojek đ…
- Our Evolution Towards T-REX: The Prehistory of Experimentation Infrastructure at LinkedIn Bài tóm tắt · LinkedIn · 2020
…ramp 5% → 25% → 50% → 100% là bốn experiment). Ứng dụng chỉ evaluate test, không evaluate experiment, nên ramp không cần đổi code. - Quản lý test tập trung qua UI; độ trễ deploy mộ…
- Deno KV internals: building a database for the modern web Bài tóm tắt · Deno · 2023
…ng cách địa lý thì latency cộng dồn. - Pipeline sequencer → evaluator → writer: - Sequencer (một cho mỗi database) cấp TSN (số thứ tự giao dịch) tăng đơn điệu từ bộ đếm trong RAM;…
- How we rolled out our own permissions DSL at Figma Bài tóm tắt · Figma · 2024
…hay side-effect trong policy. - Engine nhỏ, nhiều bản: ApplyEvaluator (đánh giá boolean) viết cho TypeScript, Ruby, sau thêm Go; mỗi bản mất 2–3 ngày công của một senior, dùng chun…
- Gojek Công ty Thành viên
Dịch vụ tìm tài xế của Gojek đi từ Postgres (không chịu được vị trí cập nhật liên tục) sang Redis, rồi khi GoFood và Logistics tăng trưởng thì phải scale ngang: đẩy đọc sang replica nhờ lệnh EVALRO họ đề xuất cho Redis,…
- Instacart Công ty Thành viên
Năm 2020, để bật mã hoá at-rest cho RDS Postgres vài TB mà không downtime nhiều giờ, Instacart dựng replica logic từ snapshot (đẩy vị trí replication khớp LSN của snapshot) thay vì copy toàn bộ; cách này về sau dùng cho…
- Instacart's Item Availability Architecture: Solving for scale and consistency Bài tóm tắt · Instacart · 2023
…nhu cầu: lấy qua RPC của team ML; lọc hàng loạt ở bước retrieval của search (RPC quá chậm); và nhất quán giữa mọi màn hình (một nơi báo hết hàng, nơi khác báo còn là mất lòng tin).…
- Better Parallel Replication for MySQL Bài tóm tắt · Booking.com · 2015
…llel-replication-for-mysql-14e2d7857813) Phần 1 của series "Evaluating MySQL Parallel Replication" (Jean-François Gagné); phần tiếp: → → . Đọc qua trình duyệt (Medium chặn crawler)…
- Deno Công ty Thành viên
Deno chạy code ở nhiều region qua Deno Deploy, và theo Deno, compute phân tán thì dữ liệu cũng phải phân tán. Năm 2023 họ dựng Deno KV trên FoundationDB, thêm một transaction layer chỉ có giao dịch không tương tác và…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Making Your Feed More Relevant – Part I Bài tóm tắt · LinkedIn · 2015
…ng chấm từng update riêng được. Bài học cho SWE - Tách retrieval rẻ và ranking đắt thành tầng riêng vừa là quyết định hiệu năng vừa là quyết định tổ chức: mỗi nguồn ứng viên là ran…
- The Journey of User-Generated Content Translation Bài tóm tắt · Mercari · 2025
…gười dùng không lạm dụng); danh sách lỗi đã biết thành bộ eval offline để thử model mới nhanh. Glossary hàng nghìn mục không nhét hết vào prompt: dùng tokenizer tiếng Nhật của hệ s…