Tìm kiếm

4 kết quả cho “queue-proxy”. Tìm không phân biệt dấu.

• Serving Machine Learning Models Efficiently at Scale at Zillow
  Bài tóm tắt · Zillow · 2022

  …âm giữ request thừa và chỉ gửi tới replica còn chỗ; sidecar queue-proxy cạnh mỗi model server làm proxy cho probe (cấu hình TCP probe thay HTTP để ứng dụng không bị ngắt) và làm th…

• Load shedding, rate limit và backpressure
  Chủ đề Thành viên

  Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…

• Nền tảng ML (feature, training, serving, giám sát model)
  Chủ đề Thành viên

  Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:

• Zillow
  Công ty Thành viên

  Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…