Tìm kiếm
13 kết quả cho “training data pipeline”. Tìm không phân biệt dấu.
- How to shuffle a big dataset Bài tóm tắt · Jane Street · 2018
Theo bài, dữ liệu ở Jane Street có tỉ lệ tín hiệu/nhiễu rất thấp nhưng rất nhiều: kiểu một tỉ mẫu huấn luyện mà nhãn chỉ hơi có xu hướng đúng.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…g bình — [bài gốc](https://engineeringblog.yelp.com/2026/07/training-orchestrator-unifying-model-training-at-yelp.html) Bối cảnh - Yelp đã có feature store cho dữ liệu tái lập được…
- Migrating Data Ingestion Systems at Meta Scale Bài tóm tắt · Meta · 2026
…n nhất thế giới) vào data warehouse để phục vụ analytics và training model. - Hệ cũ gồm các pipeline do từng team khách hàng sở hữu : chạy tốt ở quy mô nhỏ, nhưng mất ổn định khi y…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
Forecast số người dùng theo thị trường là một trong các chỉ số sức khoẻ kinh doanh được dùng nhiều nhất, khi Spotify mở rộng ra hơn 180 nước. Trước đó việc tune hyperparameter chạy trên một máy, mất vài tháng.
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
Mục tiêu: feature dùng lúc inference chính là feature dùng để train model kế tiếp. Trước đó hai đường lệch nhau:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Lyft Công ty Thành viên
Năm 2019, Amundsen, công cụ tìm dữ liệu dựa trên metadata, xếp hạng bảng theo số lần được query và lấy "ai hay dùng" từ audit log; metadata cơ bản công khai cho mọi người, metadata giàu chỉ cho người có quyền . Nền tảng…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…izer) vào cùng artifact với model để serving không lệch với training. - Mở rộng phạm vi từng bước (từng ngôn ngữ) cho phép giao giá trị sớm và kiểm hồi quy trên phần đã có. Liên qu…