Lyft

Mạch tiến hoá

Năm 2019, Amundsen, công cụ tìm dữ liệu dựa trên metadata, xếp hạng bảng theo số lần được query và lấy "ai hay dùng" từ audit log; metadata cơ bản công khai cho mọi người, metadata giàu chỉ cho người có quyền Lyft 2019. Nền tảng ML gồm Feature Service từ cuối 2017, một định nghĩa feature cho cả training lẫn serving Lyft 2021, và LyftLearn trên Kubernetes cho training và batch prediction, không giới hạn thư viện mỗi team Lyft 2021. Trước các nền tảng ML 2021, đội Fraud (2018) đã thấy hạ tầng giới hạn model: hệ số logistic regression chép tay vào code, rồi phải serialize GBDT và tách decision service nguyên khối Lyft 2018.

Timeline

Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).

Năm	Giai đoạn	Thay đổi	Nguồn
2017	3. Quy mô lớn	Feature Service (Q4 2017): feature định nghĩa bằng SQL, nạp batch (Flyte) và stream (Flink), DynamoDB + Redis cho tra cứu, nhân bản sang Hive cho training (bài 3/2021).	Lyft 2021
2018	3. Quy mô lớn	Chống gian lận: hệ số chép tay → GBDT serialize → TensorFlow; tách decision service nguyên khối (bài 7/2018).	Lyft 2018
2019	2. Tăng trưởng	Amundsen: tìm dữ liệu kiểu search engine, xếp hạng theo lượt query, metadata hành vi từ audit log; thời gian tìm còn khoảng 5%.	Lyft 2019
2021	3. Quy mô lớn	LyftLearn trên Kubernetes: notebook lên trong vài giây, container model có version, train song song theo tham số, chi phí mỗi lần train hiện cho người dùng.	Lyft 2021

Mạch tiến hoá

Timeline

Bạn đã dùng hết 3 bài đọc thử miễn phí

Tất cả bài viết của blog (33 bài)