Tìm kiếm
7 kết quả cho “PySpark”. Tìm không phân biệt dấu.
- Introducing Flint: A Time-Series Library for Apache Spark Bài tóm tắt · Two Sigma · 2018
…chính là Python: TimeSeriesDataFrame mở rộng DataFrame của PySpark. - Asof join: join theo thời gian với khớp không chính xác trong một dung sai (ví dụ "1 ngày"); leftJoin nhìn về…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…dùng làm kiểm tra sẵn sàng của dependency. - ZEXPy (Python/PySpark): interface cho nguồn exposure/metric, checkpoint dữ liệu trung gian theo trial, platform, segment để chạy lại t…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…h nghĩa feature khỏi hạ tầng (engineer ML chỉ viết biến đổi PySpark), và có adapter DynamoDB, nhờ đó cắm được Dynovault , kho tương thích DynamoDB tự làm của Dropbox. Dynovault đặt…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…ng Hive Metastore (trên RDS); phần lớn là SQL, một số Scala/PySpark; Airflow nộp job qua Livy bằng operator tự viết. - Mọi workload chạy trên EMR 5.36, Spark 2.4.8, Hive 2.3.9. Khố…
- Two Sigma Công ty Thành viên
Quỹ đầu tư định lượng; blog nghiêng về nền tảng cho researcher. Khoảng 2015, scheduler Cook đưa công bằng và preemption vào một cụm compute dùng chung để job interactive của researcher không phải chờ batch qua đêm .…