Inside SkyTour's AI engine: From drone footage to immersive 3D

Zillow · 2026 · 3. Quy mô lớn · Độ khó: Khó — bài gốc

Bối cảnh

SkyTour (ra 2025 cho listing Zillow Showcase): xem ngoại thất nhà từ mọi góc, dựng từ video drone thành cảnh 3D tương tác chạy trong trình duyệt.

"Train" một cảnh: từ hàng chục nghìn frame chọn dưới 1.000 cho cân bằng, dựng lại hình học và đường bay camera, xoay trục, rồi tối ưu mô hình 3D Gaussian Splatting khoảng 1 triệu splat.
SfM: trích keypoint, ghép tương ứng; không ghép mọi cặp (quá đắt) mà dùng cửa sổ frame lân cận theo thời gian + tìm theo độ giống toàn cục để khép vòng khi đường bay quay lại; kiểm tra hình học loại cặp ghép sai (cửa sổ giống nhau, hoạ tiết lặp). COLMAP dựng dần, bundle adjustment định kỳ.
Xoay hệ toạ độ theo giả định Manhattan world; lấy tỉ lệ thật từ GPS của drone.
Tối ưu 3DGS bằng gradient descent qua renderer khả vi so với ảnh thật; tách splat ở vùng lỗi cao, bỏ splat gần trong suốt, định kỳ reset opacity.
Tự tính "view cone" cho từng nhà (tâm, footprint, mặt đất, mặt tiền) bằng CV để người xem không xuyên tường.
Chạy thành workflow Metaflow, mỗi bước trên Kubernetes với CPU/GPU cấp theo yêu cầu bước; logic 3DGS tách khỏi lớp orchestration. Chạy lặp lại trên hàng nghìn bất động sản.

Biến một kỹ thuật nghiên cứu thành pipeline production chạy tin cậy trên dữ liệu rất đa dạng cần tách logic mô hình khỏi orchestration và cấp tài nguyên theo bước (Nền tảng ML (feature, training, serving, giám sát model)).

Pipeline CV nặng: giảm dữ liệu sớm (chọn frame) quan trọng ngang thuật toán.
Lớp orchestration (Metaflow) riêng giúp thử lại từng bước và cấp GPU chỉ cho bước cần.