Tìm kiếm
31 kết quả cho “BigQuery”. Tìm không phân biệt dấu.
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…n hơn ở DB production. - Ràng buộc: nguồn PostgreSQL , đích BigQuery ; dòng bất biến (chỉ thêm, không sửa xoá); GCP không kết nối thẳng được tới Postgres (kể cả VPN/Interconnect);…
- Realtime Fastly logs with Grafana Loki for under $1 a day Bài tóm tắt · Loveholidays · 2021
…g CDN lớn: hơn 30 GB/ngày (2021). - Họ đã đổ log Fastly vào BigQuery vài năm (hàng chục TB): tốt cho câu hỏi hồi cứu và so sánh dài hạn (bao nhiêu người gặp lỗi, đến từ đâu, so thá…
- How Render Workflows powers our internal data pipeline Bài tóm tắt · Render · 2026
…ông cụ extract/load (Stitch) chậm thì chạy lần ba. Tốn tiền BigQuery, phải kiểm tra tay, và 7–8 bước của pipeline chỉ được ngăn cách bằng khoảng thời gian chứ không phụ thuộc thật…
- Background Coding Agents: Downstream Consumer Dataset Migrations (Honk, Part 4) Bài tóm tắt · Spotify · 2026
…tiếp ảnh hưởng vài nghìn pipeline khác, trên ba framework: BigQuery Runner và dbt (SQL), Scio (Scala). Hạn là 6 tháng; làm tay ước khoảng 10 tuần công kỹ sư. Thay đổi chính - Tìm…
- Scaling data access by moving an exabyte of data to Google Cloud Bài tóm tắt · Twitter · 2022
…i Google Cloud để chuyển một phần hạ tầng dữ liệu sang GCP (BigQuery, Dataflow, Data Studio). - Dữ liệu cũ chủ yếu trên HDFS on-prem, định dạng Thrift , xử lý bằng job Scalding (ma…
- Fleet Management at Spotify (Part 1): Spotify's Shift to a Fleet-First Mindset Bài tóm tắt · Spotify · 2023
…code/cấu hình cùng dữ liệu hạ tầng production được nạp vào BigQuery để truy vấn (dependency, deploy, container, lỗ hổng). 2. Mọi thứ đã nằm trong version control chưa? Code thì rồ…
- From Local to Global: Building Seamless B2C Product Integration at Mercari Bài tóm tắt · Mercari · 2025
…hay vì tin payload. - Historical sync: batch từ file export BigQuery trên GCS cho listing cũ (hết hàng, ngừng bán) và để sửa dữ liệu lệch; cấu hình theo job: offset bắt đầu/kết thú…
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
…ường trưởng thành gồm các bước: tạo không gian tham số (lưu BigQuery) → gán nhãn train/test/validation → tune song song theo thị trường × lát cắt cross-validation × tổ hợp tham số…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…flow đọc queue, biến đổi/đổi định dạng rồi ghi liên tục vào BigQuery và Cloud Storage. - Pipeline phải phục vụ cả stream (dữ liệu tươi) lẫn dữ liệu lịch sử (báo cáo dài kỳ, vốn bat…
- Treating Data as Code at Two Sigma Bài tóm tắt · Two Sigma · 2025
…ng bảo trì; hạ tầng phân mảnh. Thay đổi chính - Chuyển sang BigQuery: bỏ hạ tầng phân mảnh, scale tự động; trọng tâm chuyển từ quản lý hạ tầng sang dựng dataset tập trung sẵn cho p…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Who Watches the Watchmen? Keeping an Eye on Our Monitoring Systems Bài tóm tắt · Mercari · 2022
…và analyzer (Cloud Run, Cloud Functions viết Go), Pub/Sub, BigQuery. Sau vài lần "sao không thấy log mới trong BigQuery", họ cần giám sát chính hệ giám sát. Dùng công cụ có sẵn củ…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- Allegro Công ty Thành viên
Allegro (Ba Lan) đi từ 3 developer với dữ liệu lưu trong file (1999) → scale bằng tự viết cache, connection pool, search engine bằng C trên Oracle (~2005) → framework tự chế trong cùng codebase (2008–2009, code mới vẫn…
- Osprey: Open Sourcing our Rule Engine Bài tóm tắt · Discord · 2026
…lịch sử của từng entity). Ở Discord còn ghi mọi kết quả vào BigQuery. - Quy mô (12/2025): khoảng 400 triệu action/ngày , 204 loại action, 2.288 luật, mỗi action trung bình kích hoạ…
- Loveholidays Công ty Thành viên
Năm 2021: với văn hoá "you build it, you run it", team Platform cấp sẵn rule alert Prometheus chung, còn việc định tuyến tới đúng team dựa vào nhãn team gắn trên resource Kubernetes và được kéo vào alert bằng kubelabels…
- Fleet Management at Spotify (Part 3): Fleet-wide Refactoring Bài tóm tắt · Spotify · 2023
…p nhật BOM mỗi ngày). Tìm repo đích bằng GitHub search hoặc BigQuery (toàn bộ source nạp vào BigQuery hằng ngày). - Automerger: tự merge khi qua mọi test và check; theo dõi sức kho…
- Two Sigma Công ty Thành viên
Quỹ đầu tư định lượng; blog nghiêng về nền tảng cho researcher. Khoảng 2015, scheduler Cook đưa công bằng và preemption vào một cụm compute dùng chung để job interactive của researcher không phải chờ batch qua đêm .…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…ẩy dữ liệu vào S3 làm tầng trung gian chuẩn (export native, BigQuery export, AWS AppFlow cho Salesforce, Fivetran cho Marketo, một app tự viết cho M3ter). Bảng fact lấy phần tăng t…
- Enhancing Cloud Usage Forecasting, Monitoring & Optimizing Bài tóm tắt · Etsy · 2024
…/B test làm CPV nhảy ngắn hạn. - Giám sát: - dashboard trên BigQuery + Looker cho mọi team; - cảnh báo khi tăng đột ngột hoặc tăng dần theo tuần/tháng; - họp với Finance hằng tuần,…
- 6 Lessons we learned when debugging a scaling problem on GitLab.com Bài tóm tắt · GitLab · 2019
…Wireshark để lọc kết nối ít gói.) 2. Log HAProxy (lưu trong BigQuery) có t state = SD : backend đóng phiên. Capture giữa HAProxy và Git server: sshd tự đóng kết nối ngay sau bắt ta…
- How we optimized infrastructure spend at GitLab Bài tóm tắt · GitLab · 2020
…ject, SKU) từ billing console và billing export của GCP vào BigQuery. 2. Gán chi phí cho chiều kinh doanh: chi bao nhiêu cho CI runner, cho nhân viên dùng GitLab.com so với khách.…
- SecDb Observability Journey Bài tóm tắt · Goldman Sachs · 2023
…đồng thời) và log thành phần gửi vào kho log tập trung trên BigQuery; không alert trên log mà trên chuỗi số kết nối trong Prometheus, log dùng để chẩn đoán. Vì sao - Với hệ di sản…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Deploying Large-scale Fraud Detection Machine Learning Models at PayPal Bài tóm tắt · PayPal · 2021
…Stack: Node.js/React phía trước, Python/Java ở giữa, Hadoop/BigQuery, Aerospike cache, ONNX, TensorFlow, MLflow. - Kết quả, theo PayPal: số PR của các team data science tăng 50% mỗ…
- Keeping Counts In Sync Bài tóm tắt · SoundCloud · 2018
…ọi event): không khả thi; database phân tích cột (Redshift, BigQuery, Kudu, Vertica) trả lời trong giây chứ không phải mili giây. - Tiền tổng hợp kiểu khác (cây Fenwick, prefix sum…