Tìm kiếm
23 kết quả cho “executor”. Tìm không phân biệt dấu.
- Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day Bài tóm tắt · Salesforce · 2026
…không chứng minh nó hiệu quả. - Ví dụ: một workload xin 40 executor lúc khởi động mà phần lớn không có việc: pod churn, node churn, năng lực bỏ không, nhưng không bao giờ lỗi. Ước…
- A Self-Baked Async FFI Framework for Rust <-> C# Interop Bài tóm tắt · ScyllaDB · 2026
…await session.ExecuteAsync(...) . - Bẫy hai runtime: luồng executor của Tokio chạy luôn phần continuation của C (vì .NET tối ưu để giảm chuyển ngữ cảnh). .NET tự thêm thread khi p…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…G processor và cho worker Celery (sống lâu); với Kubernetes executor (worker tạm) thì dùng init container tải đúng DAG cần trước khi task chạy. - Lưu metadata deploy trong file trê…
- Tokio Reform is Shipped and the Road to 0.2 Bài tóm tắt · Tokio · 2018
…thi task của người dùng. Thay đổi chính - Tách reactor khỏi executor: reactor chỉ lái tài nguyên I/O ( TcpStream , UdpSocket ), executor là phần riêng ( current thread , dự định ch…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Balancing cost and reliability for Spark on Kubernetes Bài tóm tắt · Notion · 2026
…job hàng giờ trên hàng trăm worker. Spark chịu được mất một executor (retry task, tính lại), nhưng mất nhiều executor cùng lúc thì mất dữ liệu shuffle, tính lại đắt, retry làm tệ h…
- Attack of the Shards: Our Migration to FoundationDB, Part 2 Bài tóm tắt · Inngest · 2026
…ải là bước tiếp. - Công bằng khi không còn đơn luồng: nhiều executor cùng lease việc, mỗi bước claim/xoá là một transaction FDB. Để account nhiều function không chiếm hết executor,…
- How We Monitor Apache Airflow in Production Bài tóm tắt · Gojek · 2020
…ne trên Airflow (2020). Ngoài scheduler, webserver, worker, executor, họ có thêm tiến trình riêng: đồng bộ DAG từ GCS/git, đồng bộ biến Airflow tuỳ biến. Theo họ, càng nhiều thành…
- Our Migration to FoundationDB, Part 1 Bài tóm tắt · Inngest · 2026
…Inngest quyết định job nào chạy tiếp, cho account nào, trên executor nào; mọi lần chạy function đều đi qua nó, và nó phải giữ công bằng giữa các tenant. Hiện chạy nhiều shard queue…
- Tokio Công ty Thành viên
Tokio là async runtime mã nguồn mở cho Rust, không phải một công ty; bài 8/2019 giới thiệu thư viện tracing (trước tên tokio-trace): trong runtime async một thread chạy xen kẽ nhiều task nên thứ tự log không còn chỉ ra…
- How Coinbase built a governed platform for internal operations Bài tóm tắt · Coinbase · 2026
…u chỉ mở một review chứa trạng thái trước/sau; đủ duyệt thì executor chạy qua hàng đợi mới thực hiện, lỗi thì để người xử lý. Tách đề xuất khỏi thực thi cho cùng lúc điểm duyệt, bư…
- Incident report for September 18, 2026: When Deletion Cascades Exhausted Our Database Connections Bài tóm tắt · Inngest · 2026
…switch merge lúc 17:54 đang rollout. Đợt này lan rộng hơn (executor, batches, CDC... crash-loop, hai shard queue dừng). Postgres về bình thường lúc 18:00 nhưng PgBouncer bão hoà t…
- Behind the scenes: How Database Traffic Control works Bài tóm tắt · PlanetScale · 2026
…dồn lại. - PlanetScale đã có extension pginsights dùng hook ExecutorRun / ProcessUtility để đo tài nguyên từng query (cho Query Insights). Ban đầu viết extension mới để chặn query,…
- Salesforce Công ty Thành viên
Cloud Atlas là kho dữ liệu định danh toàn cầu phía sau phần lớn việc xác thực của Salesforce, mục tiêu five nines. Năm 2026 họ bỏ rate limit theo từng instance (sai khi autoscale, không thấy tổng tải của khách) và tránh…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…eberg, mô hình hoá DBT; Airflow 2.2 trên Kubernetes, Celery executor, MySQL 8. - Môi trường lớn nhất: hơn 10.000 DAG , trung bình hơn 400 task chạy cùng lúc , hơn 150.000 lượt chạy…
- Shipyard: How We Built Slack's Next-Generation EC2 Platform Bài tóm tắt · Slack · 2026
…SG dùng Instance Refresh; worker Kubernetes dùng Karpenter; executor riêng cho nhu cầu đặc biệt. Artifact deploy gồm AMI + artifact Chef có phiên bản theo commit. - Ngoại lệ có kiể…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…debug, audit, rollback. Copier Spark phân tán file cho mọi executor và đồng bộ hai chiều (xoá thư mục/file thừa ở đích, xử lý partition bị TTL giữa các lần thử); verifier so check…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…o RI cho bảng 300 tỉ dòng mất khoảng 7 giờ với khoảng 4.000 executor. - HiveSync cho nhiều data center và cloud: dataset chính + bản sao ở vùng khác; commit timeline nguyên tử của…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
…Docstore cho độ bền; processor nhiều zone (tên zone làm ID executor) giảm hỏng lô khi một zone sập hay lúc deploy. - Kiểm chứng: shadow traffic production sang hệ mới; kiểm đầy đủ…