Tìm kiếm
40 kết quả cho “Spark”. Tìm không phân biệt dấu.
- Sparkplug — a non-optimizing JavaScript compiler Bài tóm tắt · V8 (Google) · 2021
…ều chỉnh · Độ khó: Nâng cao — [bài gốc](https://v8.dev/blog/sparkplug) Bối cảnh - Từ 2016 V8 thôi theo benchmark tổng hợp (Octane) để đo hiệu năng thực tế; với phiên ngắn (tải tran…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…neering/unlocking-efficiency-and-performance-navigating-the-spark-3-and-emr-6-upgrade-journey-at-slack/) Bối cảnh - Data Engineering của Slack (2024): mô hình liên bang hơn 60 cụm…
- Introducing Flint: A Time-Series Library for Apache Spark Bài tóm tắt · Two Sigma · 2018
…articles/introducing-flint-a-time-series-library-for-apache-spark/) Bối cảnh - Dữ liệu tăng tới mức giải pháp một máy không còn đủ; Spark đã thành chuẩn cho big data, nhưng thiếu c…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…/medium.engineering/mediums-dynamodb-data-source-for-apache-spark-62c6599a6dfd) Bài rất ngắn, công bố một thư viện mã nguồn mở. Đọc qua trình duyệt (Medium chặn crawler); ghi chú b…
- Balancing cost and reliability for Spark on Kubernetes Bài tóm tắt · Notion · 2026
…ps://www.notion.com/blog/balancing-cost-and-reliability-for-spark-on-kubernetes) Bối cảnh - Notion chạy nhiều job Spark production, có job vài phút, có job hàng giờ trên hàng trăm…
- Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day Bài tóm tắt · Salesforce · 2026
…bình — [bài gốc](https://engineering.salesforce.com/apache-spark-resource-optimization-lessons-from-eight-million-jobs-a-day/) Có nhắc một "agentic profiling skill" sinh SQL từ câ…
- Scaling up your microservice testing with Apache Spark Bài tóm tắt · Stripe · 2026
…c](https://stripe.dev/blog/microservice-testing-with-apache-spark) Phần 1 (vì sao replay); phần 2 (cách dựng harness): . Bài mô tả pattern, không nêu số liệu vận hành. Bối cảnh - V…
- Scaling up your microservice testing with Apache Spark, Part 2 Bài tóm tắt · Stripe · 2026
…c](https://stripe.dev/blog/microservice-testing-with-apache-spark-part-2) Phần 2; phần 1 (vì sao replay): . Bối cảnh - Câu hỏi của phần này: dựng harness replay thế nào mà không tạ…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…/walmartlabs/how-we-build-a-robust-analytics-platform-using-spark-kafka-and-cassandra-lambda-architecture-70c2d1bc8981) Bài ngắn (3 phút đọc), mô tả kiến trúc ở mức khối. Site chặn…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…nhiều cái cũ trên hạ tầng dùng chung không tự deploy được. Spark tốn hơn 15% ngân sách cloud của nhóm Data/AI cho hơn 13.000 job ; on-call của team thí nghiệm mất khoảng một nửa t…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…i 2015 có khoảng 2.300 node Storm . Thị trường đã có Flink, Spark Streaming, Samza, Apex, Dataflow, và các benchmark có sẵn không giống tải thật. - Team Storm của Yahoo tự viết ben…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…thách thức: phục vụ dự đoán online từ một model train bằng Spark trong một service Python; và nhà hàng mới chưa có dữ liệu (cold start). Thay đổi chính - Ba phần: pipeline train o…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…tích phễu: tài nguyên cluster giảm khoảng một nửa. - UnifiedSparkCatalog (mở mã nguồn): Spark chỉ có một catalog mặc định, nên khi Iceberg, Delta, Hudi, Hive cùng tồn tại người dùn…
- Sitar-agent: Building a reliable dynamic configuration sidecar at scale Bài tóm tắt · Airbnb · 2026
…để server bỏ qua phần cũ. Server vẫn stateless. - Kho local Sparkey → SQLite: Sparkey thiết kế cho ghi một lần đọc nhiều, không có điều phối đọc/ghi đa luồng (phải khoá cả file khi…
- How we reduced our text similarity runtime by 99.96% Bài tóm tắt · Microsoft · 2021
…ector hoá, lấy mẫu review, lọc bằng luật, cách tính cosine, Spark) rồi dựng một script nhỏ đo khoảng 20 cấu hình trên dữ liệu đại diện. - Qua 8 vòng: tiền xử lý một lần mỗi bài tha…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…trên Pinot như backend production. Nhánh batch: ingest bằng Spark vào data lake (Parquet trên HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Oneho…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…chung cho neural network và gradient-boosted tree, tích hợp Spark, và MLflow cho theo dõi và deploy model; còn thiếu phần ở giữa: cách chuẩn để điều phối việc train. - Trước đó mỗi…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…-emr-autoscaling-spot/) Bối cảnh - Hàng trăm job ETL batch (Spark, Hive, Sqoop) mỗi ngày, khối lượng đổi theo giờ; có lúc một mẻ tới 10 TB . - Mô hình S3 data lake : S3 thay HDFS,…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…gọi service–service latency thấp, và môi trường cloud chạy Spark nơi làm feature engineering. Theo Dropbox, điều này loại các feature store cloud-native chuẩn. - Tín hiệu mới (mở…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…ob, lên lịch để train lại định kỳ; song song hoá qua Flyte, Spark hoặc Fugue. Model cần dự đoán điểm (định giá mỗi chuyến) đi sang hệ phục vụ riêng; model chạy theo lô (incentive h…
- Faster Python 3.14: faster compression and fixing 28-year-old bugs Bài tóm tắt · Man Group · 2026
…PR cho Python dùng bản nhanh hơn. Vì sao - Theo Man Group, Spark của họ hưởng lợi lớn: Spark tuần tự hoá hàng GB giữa các node với lựa chọn chỉ là deflate hoặc không nén; zlib lev…
- Distributed tracing at Pinterest with new open source tools Bài tóm tắt · Pinterest · 2017
…chỉ giữ trace giá trị cao. Họ viết Pintrace collector bằng Spark Streaming: kiểm chất lượng span → lọc → gộp theo trace ID hoặc theo cửa sổ thời gian → lưu Elasticsearch, xem bằng…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…vì theo từng thí nghiệm hay từng metric). - Pipeline batch Spark hằng ngày trên EMR on-demand , chia ba khối để dễ checkpoint và bảo trì: gán thí nghiệm (giải các loại định danh),…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…h sử. - Pipeline offline mỗi repository: dump delta ra S3 → Spark merge với snapshot cũ + dữ liệu offline (feature ML) + kiểm tra sanity → nạp snapshot mới; delta chỉ bị xoá sau kh…
- Tracking the Money — Scaling Financial Reporting at Airbnb Bài tóm tắt · Airbnb · 2017
…iờ , cuối đời chỉ chạy được hai ngày một lần. - Hệ mới chạy Spark trên HDFS, viết bằng Scala , mô hình event handler : - Platform event (đặt, sửa, huỷ, dịch vụ đã cung cấp) và paym…
- Finding Order in Chaos: How We Automated Performance Testing with Torque Bài tóm tắt · Dream11 · 2021
…→ generator thắng lấy dữ liệu, đẩy lên S3, gọi Lambda (hoặc Spark nếu 100–200 triệu dòng, vượt giới hạn Lambda) chia file theo số generator và ghi đường dẫn vào Redis → mỗi generat…
- Finding Kafka's throughput limit in Dropbox infrastructure Bài tóm tắt · Dropbox · 2019
…y đổi chính - Nền tảng test tự động: client Kafka chạy trên Spark để sinh tải tuỳ ý; ba cluster kích thước khác nhau; topic có số partition gấp 10 lần số broker (mỗi broker lead đú…
- Auditing content features in FollowFeed Bài tóm tắt · LinkedIn · 2019
…chỉ lấy mẫu 0,1% vì có hàng triệu response mỗi giây. - Job Spark hằng ngày so response của một ngày với 30 ngày sự kiện ingest; feature có lúc ingest mà thiếu lúc chấm điểm thì tí…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…ng. - V4 (2017–2018): xuất JSON về "raw data lake" trên S3, Spark trên EMR chuyển sang Parquet vào data lake; Airflow thay lịch cũ; bảng Hive trên S3 thay bảng Redshift ; Hive Meta…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…