Tìm kiếm
40 kết quả cho “Spark 3”. Tìm không phân biệt dấu.
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…neering/unlocking-efficiency-and-performance-navigating-the-spark-3-and-emr-6-upgrade-journey-at-slack/) Bối cảnh - Data Engineering của Slack (2024): mô hình liên bang hơn 60 cụm…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…nhiều cái cũ trên hạ tầng dùng chung không tự deploy được. Spark tốn hơn 15% ngân sách cloud của nhóm Data/AI cho hơn 13.000 job ; on-call của team thí nghiệm mất khoảng một nửa t…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…/medium.engineering/mediums-dynamodb-data-source-for-apache-spark-62c6599a6dfd) Bài rất ngắn, công bố một thư viện mã nguồn mở. Đọc qua trình duyệt (Medium chặn crawler); ghi chú b…
- Faster Python 3.14: faster compression and fixing 28-year-old bugs Bài tóm tắt · Man Group · 2026
…PR cho Python dùng bản nhanh hơn. Vì sao - Theo Man Group, Spark của họ hưởng lợi lớn: Spark tuần tự hoá hàng GB giữa các node với lựa chọn chỉ là deflate hoặc không nén; zlib lev…
- Sparkplug — a non-optimizing JavaScript compiler Bài tóm tắt · V8 (Google) · 2021
…ều chỉnh · Độ khó: Nâng cao — [bài gốc](https://v8.dev/blog/sparkplug) Bối cảnh - Từ 2016 V8 thôi theo benchmark tổng hợp (Octane) để đo hiệu năng thực tế; với phiên ngắn (tải tran…
- Introducing Flint: A Time-Series Library for Apache Spark Bài tóm tắt · Two Sigma · 2018
…articles/introducing-flint-a-time-series-library-for-apache-spark/) Bối cảnh - Dữ liệu tăng tới mức giải pháp một máy không còn đủ; Spark đã thành chuẩn cho big data, nhưng thiếu c…
- Balancing cost and reliability for Spark on Kubernetes Bài tóm tắt · Notion · 2026
…ps://www.notion.com/blog/balancing-cost-and-reliability-for-spark-on-kubernetes) Bối cảnh - Notion chạy nhiều job Spark production, có job vài phút, có job hàng giờ trên hàng trăm…
- Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day Bài tóm tắt · Salesforce · 2026
…bình — [bài gốc](https://engineering.salesforce.com/apache-spark-resource-optimization-lessons-from-eight-million-jobs-a-day/) Có nhắc một "agentic profiling skill" sinh SQL từ câ…
- Scaling up your microservice testing with Apache Spark Bài tóm tắt · Stripe · 2026
…c](https://stripe.dev/blog/microservice-testing-with-apache-spark) Phần 1 (vì sao replay); phần 2 (cách dựng harness): . Bài mô tả pattern, không nêu số liệu vận hành. Bối cảnh - V…
- Scaling up your microservice testing with Apache Spark, Part 2 Bài tóm tắt · Stripe · 2026
…c](https://stripe.dev/blog/microservice-testing-with-apache-spark-part-2) Phần 2; phần 1 (vì sao replay): . Bối cảnh - Câu hỏi của phần này: dựng harness replay thế nào mà không tạ…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…/walmartlabs/how-we-build-a-robust-analytics-platform-using-spark-kafka-and-cassandra-lambda-architecture-70c2d1bc8981) Bài ngắn (3 phút đọc), mô tả kiến trúc ở mức khối. Site chặn…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…vì theo từng thí nghiệm hay từng metric). - Pipeline batch Spark hằng ngày trên EMR on-demand , chia ba khối để dễ checkpoint và bảo trì: gán thí nghiệm (giải các loại định danh),…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…tích phễu: tài nguyên cluster giảm khoảng một nửa. - UnifiedSparkCatalog (mở mã nguồn): Spark chỉ có một catalog mặc định, nên khi Iceberg, Delta, Hudi, Hive cùng tồn tại người dùn…
- Sitar-agent: Building a reliable dynamic configuration sidecar at scale Bài tóm tắt · Airbnb · 2026
…để server bỏ qua phần cũ. Server vẫn stateless. - Kho local Sparkey → SQLite: Sparkey thiết kế cho ghi một lần đọc nhiều, không có điều phối đọc/ghi đa luồng (phải khoá cả file khi…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…-emr-autoscaling-spot/) Bối cảnh - Hàng trăm job ETL batch (Spark, Hive, Sqoop) mỗi ngày, khối lượng đổi theo giờ; có lúc một mẻ tới 10 TB . - Mô hình S3 data lake : S3 thay HDFS,…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…ng. - V4 (2017–2018): xuất JSON về "raw data lake" trên S3, Spark trên EMR chuyển sang Parquet vào data lake; Airflow thay lịch cũ; bảng Hive trên S3 thay bảng Redshift ; Hive Meta…
- Finding Order in Chaos: How We Automated Performance Testing with Torque Bài tóm tắt · Dream11 · 2021
…→ generator thắng lấy dữ liệu, đẩy lên S3, gọi Lambda (hoặc Spark nếu 100–200 triệu dòng, vượt giới hạn Lambda) chia file theo số generator và ghi đường dẫn vào Redis → mỗi generat…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…h sử. - Pipeline offline mỗi repository: dump delta ra S3 → Spark merge với snapshot cũ + dữ liệu offline (feature ML) + kiểm tra sanity → nạp snapshot mới; delta chỉ bị xoá sau kh…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…i 2015 có khoảng 2.300 node Storm . Thị trường đã có Flink, Spark Streaming, Samza, Apex, Dataflow, và các benchmark có sẵn không giống tải thật. - Team Storm của Yahoo tự viết ben…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
Nền big data của Netflix (2014) đặt data warehouse trên S3: compute tách khỏi storage, nhiều cụm (chạy dài hay tạm) cùng đọc chung dữ liệu. User viết job Pig hoặc Hive cho ETL và phân tích; một phần nhỏ kết quả và dữ…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…0% file là file nhỏ. Thư mục /system (log, config của YARN, Spark history) chứa nửa số file nhưng chỉ 0,07% dung lượng. Chuyển sang cụm vệ tinh có NameNode cỡ bằng cụm chính nhưng…
- How Discord Stores Trillions of Messages Bài tóm tắt · Discord · 2023
…ghi kép, cắt theo mốc thời gian, chép dữ liệu lịch sử bằng Spark migrator, ước tính 3 tháng . - Họ viết lại migrator bằng Rust trong một buổi chiều (đọc theo token range, checkpoi…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…trên Pinot như backend production. Nhánh batch: ingest bằng Spark vào data lake (Parquet trên HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Oneho…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…tion phụ) luôn trông "ít dùng" nên giữ scheduler, queue job Spark dài chờ hàng giờ. Vá tạm: chọn queue ngẫu nhiên đều , đóng góp upstream (YARN-9770). - Nguyên nhân gốc: khi một no…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…gọi service–service latency thấp, và môi trường cloud chạy Spark nơi làm feature engineering. Theo Dropbox, điều này loại các feature store cloud-native chuẩn. - Tín hiệu mới (mở…
- How we reduced our text similarity runtime by 99.96% Bài tóm tắt · Microsoft · 2021
…ector hoá, lấy mẫu review, lọc bằng luật, cách tính cosine, Spark) rồi dựng một script nhỏ đo khoảng 20 cấu hình trên dữ liệu đại diện. - Qua 8 vòng: tiền xử lý một lần mỗi bài tha…
- Distributed tracing at Pinterest with new open source tools Bài tóm tắt · Pinterest · 2017
…chỉ giữ trace giá trị cao. Họ viết Pintrace collector bằng Spark Streaming: kiểm chất lượng span → lọc → gộp theo trace ID hoặc theo cửa sổ thời gian → lưu Elasticsearch, xem bằng…
- Tracking the Money — Scaling Financial Reporting at Airbnb Bài tóm tắt · Airbnb · 2017
…iờ , cuối đời chỉ chạy được hai ngày một lần. - Hệ mới chạy Spark trên HDFS, viết bằng Scala , mô hình event handler : - Platform event (đặt, sửa, huỷ, dịch vụ đã cung cấp) và paym…
- Auditing content features in FollowFeed Bài tóm tắt · LinkedIn · 2019
…chỉ lấy mẫu 0,1% vì có hàng triệu response mỗi giây. - Job Spark hằng ngày so response của một ngày với 30 ngày sự kiện ingest; feature có lúc ingest mà thiếu lúc chấm điểm thì tí…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…ob, lên lịch để train lại định kỳ; song song hoá qua Flyte, Spark hoặc Fugue. Model cần dự đoán điểm (định giá mỗi chuyến) đi sang hệ phục vụ riêng; model chạy theo lô (incentive h…
- How the Miro Developer Platform leverages contract testing Bài tóm tắt · Miro · 2023
Miro Developer Platform 2.0 (REST API công khai) ra mắt năm trước đó; đội muốn nâng chất lượng và tính nhất quán của API bằng cách làm design-first: thiết kế API (file OpenAPI, OAS) trước khi cài đặt.
- Finding Kafka's throughput limit in Dropbox infrastructure Bài tóm tắt · Dropbox · 2019
…y đổi chính - Nền tảng test tự động: client Kafka chạy trên Spark để sinh tải tuỳ ý; ba cluster kích thước khác nhau; topic có số partition gấp 10 lần số broker (mỗi broker lead đú…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng: