Tìm kiếm
40 kết quả cho “Spark batch”. Tìm không phân biệt dấu.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- How we build a robust analytics platform using Spark, Kafka and Cassandra Bài tóm tắt · Walmart · 2018
…/walmartlabs/how-we-build-a-robust-analytics-platform-using-spark-kafka-and-cassandra-lambda-architecture-70c2d1bc8981) Bài ngắn (3 phút đọc), mô tả kiến trúc ở mức khối. Site chặn…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…/medium.engineering/mediums-dynamodb-data-source-for-apache-spark-62c6599a6dfd) Bài rất ngắn, công bố một thư viện mã nguồn mở. Đọc qua trình duyệt (Medium chặn crawler); ghi chú b…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…i 2015 có khoảng 2.300 node Storm . Thị trường đã có Flink, Spark Streaming, Samza, Apex, Dataflow, và các benchmark có sẵn không giống tải thật. - Team Storm của Yahoo tự viết ben…
- Inside the feature store powering real-time AI in Dropbox Dash Bài tóm tắt · Dropbox · 2025
…gọi service–service latency thấp, và môi trường cloud chạy Spark nơi làm feature engineering. Theo Dropbox, điều này loại các feature store cloud-native chuẩn. - Tín hiệu mới (mở…
- How we reduced our text similarity runtime by 99.96% Bài tóm tắt · Microsoft · 2021
…ector hoá, lấy mẫu review, lọc bằng luật, cách tính cosine, Spark) rồi dựng một script nhỏ đo khoảng 20 cấu hình trên dữ liệu đại diện. - Qua 8 vòng: tiền xử lý một lần mỗi bài tha…
- LyftLearn: ML Model Training Infrastructure built on Kubernetes Bài tóm tắt · Lyft · 2021
…ob, lên lịch để train lại định kỳ; song song hoá qua Flyte, Spark hoặc Fugue. Model cần dự đoán điểm (định giá mỗi chuyến) đi sang hệ phục vụ riêng; model chạy theo lô (incentive h…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…vì theo từng thí nghiệm hay từng metric). - Pipeline batch Spark hằng ngày trên EMR on-demand , chia ba khối để dễ checkpoint và bảo trì: gán thí nghiệm (giải các loại định danh),…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…nhiều cái cũ trên hạ tầng dùng chung không tự deploy được. Spark tốn hơn 15% ngân sách cloud của nhóm Data/AI cho hơn 13.000 job ; on-call của team thí nghiệm mất khoảng một nửa t…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…tích phễu: tài nguyên cluster giảm khoảng một nửa. - UnifiedSparkCatalog (mở mã nguồn): Spark chỉ có một catalog mặc định, nên khi Iceberg, Delta, Hudi, Hive cùng tồn tại người dùn…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…trên Pinot như backend production. Nhánh batch: ingest bằng Spark vào data lake (Parquet trên HDFS), Hive dựng data model. - Hudi (khởi đầu ở Uber, vào Apache năm 2016): theo Oneho…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…chung cho neural network và gradient-boosted tree, tích hợp Spark, và MLflow cho theo dõi và deploy model; còn thiếu phần ở giữa: cách chuẩn để điều phối việc train. - Trước đó mỗi…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…ne feature thông thường: event Kafka được ETL vào HDFS, job Spark định kỳ tính feature rồi đẩy tới recommender. Trễ từ vài giờ tới vài ngày giữa hành động và lúc recommendation phả…
- Save Money with EMR Auto Scaling and Spot Instances Bài tóm tắt · Zillow · 2017
…-emr-autoscaling-spot/) Bối cảnh - Hàng trăm job ETL batch (Spark, Hive, Sqoop) mỗi ngày, khối lượng đổi theo giờ; có lúc một mẻ tới 10 TB . - Mô hình S3 data lake : S3 thay HDFS,…
- Finding Kafka's throughput limit in Dropbox infrastructure Bài tóm tắt · Dropbox · 2019
…y đổi chính - Nền tảng test tự động: client Kafka chạy trên Spark để sinh tải tuỳ ý; ba cluster kích thước khác nhau; topic có số partition gấp 10 lần số broker (mỗi broker lead đú…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Walmart Công ty Thành viên
Nhiều team ở Walmart dùng Cassandra làm nguồn chính (hàng chục tới hàng trăm nghìn ops/giây). Năm bài học (2017): shard key nhân tạo chống partition lệch, tách Solr khỏi Cassandra, không đọc/ghi cả hàng, cẩn thận với…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…) làm hướng này rõ hơn. - Đường truyền thống: Kafka → Flink/Spark Streaming → bảng → object storage . Vẫn đúng khi cần làm sạch phức tạp, tổng hợp theo cửa sổ, join nhiều stream. N…
- Microsoft Công ty Thành viên
Nguồn duy nhất của Microsoft trong wiki (3/2021) là một job batch của đội Commercial Software Engineering làm cùng UCL: chấm độ giống TF-IDF cho tới 1,5 triệu bài báo, từ 16 giây mỗi bài xuống giảm 99,96% bằng cách gom…
- Two Sigma Công ty Thành viên
Quỹ đầu tư định lượng; blog nghiêng về nền tảng cho researcher. Khoảng 2015, scheduler Cook đưa công bằng và preemption vào một cụm compute dùng chung để job interactive của researcher không phải chờ batch qua đêm .…
- Yahoo Công ty Thành viên
Yahoo tạo BookKeeper năm 2009 làm WAL cho HDFS: một kho log tuần tự nhân bản theo quorum trên phần cứng phổ thông, metadata trong ZooKeeper. Đến 2015 nó là lớp lưu bền cho Cloud Messaging Service đa tenant (hơn 60 ứng…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…ồn, giữ tới khi xong hẳn, để debug, audit, rollback. Copier Spark phân tán file cho mọi executor và đồng bộ hai chiều (xoá thư mục/file thừa ở đích, xử lý partition bị TTL giữa các…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…ean, clustering) mỗi ngày; 4 triệu query/tuần qua Presto và Spark; bảng lớn nhất trên 400 tỉ dòng cập nhật liên tục. - Bốn lớp workload, cấu hình khác nhau: append-only (11.200 bản…
- Onehouse Công ty Thành viên
Nguồn duy nhất của Onehouse trong wiki là bản tóm tắt (2024) talk năm 2023 của Uber về hạ tầng dữ liệu, nên mọi nhận định là theo Uber qua lời kể của Onehouse: kiến trúc Lambda phục vụ bốn loại nhu cầu từ streaming dưới…