Tìm kiếm
40 kết quả cho “Spark sinh tải”. Tìm không phân biệt dấu.
- Sparkplug — a non-optimizing JavaScript compiler Bài tóm tắt · V8 (Google) · 2021
…ều chỉnh · Độ khó: Nâng cao — [bài gốc](https://v8.dev/blog/sparkplug) Bối cảnh - Từ 2016 V8 thôi theo benchmark tổng hợp (Octane) để đo hiệu năng thực tế; với phiên ngắn (tải tran…
- Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day Bài tóm tắt · Salesforce · 2026
…bình — [bài gốc](https://engineering.salesforce.com/apache-spark-resource-optimization-lessons-from-eight-million-jobs-a-day/) Có nhắc một "agentic profiling skill" sinh SQL từ câ…
- Scaling up your microservice testing with Apache Spark Bài tóm tắt · Stripe · 2026
…c](https://stripe.dev/blog/microservice-testing-with-apache-spark) Phần 1 (vì sao replay); phần 2 (cách dựng harness): . Bài mô tả pattern, không nêu số liệu vận hành. Bối cảnh - V…
- Finding Kafka's throughput limit in Dropbox infrastructure Bài tóm tắt · Dropbox · 2019
…y đổi chính - Nền tảng test tự động: client Kafka chạy trên Spark để sinh tải tuỳ ý; ba cluster kích thước khác nhau; topic có số partition gấp 10 lần số broker (mỗi broker lead đú…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Finding Order in Chaos: How We Automated Performance Testing with Torque Bài tóm tắt · Dream11 · 2021
…→ generator thắng lấy dữ liệu, đẩy lên S3, gọi Lambda (hoặc Spark nếu 100–200 triệu dòng, vượt giới hạn Lambda) chia file theo số generator và ghi đường dẫn vào Redis → mỗi generat…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…thách thức: phục vụ dự đoán online từ một model train bằng Spark trong một service Python; và nhà hàng mới chưa có dữ liệu (cold start). Thay đổi chính - Ba phần: pipeline train o…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…tích phễu: tài nguyên cluster giảm khoảng một nửa. - UnifiedSparkCatalog (mở mã nguồn): Spark chỉ có một catalog mặc định, nên khi Iceberg, Delta, Hudi, Hive cùng tồn tại người dùn…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Training Orchestrator: Unifying Model Training at Yelp Bài tóm tắt · Yelp · 2026
…chung cho neural network và gradient-boosted tree, tích hợp Spark, và MLflow cho theo dõi và deploy model; còn thiếu phần ở giữa: cách chuẩn để điều phối việc train. - Trước đó mỗi…
- Tracking the Money — Scaling Financial Reporting at Airbnb Bài tóm tắt · Airbnb · 2017
…iờ , cuối đời chỉ chạy được hai ngày một lần. - Hệ mới chạy Spark trên HDFS, viết bằng Scala , mô hình event handler : - Platform event (đặt, sửa, huỷ, dịch vụ đã cung cấp) và paym…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…h sử. - Pipeline offline mỗi repository: dump delta ra S3 → Spark merge với snapshot cũ + dữ liệu offline (feature ML) + kiểm tra sanity → nạp snapshot mới; delta chỉ bị xoá sau kh…
- Load test và kiểm chứng capacity Chủ đề Thành viên
Trước một mốc tải chưa từng gặp (ra mắt game, tính năng mới gửi push toàn quốc, mùa giải, tăng trưởng nhanh), cần biết hệ chịu được bao nhiêu, cái gì gãy trước, và cần bao nhiêu máy. Test từng service riêng không đủ vì…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Reliable load testing with regards to unexpected nuances Bài tóm tắt · Miro · 2020
Khoảng đầu 2019, ở mốc 12.000 user online đồng thời, Miro bắt đầu dựng hạ tầng load test; ba tháng sau bản test đầu tiên ra đời, và đúng lúc đó production chạm giới hạn, sập hai giờ. Sự cố đẩy họ từ test thỉnh thoảng…
- How the Miro Developer Platform leverages contract testing Bài tóm tắt · Miro · 2023
Miro Developer Platform 2.0 (REST API công khai) ra mắt năm trước đó; đội muốn nâng chất lượng và tính nhất quán của API bằng cách làm design-first: thiết kế API (file OpenAPI, OAS) trước khi cài đặt.
- Yelp Công ty Thành viên
Kafka của Yelp (hàng chục tỷ message/ngày) chuyển từ EC2 + Puppet lên PaaS nội bộ PaaSTA trên Kubernetes với operator tự viết và Cruise Control (2021) ; migration không downtime bằng cách gấp đôi broker rồi dời…
- How we built custom emoji Bài tóm tắt · Notion · 2025
Văn bản trong Notion là [string, Array<TextAnnotation] (đậm, link, mention...). Mention đã là con trỏ tới dữ liệu ở backend.
- V8 (Google) Công ty Thành viên
Hai nguồn về engine JavaScript V8 trong wiki đều là tối ưu chính runtime chứ không đổi ngôn ngữ của ứng dụng. Năm 2019, đội V8 giải thích một "vách hiệu năng" do React gặp: trường số đổi representation trên object đã…
- Airbnb Công ty Thành viên
Airbnb chuyển từ một ứng dụng Rails khổng lồ sang SOA, và lộ ra chi phí test: deep integration test cho mọi service không scale, nên họ chuyển sang tháp test + CD có canary analysis . Năm 2025 với ba trụ sản phẩm, data…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
Giai đoạn 1 (không catalog): dữ liệu tăng tự phát, phần lớn ở dạng JSON không cấu trúc, đổ vào công cụ như Amplitude để phân tích nhanh. Hệ quả: kiến thức truyền miệng, tên không thống nhất, không phân biệt event quan…
- Notion Công ty Thành viên
Một Postgres monolith chạy 5 năm tới khi vacuum kẹt và TXID wraparound đe doạ; năm 2021 Notion shard ở tầng ứng dụng theo workspace ID thành 480 shard logic trên 32 DB, migrate bằng audit log, chuyển trong 5 phút bảo…
- Salesforce Công ty Thành viên
Cloud Atlas là kho dữ liệu định danh toàn cầu phía sau phần lớn việc xác thực của Salesforce, mục tiêu five nines. Năm 2026 họ bỏ rate limit theo từng instance (sai khi autoscale, không thấy tổng tải của khách) và tránh…
- Medium Công ty Thành viên
Năm 2015 Medium gặp throttle trên DynamoDB dù tổng capacity còn dư, vì capacity bị chia cho các partition ẩn; họ tự dựng access log qua ELK để tìm key nóng . Đầu 2018 Medium chuyển monolith Node.js có từ 2012 sang…
- Taming architecture complexity in V8 — the CodeStubAssembler Bài tóm tắt · V8 (Google) · 2017
Builtin là các hàm có sẵn trong mọi chương trình JavaScript (Array.prototype....). V8 viết chúng theo hai cách, cả hai đều có giá:
- The Stack That Helped Medium Drive 2.6 Millennia of Reading Time Bài tóm tắt · Medium · 2016
…log một ngày), tách người sản xuất dữ liệu khỏi người dùng. Spark dần thay cho ETL. - Schema bằng Protocol Buffers cho mọi tầng (app mobile, web, warehouse), có option tuỳ biến cho…