Tìm kiếm
40 kết quả cho “Data source”. Tìm không phân biệt dấu.
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…Dễ — [bài gốc](https://medium.engineering/mediums-dynamodb-data-source-for-apache-spark-62c6599a6dfd) Bài rất ngắn, công bố một thư viện mã nguồn mở. Đọc qua trình duyệt (Medium c…
- DataHub: Popular metadata architectures explained Bài tóm tắt · LinkedIn · 2020
…bình — [bài gốc](https://engineering.linkedin.com/blog/2020/datahub-popular-metadata-architectures-explained) Bài khái niệm, viết bởi người dẫn dắt DataHub; xếp các hệ khác vào "th…
- Treating Data as Code at Two Sigma Bài tóm tắt · Two Sigma · 2025
…: Dễ — [bài gốc](https://www.twosigma.com/articles/treating-data-as-code-at-two-sigma/) Bài tổng quan, ít chi tiết kỹ thuật cụ thể (không có số liệu, không có kiến trúc). Mọi nhận…
- Building a High-Throughput Metrics System Using Open Source Software Bài tóm tắt · Two Sigma · 2019
…u hiệu năng cao trả kết quả truy vấn của researcher (ví dụ "dataset x từ 2000 tới 2019, lấy log mọi giá trị"), tới 50.000 query/giây và 1,85 GiB/giây mỗi node . - Họ muốn đo usage…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…Độ khó: Trung bình — [bài gốc](https://netflixtechblog.com/data-mesh-a-data-movement-and-processing-platform-netflix-1288bcab2873) Bài tổng quan đầu của một series; chưa có số liệ…
- Amundsen — Lyft's data discovery & metadata engine Bài tóm tắt · Lyft · 2019
…Độ khó: Dễ — [bài gốc](https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9) Bài giới thiệu sản phẩm nội bộ (về sau open source); kiến trúc được hẹn ở b…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ài gốc](https://netflixtechblog.com/using-presto-in-our-big-data-platform-on-aws-938035909fd4) Bối cảnh - Nền big data của Netflix (2014) đặt data warehouse trên S3 : compute tách…
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…ung bình — [bài gốc](https://clickhouse.com/blog/building-a-data-warehouse-with-clickhouse) Phần 1 của hai bài về DWH nội bộ của ClickHouse; phần tiếp theo một năm sau: . Nhà cung…
- Open sourcing Databus: LinkedIn's low latency change data capture system Bài tóm tắt · LinkedIn · 2013
…hó: Trung bình — [bài gốc](https://engineering.linkedin.com/data-replication/open-sourcing-databus-linkedins-low-latency-change-data-capture-system) Bối cảnh - LinkedIn có nhiều hệ…
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…khó: Khó — [bài gốc](https://www.uber.com/us/en/blog/scaled-data-replication/) Bối cảnh - Data lake của Uber (hơn 350 PB) nằm ở cả on-premises lẫn cloud. HiveSync (dựng từ dự án Re…
- Open sourcing Brooklin: Near real-time data streaming at scale Bài tóm tắt · LinkedIn · 2019
…Azure Event Hubs, Kinesis). - Mirror Kafka giữa các cụm và data center dùng Kafka MirrorMaker (KMM) : mỗi cụm KMM chỉ nối một cặp cụm Kafka nên phải vận hành hàng chục tới hàng tr…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…ung bình — [bài gốc](https://clickhouse.com/blog/building-a-data-warehouse-with-clickhouse-part-2) Phần 2, viết một năm sau . Bài của nhà cung cấp về chính sản phẩm của họ; các nhậ…
- Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day Bài tóm tắt · Salesforce · 2026
…từ câu hỏi tự nhiên; wiki chỉ ghi ngắn phần đó. Bối cảnh - Data 360 của Salesforce chạy khoảng 8 triệu lần Spark mỗi ngày (2026), từ job ngắn tới job xử lý TB trong nhiều giờ. Hoá…
- Open sourcing kubenetmon: how we monitor data transfer in ClickHouse Cloud Bài tóm tắt · ClickHouse · 2025
…codebase DB. - Công cụ eBPF khác (Retina, system-probe của Datadog): lo ngại trộn nhiều hệ eBPF của các bên khác nhau khi đã chạy Cilium (và GKE dataplane v2 dựa trên Cilium); vùn…
- LIquid: The soul of a new graph database, Part 1 Bài tóm tắt · LinkedIn · 2020
…ering.linkedin.com/blog/2020/liquid-the-soul-of-a-new-graph-database-part-1) Bối cảnh - Theo LinkedIn, giá trị của đồ thị nằm chủ yếu ở mạng cấp 2 : bạn của bạn, thường ít nhất 50.…
- Alerting Framework at Airbnb Bài tóm tắt · Airbnb · 2017
…hình monitoring và tự xử lý sự cố của service mình. Họ dùng Datadog. - Yêu cầu mà giao diện Datadog không đáp ứng: một alert chung phải báo người khác nhau theo host/role ; định ng…
- Ready for changes with Hexagonal Architecture Bài tóm tắt · Netflix · 2020
…Interactor (thực hiện một hành động nghiệp vụ). Bên ngoài: Data Source (adapter cài đặt repository cho từng kho) và Transport Layer (API, event, cron, CLI đều gọi được interactor)…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…https://www.onehouse.ai/blog/diving-into-ubers-cutting-edge-data-infrastructure) Nguồn thứ cấp: Onehouse (công ty do người tạo ra Hudi ở Uber lập) tóm tắt talk của Girish Baliga, D…
- Introducing Flint: A Time-Series Library for Apache Spark Bài tóm tắt · Two Sigma · 2018
…iải pháp một máy không còn đủ; Spark đã thành chuẩn cho big data, nhưng thiếu các thao tác chuỗi thời gian mà nghiên cứu cần. - Phân tích chuỗi thời gian gồm xử lý (làm sạch, biến…
- Terraform Poka-Yokes: Writing Effective, Scalable, Dynamic, and Error-Resistant Terraform Bài tóm tắt · CapitalOne · 2020
…hạ tầng dùng chung (cụm ECS, ALB, security group, Route 53, database, S3) do đội nền tảng quản trong Terraform riêng; developer chỉ quản phần hạ tầng của ứng dụng. Khác bản gốc, dữ…
- Project Voldemort: Scaling Simple Storage at LinkedIn Bài tóm tắt · LinkedIn · 2009
LinkedIn bắt đầu bằng một DB lớn và cụm front-end (cộng một đồ thị xã hội trong RAM trên máy riêng). DB được tách thành các service riêng cho profile, search, nhóm, network update, công ty; có read replica nhưng chưa có…
- 開発者全員が書けるE2Eテスト ─ 普通のgo testで実現するテスト基盤 (E2E tests every developer can write, with plain go test) Bài tóm tắt · Mercari · 2025
…về pool. - Một container AlloyDB Omni, mỗi test một logical database: framework tạo DB, chạy migration, dọn bằng TRUNCATE rồi trả về pool. Chỉ khởi động một container mà dữ liệu vẫ…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…IAM giới hạn ai được upload (production chỉ qua CD). 2. Metadata phình làm chậm mọi thứ (UI, và migration khi nâng cấp Airflow mất hàng giờ): một DAG xoá lịch sử quá 28 ngày (đủ ch…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…m-ssh-to-rest-a-security-driven-modernization-of-slacks-emr-data-pipelines/) Bối cảnh - Data platform của Slack dựng khoảng 2017 theo cách đơn giản: Airflow cần chạy job trên cụm E…
- Building Self-driving Kafka clusters using open source components Bài tóm tắt · Slack · 2022
…K riêng . - Tự phục vụ: Kafka Manager cho mọi người xem metadata và tự tạo topic, tăng partition; offset exporter ra Prometheus và dashboard lag theo topic/consumer; gộp runbook th…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…onolith (servlet cho mọi trang, business logic, kết nối vài database). - Service đầu tiên là member graph ("Cloud"): đồ thị kết nối cần duyệt trong bộ nhớ, có profile tải khác hẳn…
- Building a Faster C# Driver for ScyllaDB…on our Self-Baked C#-Rust FFI Framework Bài tóm tắt · ScyllaDB · 2026
…ại hoá một codebase driver C khoảng mười năm tuổi (fork của DataStax) bằng cách đặt nó lên lõi Rust driver, theo chiến lược một lõi cho mọi ngôn ngữ (xem phần 1). - Kiến trúc hai d…
- How we rolled out our own permissions DSL at Figma Bài tóm tắt · Figma · 2024
…c khỏi nạp dữ liệu: từ policy suy ra tĩnh các bảng/cột cần; DatabaseLoader suy ra dòng nào từ context path của resource và user. Engine toàn quyền chọn thứ tự, replica hay primary,…
- Rearchitecting the Workflows control plane for the agentic era Bài tóm tắt · Cloudflare · 2026
…heo từng workflow, rải nhiều region; DO Account chỉ giữ metadata tối thiểu và có số request đồng thời bất biến . - SousChef: "phó tướng" của Account, giữ metadata và vòng đời cho m…
- How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server Bài tóm tắt · Kubernetes · 2026
…r lúc nạp cache (đẩy lọc về server, tiết kiệm cả mạng); metadata-only ( PartialObjectMetadata ) khi chỉ cần label/annotation, với Secret có thể giảm bộ nhớ một bậc; Transform bỏ tr…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…mort Read-Only là nơi phục vụ dữ liệu dẫn xuất: Hadoop tính dataset (ví dụ xếp hạng kết nối cấp hai cho People You May Know) rồi đẩy nguyên batch bất biến lên để web server đọc. -…
- Scaling LinkedIn's Hadoop YARN cluster beyond 10,000 nodes Bài tóm tắt · LinkedIn · 2021
…khoảng 10.000 node năm 2021. HDFS (một NameNode giữ mọi metadata) chạm giới hạn trước nên được đầu tư từ 2016; YARN ResourceManager nhẹ hơn nên được để yên tới đầu 2019. - Sự cố gộ…
- A Self-Baked Async FFI Framework for Rust <-> C# Interop Bài tóm tắt · ScyllaDB · 2026
…bỏ chi tiết cú pháp interop. Bối cảnh - ScyllaDB chỉ có một database nhưng phải bảo trì một đàn driver , mỗi ngôn ngữ một cái. Ý tưởng "One Driver To Rule Them All" (từ hackathon n…
- Migrating Millions of Concurrent Websockets to Envoy Bài tóm tắt · Slack · 2021
…lack đã giúp trong sự cố 4/1/2021, ). Thêm nữa: Envoy đã là data plane của service mesh, có người giỏi Envoy trong nhà, và dùng một phần mềm thay vì hai. - Sinh cấu hình: template…
- HeraclesQL: A Python DSL for Writing Alerts Bài tóm tắt · Hudson River Trading · 2025
…stems Dev của HRT làm công cụ cho các kỹ sư hệ thống, mạng, datacenter. VictoriaMetrics là phần quan trọng của stack giám sát (2025); hàng nghìn alert viết bằng MetricsQL (gần như…
- How WhatsApp enables multi-device capability Bài tóm tắt · WhatsApp · 2021
…lưu một bản cho mọi thiết bị đọc, nhưng cả dữ liệu lẫn metadata (loại dữ liệu nào) đều mã hoá đầu cuối bằng khoá thay đổi liên tục mà chỉ các thiết bị của người đó biết. - Rollout…
- Alibaba Upgrades Dubbo3 to Fully Replace HSF2 Bài tóm tắt · Alibaba · 2023
Sau khi đưa toàn bộ lên cloud, Alibaba muốn stack microservice nội bộ chạy trên middleware mã nguồn mở thay cho framework RPC nội bộ HSF (và Dubbo2 ở Alibaba Cloud).
- Anomaly Detection at Zillow Using Luminaire Bài tóm tắt · Zillow · 2021
Zestimate, gợi ý, model CV xử lý lượng dữ liệu lớn qua nhiều pipeline, mỗi chỗ là một điểm có thể hỏng. Theo Zillow, công cụ phát hiện bất thường có sẵn hoặc không bền trên nhiều dạng dữ liệu, hoặc cần chuyên môn mô…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…