Tìm kiếm
39 kết quả cho “Ingest node”. Tìm không phân biệt dấu.
- How We Built a Logging Stack at Grab Bài tóm tắt · Grab · 2019
…00 node. Cài bằng Ansible. Ban đầu mỗi node làm cả bốn vai (ingest, coordinator, master, data) và dùng ingest node thay Logstash cho đơn giản; nhìn lại thì vai trò trộn lẫn làm khó…
- FollowFeed: LinkedIn's Feed Made Faster and Smarter Bài tóm tắt · LinkedIn · 2016
…cũ 15 lần (khoảng 50 µs p99 mỗi bản ghi cho feed mobile). - Ingest bất đồng bộ qua Kafka: service Partitioner đọc stream mọi nội dung rồi ghi lại sang topic có partition khớp parti…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…www.alibabacloud.com/blog/in-the-ai-era-real-time-data-lake-ingestion-is-saying-goodbye-to-etl-architectural-subtraction-from-kafka-to-iceberg 603582) Bài của team Messaging của Al…
- Accelerating Search and Ingestion with High-Performance gRPC in OpenSearch Bài tóm tắt · Uber · 2026
…REST chịu được). - Search Gateway (proxy mọi request search/ingest của khách nội bộ, lo bảo mật, observability, rate limit, audit) trước đó phải dịch Protobuf → JSON → Protobuf; na…
- Similarity Engine at eBay Bài tóm tắt · eBay · 2023
…product, cosine, Hamming. - Index builder phân tán: dịch vụ ingest ghi yêu cầu dựng vào kho metadata job; scheduler chia việc cho các node builder, node lỗi thì chạy lại chỗ khác;…
- How WarpStream Powers Grafana Labs' Redesigned Architecture Bài tóm tắt · WarpStream · 2025
…ies. Là nền của Grafana Cloud Metrics. - Kiến trúc cũ: node ingester có trạng thái, giữ TSDB trong bộ nhớ cộng WAL cục bộ trên persistent volume; mỗi điểm dữ liệu replicate ra 3 vo…
- An inside look at LinkedIn's data pipeline monitoring system Bài tóm tắt · LinkedIn · 2019
…làm (Kyaraben). - Sự cố mở đầu: sau một migration, pipeline ingest Kafka bootstrap lại mọi topic đã ingest tới bốn ngày trước. Job vẫn báo thành công, chỉ có watermark ngừng tiến;…
- Scaling Prometheus to billions of samples a second Bài tóm tắt · Hudson River Trading · 2021
…ng + remote read: hai loại instance. Shard chỉ lo scrape và ingest, nhiều shard hợp lại thành bộ dữ liệu đầy đủ. Query node không scrape gì, chỉ đọc remote từ các shard và chạy que…
- Building Venice with Apache Helix Bài tóm tắt · LinkedIn · 2017
…ược đẩy vào Kafka; storage node không nhận ghi online mà tự ingest bất đồng bộ từ Kafka . Đường đọc: router stateless chuyển request tới đúng node nhờ theo dõi bảng partition (vai…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…i máy, schema evolution không downtime, change stream, bulk ingest từ Hadoop. - Năm 2015: khoảng 30 ứng dụng (Member Profile, InMail, một phần homepage và mobile), hơn chục cụm, hà…
- Knowing When Your Composite Index Earns Its Write Cost Bài tóm tắt · Tiger Data · 2026
…hạm nhiều page khác nhau sau checkpoint). 4. Benchmark trần ingest bằng pgbench trên bản sao production, không trên bảng rỗng: lần chạy đầu trên bảng 10 triệu dòng chỉ thấy phạt 4,…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…ngày; 350 PB logic trên HDFS và Google Cloud Storage; 10 PB ingest mỗi ngày; 350.000 commit/ngày; 70.000 lượt table service (compaction, clean, clustering) mỗi ngày; 4 triệu query/…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Auditing content features in FollowFeed Bài tóm tắt · LinkedIn · 2019
…ĩa feature coverage : tỉ lệ entity có feature trong sự kiện ingest và cũng có feature lúc chấm điểm. - Feature đã ingest được ETL từ Kafka sang HDFS (Gobblin). Response kèm feature…
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
…0,8 nghìn tỉ span và 200 TB chưa nén mỗi ngày . - Mục tiêu: ingest đầu-cuối dưới 10 giây; liệt kê trace trong cửa sổ 2 giờ p99 dưới 2,5 giây; lấy một trace theo ID dưới 750 ms; giữ…
- Community-focused Feed optimization Bài tóm tắt · LinkedIn · 2019
…feature của viewer đi kèm request; feature của update được ingest và lưu cạnh update trên index node. - Theo dõi feature: index node và broker gửi bất đồng bộ tracking event lên K…
- The Day Our Own Queries DoS'ed Us: Inside Zalando Search Bài tóm tắt · Zalando · 2025
…c cắt tải: giảm số replica (để ít shard phải dời), dừng hẳn ingestion , ở tầng ứng dụng dùng các tầng presentation làm control plane: tắt call không thiết yếu, giảm số query song s…
- Hudson River Trading Công ty Thành viên
Công ty giao dịch thuật toán (HRT), phần lớn hạ tầng on-premises, nhiều site trên thế giới. Năm 2021 họ scale Prometheus bằng shard chỉ ingest cộng query node đọc remote, vì federation mất khả năng tổng hợp ad-hoc trên…
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…(ví dụ giới hạn series) và suy ra các giới hạn khác (tốc độ ingest, burst) từ đó, thay cho hàng loạt bước tay và tham số không ai biết chỉnh cái nào. - Kiểm chứng bằng shadow clust…
- Our not-so-magic journey scaling low latency, multi-region services on AWS Bài tóm tắt · Atlassian · 2019
…tion : tắt cả region, chèn latency lớn ngẫu nhiên, làm chậm ingest dữ liệu, mà client không thấy ảnh hưởng. Bài học cho SWE - Gom ánh xạ tenant → vị trí vào một service duy nhất .…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…chỉ phân tích không gian embedding của model nên wiki không ingest). Bài của đội Data Science; phần kiến trúc model chỉ tóm tắt ngắn. Bối cảnh - Bumble Inc. (vận hành Badoo và Bumb…
- Distributed tracing at Pinterest with new open source tools Bài tóm tắt · Pinterest · 2017
…c bỏ span lỗi của instrumentation hỏng, và lấy mẫu thêm lúc ingest để chỉ giữ trace giá trị cao. Họ viết Pintrace collector bằng Spark Streaming: kiểm chất lượng span → lọc → gộp t…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…ai pha: - Dịch vụ logging kiểu "tất cả hoặc không": tạm tắt ingest của Vector, log đệm lại trong Kafka, chờ ứng dụng xử lý hết hàng đợi, rồi chuyển nhanh sang WarpStream (gián đoạn…