Tìm kiếm
39 kết quả cho “Flink”. Tìm không phân biệt dấu.
- From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale Bài tóm tắt · Zalando · 2026
….zalando.com/posts/2026/07/migrating-ad-event-processing-to-flink.html) Bối cảnh - Mảng quảng cáo (Sponsored Products) phải ghép mỗi lượt xem hoặc click với phiên đấu giá gốc trong…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…building-scalable-real-time-event-processing-with-kafka-and-flink/) Bối cảnh - Event từ service và thiết bị phải tới warehouse OLAP (Snowflake), tới nền tảng ML (feature realtime n…
- Benchmarking Streaming Computation Engines at Yahoo! Bài tóm tắt · Yahoo · 2015
…m); cuối 2015 có khoảng 2.300 node Storm . Thị trường đã có Flink, Spark Streaming, Samza, Apex, Dataflow, và các benchmark có sẵn không giống tải thật. - Team Storm của Yahoo tự v…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
…ào OLAP (Pinot). Thay đổi chính - Pipeline event-driven với Flink: cập nhật của object subscription và invoice thành sự kiện analytics; Flink giữ lịch sử subscription dạng nén làm…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…g dữ liệu vào phục vụ cả hai nhánh. Nhánh realtime: Kafka → Flink → Pinot , trên đó một lớp Presto tự viết cho phép viết Presto SQL chạy trên Pinot như backend production. Nhánh ba…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…h lúc serialize ở endpoint inference; lọc theo impression : Flink join luồng dự đoán với event client trên Kafka bằng cửa sổ thời gian, giữ trong bộ nhớ vài phút đủ cho bách phân v…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…, 2024) làm hướng này rõ hơn. - Đường truyền thống: Kafka → Flink/Spark Streaming → bảng → object storage . Vẫn đúng khi cần làm sạch phức tạp, tổng hợp theo cửa sổ, join nhiều str…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…ovie đã làm giàu để index cho search). - Processor: một job Flink, đơn vị logic tái sử dụng; có SDK cho người dùng nâng cao tự viết; đăng ký vào nền tảng thì có sẵn alert và dashbo…
- Accelerating real-time alerts with Redpanda: a successful migration story Bài tóm tắt · Redpanda · 2023
…vài chục ms. - Stack đề xuất ban đầu: Kafka, Kafka Connect, Flink, ksqlDB, Vert.x. Khó cân số partition: ít quá thì Flink không tận dụng được chia dữ liệu, nhiều quá thì metadata c…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…g tổng hợp tăng dần thành dữ liệu thay đổi), real-time bằng Flink (500 bảng, độ tươi dưới 15 phút; tối ưu file chạy bất đồng bộ qua Table Services Platform để không chặn ingest). -…
- ML Feature Serving Infrastructure at Lyft Bài tóm tắt · Lyft · 2021
…ehouse rồi ghi vào Feature Service; feature stream chạy job Flink chạy SQL trên cửa sổ stream. - Ghi và đọc: gRPC/REST; khi ghi, giá trị được kiểm theo metadata rồi lưu vào DynamoD…
- Timestone: Netflix's High-Throughput, Low-Latency Priority Queueing System Bài tóm tắt · Netflix · 2022
…đồng thời trả cho client và phát event sang Kafka; hai job Flink cập nhật index "hiện tại" và "lịch sử" trên Elasticsearch (best-effort, thứ tự theo bộ đếm version của message). -…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…ata HMS phải sang dataset kia. Real-Time Synchronizer : app Flink nghe cập nhật HMS, kích một trong 10 pipeline Piper chờ sẵn (chọn ngẫu nhiên) để đồng bộ. Batch Synchronizer mỗi 2…
- The Data Infra Behind Zillow's 3x Growth in Experiment Volume Bài tóm tắt · Zillow · 2023
…; producer tự tạo topic Kafka + bảng data lake đi kèm + job Flink, tất cả bằng Terraform, có chủ sở hữu để quy chi phí và alert; schema Avro gắn với event id để validate. Data Port…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- DoorDash Công ty Thành viên
Nguồn đầu tiên của DoorDash trong wiki là bài 2022 của một thực tập sinh nghiên cứu (CMU): chaos engineering ở production không hợp với DoorDash vì khách mất đơn, nên thử fault injection có hệ thống ở mức service…
- Zalando Công ty Thành viên
Năm 2016 Zalando dựng microservices CRUD phát event mà không có read API: mỗi team tự replay stream và dựng bản sao, sinh nhiều nguồn sự thật; event Offer trễ tới 30 phút dịp Cyber Week. Từ 2022 họ gom về Product Read…
- Yahoo Công ty Thành viên
Yahoo tạo BookKeeper năm 2009 làm WAL cho HDFS: một kho log tuần tự nhân bản theo quorum trên phần cứng phổ thông, metadata trong ZooKeeper. Đến 2015 nó là lớp lưu bền cho Cloud Messaging Service đa tenant (hơn 60 ứng…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- Lyft Công ty Thành viên
Năm 2019, Amundsen, công cụ tìm dữ liệu dựa trên metadata, xếp hạng bảng theo số lần được query và lấy "ai hay dùng" từ audit log; metadata cơ bản công khai cho mọi người, metadata giàu chỉ cho người có quyền . Nền tảng…
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…wflake của region → view gộp. Nhân dịp này họ thay pipeline Flink tự quản (2022) bằng Snowpipe streaming connector managed. - Mẫu hình để dễ bảo trì: - bảng ánh xạ workspace → regi…
- Onehouse Công ty Thành viên
Nguồn duy nhất của Onehouse trong wiki là bản tóm tắt (2024) talk năm 2023 của Uber về hạ tầng dữ liệu, nên mọi nhận định là theo Uber qua lời kể của Onehouse: kiến trúc Lambda phục vụ bốn loại nhu cầu từ streaming dưới…
- Ensuring High Availability of Ads Realtime Streaming Services Bài tóm tắt · Pinterest · 2021
…Server ghi event hiển thị và hành động → Spend Aggregator (Flink) gộp thành event chi tiêu theo nhà quảng cáo → ba service Kafka Streams : Budget Enforcer (dừng chi khi chạm ngân…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…
- Building Uber's Multi-Cloud Secrets Management Platform to Enhance Security Bài tóm tắt · Uber · 2025
…ăm loại secret, nhiều nền tảng deploy (Up/Kubernetes, Odin, Flink, YARN…), có loại chỉ cho một mật khẩu hợp lệ mỗi lúc nên đổi là có downtime. Hai bộ API: Secret Provider (Generate…
- Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 1 - Architecture) Bài tóm tắt · Yelp · 2021
…n PaaSTA (PaaS nội bộ dựa trên Kubernetes) như Cassandra và Flink. Thay đổi chính - Broker chạy thành pod trong các pool của PaaSTA, với EBS gỡ ra gắn lại được (thay host không phả…
- Failing to Auto Scale Elasticsearch in Kubernetes Bài tóm tắt · Zalando · 2024
Lounge by Zalando lưu mô tả sản phẩm trong một cụm Elasticsearch trên Kubernetes, vận hành bằng es-operator (custom resource ElasticsearchDataSet → StatefulSet). Pod rải qua mọi AZ; Elasticsearch bật zone awareness để…
- The Day Our Own Queries DoS'ed Us: Inside Zalando Search Bài tóm tắt · Zalando · 2025
Team Search & Browse vận hành backend catalog và full-text search. Nhiều tầng: Base Search (cụm Elasticsearch, lexical + vector), query builder dùng NER, Catalog API fan-out mỗi lượt tìm thành nhiều query (có A/B test),…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…g ở Zillow: cụm nội bộ hơn 1.500 topic (2024). Team Java có Flink và nhiều framework; team Go, Python, JS tự viết consumer. - Consumer tự viết: dùng compute kém (xử lý từng message…