Tìm kiếm
24 kết quả cho “Log Processor”. Tìm không phân biệt dấu.
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ài gốc](http://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying) Bài luận dài của Jay Kreps (khi đó ở Linked…
- Magic-trace: Diagnosing tricky performance issues easily with Intel Processor Trace Bài tóm tắt · Jane Street · 2022
· 2022 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://blog.janestreet.com/magic-trace/) Bối cảnh - Hệ giao dịch của Jane Street gần như toàn thời gian ngồi chờ gói tin mạng và…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…capture cũ mượn từ pipeline observability: mỗi ngôn ngữ tự log query vào Kafka, mỗi use case tự xử lý, replayer riêng. Bảo trì nặng, chủ sở hữu mơ hồ, và thiếu ngữ cảnh giao dịch…
- The LMAX Architecture Bài tóm tắt · LMAX · 2011
…năng thấy CPU tốn nhiều thời gian quản lý hàng đợi hơn chạy logic; hàng đợi là nút cổ chai. Thay đổi chính - Business Logic Processor (BLP): toàn bộ logic nghiệp vụ (mọi giao dịch,…
- Data Mesh — A Data Movement and Processing Platform @ Netflix Bài tóm tắt · Netflix · 2022
…mô lớn · Độ khó: Trung bình — [bài gốc](https://netflixtechblog.com/data-mesh-a-data-movement-and-processing-platform-netflix-1288bcab2873) Bài tổng quan đầu của một series; chưa c…
- Building High Throughput Payment Account Processing Bài tóm tắt · Uber · 2026
…ô lớn · Độ khó: Khó — [bài gốc](https://www.uber.com/us/en/blog/high-throughput-processing/) Bối cảnh - Gulfstream , nền tảng thanh toán lõi của Uber: kế toán bút toán kép, tuân th…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
…ó: Trung bình — [bài gốc](https://engineering.linkedin.com/blog/2022/near-real-time-features-for-near-real-time-personalization) Bối cảnh - Pipeline feature thông thường: event Kaf…
- How we evolved our code: Notion's ratcheting system using custom ESLint rules Bài tóm tắt · Notion · 2025
…Quy mô lớn · Độ khó: Dễ — [bài gốc](https://www.notion.com/blog/how-we-evolved-our-code-notions-ratcheting-system-using-custom-eslint-rules) Bối cảnh - Codebase lớn dần thì pattern…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…2022 · 3. Quy mô lớn · Độ khó: Cơ bản — [bài gốc](https://blog.x.com/engineering/en us/topics/infrastructure/2022/twitter-sparrow-tackles-data-storage-challenges-of-scale) Bối cản…
- A Smarter Way to Deploy Data Pipelines Bài tóm tắt · Doximity · 2025
…025 · 2. Tăng trưởng · Độ khó: Dễ — [bài gốc](https://technology.doximity.com/articles/a-smarter-way-to-deploy-data-pipelines) Bối cảnh - Gần 20 team dữ liệu của Doximity dùng Airf…
- Solving Remote Build Cache Misses by Annoying Your Colleagues Bài tóm tắt · SoundCloud · 2019
…: Trung bình — [bài gốc](https://developers.soundcloud.com/blog/gradle-remote-build-cache-misses-part-2) Phần 2/2. Phần 1: . Bối cảnh - Gradle khuyên CI ghi cache từ build sạch, de…
- Zkafka by Zillow: Go Library for Simplifying Kafka Consumption Bài tóm tắt · Zillow · 2024
…chỉ commit offset khi mọi message trước đó đã xong (commit logic cục bộ, đẩy lên broker định kỳ và lúc rebalance), tránh mất dữ liệu khi replica chết giữa chừng. - Virtual partiti…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Hệ thống độ trễ thấp (low latency) Chủ đề Thành viên
Ở sàn giao dịch và công ty market making, mỗi giao dịch làm thay đổi thị trường cho giao dịch sau, và ai phản ứng chậm hơn thì thua. Yêu cầu không chỉ là latency trung bình thấp mà latency ổn định ở đuôi, ở thang micro…
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Netflix Công ty Thành viên
Sự cố hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là sự cố AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm tay. Từ…
- The Events Rail: Inside Atlassian's Webhook Delivery Platform Bài tóm tắt · Atlassian · 2026
…· Độ khó: Trung bình — [bài gốc](https://www.atlassian.com/blog/how-we-build/inside-atlassians-webhook-delivery-platform) Bối cảnh - webhooks-processor ("events rail") đánh giá, gh…
- How we built it: Real-time analytics for Stripe Billing Bài tóm tắt · Stripe · 2025
…mô lớn · Độ khó: Trung bình — [bài gốc](https://stripe.dev/blog/how-we-built-it-real-time-analytics-for-stripe-billing) Bài vừa kỹ thuật vừa giới thiệu tính năng; ít số liệu quy mô…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…