Tìm kiếm
33 kết quả cho “Scribe”. Tìm không phân biệt dấu.
- Pushing Postgres beyond storage: scaling performance at Optiver Bài tóm tắt · Optiver · 2026
…bộ đọc qua một đường decoding và chuyển tiếp cho client subscribe theo bảng; lọc và phân phối là phần lõi. Thiết kế hẹp có chủ đích: không nằm trên đường ghi, không giữ bản sao DB…
- Diagnostics with Tracing Bài tóm tắt · Tokio · 2019
…ghi toàn bộ vòng đời request khi nó kết thúc bằng lỗi. - Subscriber là điểm mở rộng thu và xử lý dữ liệu trace (in console, sau này metric, profiling, gửi sang OpenTelemetry/Jaeger…
- Twitter's Blobstore Hardware Lifecycle Monitoring and Reporting Service Bài tóm tắt · Twitter · 2023
…ới hai phút, nên họ dùng một tiến trình Python ngắn đẩy qua Scribe daemon tại chỗ. - Tự động gửi máy hỏng đi sửa: lấy danh sách máy có node hỏng từ mapping service; bỏ máy đang mai…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Building Pubsub for 50M concurrent socket connections Bài tóm tắt · Disney Hotstar · 2019
…Tiêu chí test fan-out: 1 publisher, tin 1 KB mỗi giây, N subscriber; số kết nối và subscription đủ, latency pub→sub trung bình khoảng 500 ms (dưới 1 giây) và không tăng dần, tin nh…
- Postgres High Availability with CDC Bài tóm tắt · PlanetScale · 2025
…art lsn (WAL cũ nhất cần) và confirmed flush lsn (vị trí subscriber đã xác nhận). Slot ghim WAL trên primary tới khi client tiến lên. - Postgres 17 có failover slot (đồng bộ trạng…
- Using an event-driven architecture to improve Jira Software responsiveness Bài tóm tắt · Atlassian · 2019
…nên đổi nhà cung cấp được. FPS kiểm tra quyền lúc client subscribe bằng Permissions service. - Event chỉ mang định danh, không mang nội dung: quyền có thể đổi giữa lúc subscribe và…
- Creating a Logical Replica from a Snapshot in RDS Postgres Bài tóm tắt · Instacart · 2020
…ốc: tạo publication và logical replication slot (chưa có subscriber nên mọi thay đổi xếp hàng trong slot). 2. Chụp snapshot; copy snapshot với tuỳ chọn bật mã hoá . 3. Restore snap…
- Scaling and benchmarking a critical message bus using a new indexing strategy Bài tóm tắt · Jane Street · 2026
…on) xử lý nhiều terabyte dữ liệu mỗi ngày (2026); client subscribe để nhận luồng message trực tiếp. Luồng chia theo topic dạng cây như hệ thư mục; client subscribe một topic hoặc c…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…ên các bảng Oracle cũ, để nhiều hệ (graph, search index) subscribe thay đổi DB. - Khoảng 2008, sau khi ra Voldemort, tác giả dựng Hadoop để chạy recommendation. Dự tính vài tuần ch…
- Tokio Công ty Thành viên
Tokio là async runtime mã nguồn mở cho Rust, không phải một công ty; bài 8/2019 giới thiệu thư viện tracing (trước tên tokio-trace): trong runtime async một thread chạy xen kẽ nhiều task nên thứ tự log không còn chỉ ra…
- How we built a real-time service that handles 20,000 updates per second Bài tóm tắt · Trigger.dev · 2025
…s. - Phản xạ đầu là WebSocket, nhưng ba vấn đề: (1) muốn subscribe cả run đã bắt đầu trước khi mở trang; (2) mỗi kết nối phải query DB lấy trạng thái đầu rồi giữ một kênh cập nhật…
- 6 Event-Driven Architecture Patterns — Part 1 Bài tóm tắt · Wix · 2020
…ái luồng nghiệp vụ): - ví dụ import danh bạ: trình duyệt subscribe vào service websocket với một channel-Id, gửi CSV kèm channel-Id tới jobs service, nhận response rỗng ngay; - job…
- Safeguarding Dynamic Configuration Changes at Scale Bài tóm tắt · Airbnb · 2026
…rollback thế nào; định tuyến config đang thử tới một lát subscriber), data plane (lưu, là nguồn sự thật của giá trị và version, phân phối nhanh và nhất quán), agent sidecar + clien…
- Alibaba Upgrades Dubbo3 to Fully Replace HSF2 Bài tóm tắt · Alibaba · 2023
…ubbo3: 2.000 ứng dụng, 150.000 instance; dữ liệu đăng ký/subscribe giảm 90%, lưu trữ của registry giảm 90%, bộ nhớ framework phía consumer giảm 50%; nối được với hệ thương mại điện…
- Disney Hotstar Công ty Thành viên
Traffic "sóng thần" của cricket: đỉnh user đồng thời 4,7 triệu (2017) → 10,3 triệu (2018) → 25 triệu (2019). Sau IPL 2018, EC2 + ASG không theo kịp (khởi động chậm, giới hạn region, bị throttle API), nên họ chuyển sang…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…ổi sau ranh giới. - Gom vào rồi chia theo metadata: sink subscribe theo regex mọi topic CDC của một namespace và đổ vào một bảng raw chung (many-to-one), giữ metadata topic/DB/bảng…
- October 2024 queue retrospective Bài tóm tắt · Inngest · 2024
…có thể lỗi im lặng ; cần metric so sánh lượng publish và subscribe. - Shard queue theo tenant và có công cụ dời tenant giữa shard là cách gỡ shard nóng; dời theo lô, bắt đầu bằng a…
- Search Architecture Bài tóm tắt · Instagram · 2015
…hông), gửi qua kênh pub/sub bất đồng bộ Firehose (dựng trên Scribe). Consumer như search lọc sự kiện liên quan. - Firehose là best-effort, chấp nhận mất một phần nhỏ . Nhất quán sa…
- Now You See Me, Now You Don't: LinkedIn's Real-Time Presence Platform Bài tóm tắt · LinkedIn · 2018
…t qua kết nối bền. Có kết nối nghĩa là online; người xem subscribe topic presence của người kia. Thay đổi chính - Chống chập chờn: mobile hay rớt mạng ngắn (đường hầm, hầm xe). Rea…
- How we built a queue on top of Kafka Bài tóm tắt · Monzo · 2024
…úc viết bài (2024): hơn 400 service dùng thư viện này để subscribe hơn 2.500 topic . Thay đổi chính Ý tưởng cốt lõi: Monzo có rất ít chỗ thật sự cần thứ tự , nên họ bỏ yêu cầu thứ…
- Netflix Billing Migration to AWS Bài tóm tắt · Netflix · 2016
…đổi chính - Tách Oracle theo nhu cầu nhất quán: dữ liệu subscriber sang Cassandra (cần multi-region, sẵn sàng cao); dữ liệu thanh toán cần giao dịch ACID sang MySQL . - Đơn giản h…
- The Great Re-shard: adding Postgres capacity (again) with zero downtime Bài tóm tắt · Notion · 2023
…ỗi DB cũ có 3 publication (mỗi cái 5 schema), mỗi DB mới subscribe một cái. Bỏ tạo index lúc chép rồi dựng lại sau làm thời gian đồng bộ giảm từ 3 ngày xuống 12 giờ . - Shard luôn…
- Optiver Công ty Thành viên
Công ty market making (quyền chọn và nhiều loại tài sản khác) trên nhiều sàn. Theo Optiver, độ dài vòng nghiên cứu là chỉ tiêu cốt lõi; nền tảng nghiên cứu chạy hybrid on-prem và cloud với vị trí chạy quyết định trước…
- Infrastructure patterns for agentic applications Bài tóm tắt · Render · 2026
…worker làm việc; DB ghi tiến độ; client xem trạng thái, subscribe hay nhận callback. Bẫy: queue biết có một job, không biết job thuộc tiến trình logic nào (hai mươi bước phụ thuộc…
- Attribute-Based Access Control at Uber Bài tóm tắt · Uber · 2023
…resource uon://topics.kafka/production/<topic với action subscribe/publish/admin. Đội Kafka không thể quản lý policy cho hàng nghìn topic, nên viết một policy chung : ai có role De…
- How We Built a Cross-Region Caching Library Bài tóm tắt · Wix · 2022
…ảng → topic. Pod trong region consume topic (mỗi pod một subscriber group ngẫu nhiên, nên pod nào cũng nhận) và cập nhật RAM. Bài học cho SWE - Dựng cache bằng cách replay log từ đ…
- From Event-Driven Chaos to a Blazingly Fast Serving API Bài tóm tắt · Zalando · 2025
…n chỉnh được phát thành event ; ai cần dữ liệu thì phải "subscribe stream, replay từ đầu, tự dựng kho riêng". Không có read API. - Hệ quả: - team có nhân lực thì tự biến đổi dữ liệ…