Tìm kiếm
40 kết quả cho “Distributed log”. Tìm không phân biệt dấu.
- BookKeeper: Yahoo's Distributed Log Storage Bài tóm tắt · Yahoo · 2015
…s://yahooeng.tumblr.com/post/109908973316/bookkeeper-yahoos-distributed-log-storage-is) Bối cảnh - BookKeeper do Yahoo tạo năm 2009: kho log tuần tự nhân bản, scale ngang trên phần…
- Distributed tracing at Pinterest with new open source tools Bài tóm tắt · Pinterest · 2017
…g bình — [bài gốc](https://medium.com/pinterest-engineering/distributed-tracing-at-pinterest-with-new-open-source-tools-a4f8a5562f6b) Bối cảnh - Backend Pinterest (2017): hàng trăm…
- The Log: What every software engineer should know about real-time data's unifying abstraction Bài tóm tắt · LinkedIn · 2013
…khó: Trung bình — [bài gốc](http://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying) Bài luận dài của Jay Kr…
- GRIT: a Protocol for Distributed Transactions across Microservices Bài tóm tắt · eBay · 2019
…c](https://tech.ebayinc.com/engineering/grit-a-protocol-for-distributed-transactions-across-microservices/) Bài giới thiệu một protocol nghiên cứu (paper ICDE 2019) và một hiện thự…
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
Hệ tracing dựa trên OpenTelemetry theo request từ app của member xuống mọi service. Lấy mẫu đầu 1% mà vẫn sinh khoảng 0,8 nghìn tỉ span và 200 TB chưa nén mỗi ngày.
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Lessons from Building Observability Tools at Netflix Bài tóm tắt · Netflix · 2018
Netflix có 125 triệu thành viên, xem trên hơn 1.000 loại thiết bị (2018). Đội làm công cụ observability (log, trace, metric) cho cả thiết bị lẫn server, để người dùng vào một công cụ thay vì nhiều công cụ theo loại dữ…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…inkedin.com/espresso/introducing-espresso-linkedins-hot-new-distributed-document-store) Bối cảnh - Trước Espresso, LinkedIn dùng Oracle (dữ liệu chính, nhất quán mạnh) và Voldemort…
- Chaos Testing a Distributed System with Jepsen Bài tóm tắt · Appian · 2019
…s://careers.appian.com/blog/the-tech-corner/chaos-testing-a-distributed-system-with-jepsen/) Phần 1 của series; phần 2: . Phần 3 (các lỗi tìm được và cách sửa) được hẹn nhưng không…
- Introducing Grab-Kit: Distributed Service Design at Grab Bài tóm tắt · Grab · 2018
Sau khi tách monolith thành microservices, Grab gặp bài toán mới: tăng trưởng theo cấp số nhân mà vẫn giữ được sự nhất quán. Các service có API, SDK, xử lý lỗi, transport khác nhau; log mỗi nơi một định dạng; không truy…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…ốc](https://medium.com/airbnb-engineering/dynein-building-a-distributed-delayed-job-queueing-system-93ab10f05f99) Bối cảnh - Job nền ở Airbnb gồm cả job hẹn giờ xa (nhắc check-in t…
- The Chubby lock service for loosely-coupled distributed systems Bài tóm tắt · Google · 2006
….org/2015/02/13/the-chubby-lock-service-for-loosely-coupled-distributed-systems/) Nguồn thứ cấp: Adrian Colyer tóm tắt paper Chubby (Burrows, OSDI 2006), có trích nguyên văn nhiều…
- Chaos Testing a Distributed System with Jepsen — Part II Bài tóm tắt · Appian · 2019
…s://careers.appian.com/blog/the-tech-corner/chaos-testing-a-distributed-system-with-jepsen-part-ii/) Phần 2 của series; phần 1: . Phần 3 (lỗi tìm được) không tìm thấy. Bối cảnh - S…
- Globally Distributed Object Storage with Tigris Bài tóm tắt · Fly.io · 2024
Upload file trong ứng dụng full-stack thì dễ; khó là giữ file để tải lại về sau, nên mọi người dùng object storage kiểu S3. Khách của Fly.io liên tục đòi có nó.
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
Hạ tầng analytics gần gấp đôi mỗi năm. Cụm lớn nhất: 20 PB cuối 2015 → 500 PB năm 2020; 145 triệu object namespace (2015) → 1,6 tỷ trong ba namespace volume, volume lớn nhất trên 1 tỷ. Tổng 1 exabyte trên mọi cụm…
- Building a data plane from scratch: Stripe's own high-performance distributed proxy Bài tóm tắt · Stripe · 2026
…ding-a-data-plane-from-scratch-stripes-own-high-performance-distributed-proxy) Bối cảnh - Mục tiêu độ tin cậy 99,9995% cho request thanh toán; service mesh nội bộ xử lý hàng triệu…
- Diagnostics with Tracing Bài tóm tắt · Tokio · 2019
…g tường minh theo đơn vị công việc. Đây là cùng ý tưởng của distributed tracing, áp vào bên trong một process. Bài học cho SWE - Khi một thread phục vụ nhiều request xen kẽ, log kh…
- Long on Research, Short on Bandwidth Bài tóm tắt · Hudson River Trading · 2026
Giao dịch của HRT dựa trên lượng tính toán nghiên cứu khổng lồ: train nhiều loại model trên nhiều năm lịch sử từ các sàn khắp thế giới rồi mô phỏng hành vi của chúng trong vô số kịch bản giao dịch.
- Payment Transaction Management in Microservices Bài tóm tắt · Mercari · 2019
…C. Cách làm của PaymentService (ở tầng ứng dụng, không dùng distributed transaction của DB) - Chia giao dịch thành các pha , ghi lại pha hiện tại. ID giao dịch nội bộ được chốt thà…
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…ều bị loại vì phức tạp hoặc phải tự làm lớp bảo mật. - YARN Distributed Shell (tính năng ít người biết, có sẵn trong YARN): đưa script lên S3, nộp qua REST API của YARN, YARN cấp c…
- Koios: A lightweight workflow service combined with server-driven UI for a better customer experience Bài tóm tắt · Zillow · 2024
…ake; tiến trình của người dùng trong workflow xem được bằng distributed tracing thay vì tích hợp analytics riêng. - UI admin cho người không viết code tạo bảng hỏi, xem phiên bản v…
- Inside HRT's Python Fork: Leveraging PEP 690 for Faster Imports Bài tóm tắt · Hudson River Trading · 2025
Phần lớn code của HRT nằm trong một monorepo; module Python nội bộ import được ở mọi nơi. Tiện, nhưng import tăng không kiểm soát. Import Python chạy lúc runtime và chậm khi module lớn, nằm trên filesystem phân tán, có…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Hudson River Trading Công ty Thành viên
Công ty giao dịch thuật toán (HRT), phần lớn hạ tầng on-premises, nhiều site trên thế giới. Năm 2021 họ scale Prometheus bằng shard chỉ ingest cộng query node đọc remote, vì federation mất khả năng tổng hợp ad-hoc trên…
- Lessons Learned From Scaling Uber To 2000 Engineers, 1000 Services, And 8000 Git Repositories Bài tóm tắt · Uber · 2016
…0 service thì ~63% request chạm ít nhất một lần 1 giây. Cần distributed tracing (Zipkin/OpenTracing, lấy mẫu ~1%) và truyền context xuyên ngôn ngữ (user, xác thực, geo-fence), điều…
- 5-year Evolution of Ele.me's Transaction System - Part 6 Bài tóm tắt · Ele.me · 2020
…ự kiện nghiệp vụ phía trên, gây nhiều vấn đề ở ranh giới và distributed transaction. - ToB/ToD, một thiết kế sai: đầu 2016, khi tách mô hình tự giao hàng (BOD), giao dịch bị cắt th…
- 5-year Evolution of Ele.me's Transaction System - Part 4 Bài tóm tắt · Ele.me · 2020
…e, số key). Code dùng Redis cho ba việc: cache (bảng, API), distributed lock, sinh số thứ tự cho merchant. Thay đổi chính - Chuyển cụm cache thì "sốc": cụm cũ 55 GB, cụm mới 100 GB…
- Microservice Architecture at Medium Bài tóm tắt · Medium · 2018
…ữ liệu liên quan nằm cùng chỗ). Thiếu cái thứ ba thì thành "distributed monolith" , theo Medium tệ hơn monolith tập trung. - Bảy chiến lược: - Chỉ tạo service mới khi có giá trị sả…
- Protecting our platform from spikes in usage by reducing load from the Monzo app Bài tóm tắt · Monzo · 2023
…ớc số dư, giao dịch... Spike dồn lên các hệ dùng chung (DB, distributed lock), có thể làm sập từ tính năng phụ (đổi icon) tới xử lý thanh toán thẻ . Thay đổi chính - Đo lãng phí tr…