Tìm kiếm
40 kết quả cho “Logging”. Tìm không phân biệt dấu.
- How We Built a Logging Stack at Grab Bài tóm tắt · Grab · 2019
…ung bình — [bài gốc](https://engineering.grab.com/how-built-logging-stack) Bối cảnh - Một năm trước đó, Grab không có trực quan hoá hay metric cho log service; tìm một chuỗi trong…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…tream.com/blog/robinhood-swaps-kafka-for-warpstream-to-tame-logging-workloads-and-costs) Nhà cung cấp viết lại talk của hai engineer Robinhood (Ethan Chen, Renan Rueda) ở Current N…
- Fly Behind The Scenes: Fresh Logging Bài tóm tắt · Fly.io · 2020
…— [bài gốc](https://fly.io/blog/fly-behind-the-scenes-fresh-logging/) Bài phỏng vấn ngắn người làm dự án; ít số liệu. Bối cảnh - Fly.io gom log của mọi app trên nền tảng ( flyctl l…
- Centralized Application Logging at eBay (CAL Ingress) Bài tóm tắt · eBay · 2019
CAL gom log cục bộ của các application server về một chỗ và làm báo cáo cho mọi mảng của eBay. CAL Ingress nhận log từ hàng nghìn client qua kết nối TCP sống lâu, chia ra: raw log tới Filer, metric VID (gộp lại) qua…
- Structured Logging with slog Bài tóm tắt · Go · 2023
Log là nơi đầu tiên người ta tìm khi debug server, nên log nhiều và phải lọc, tìm nhanh. Log có cấu trúc (cặp key-value) phân tích được tin cậy hơn log chữ.
- Debugging Production with Event Logging Bài tóm tắt · Zillow · 2018
…tps://www.zillow.com/engineering/debugging-production-event-logging/) Bối cảnh - Trang tìm căn hộ: khi lưu một bản ghi vào SQL, các thuộc tính tìm kiếm được index vào Elasticsearch…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…client: ProxySQL vốn đã nằm giữa ứng dụng và DB; bật query logging theo query rule cho đúng một cụm, ghi ra đĩa local, ít ảnh hưởng hiệu năng. Log Mover sidecar chuyển file lên ob…
- Running Kafka At Scale Bài tóm tắt · LinkedIn · 2015
…sage: queuing (trong một ứng dụng, như gửi email), metrics, logging (tách khỏi metrics chỉ vì quá nhiều), tracking (mọi hành động người dùng; nuôi Samza, Hadoop, search index, tính…
- Taming the ML Firehose: Scaling Feature Consistency Bài tóm tắt · Uber · 2026
…loper mất hàng tuần để lần ra lỗi. Thay đổi chính - Feature logging: ghi lại chính các feature được dùng lúc inference rồi dựng bảng train từ đó. - Vấn đề quy mô: model gợi ý dựa t…
- Scaling our Observability platform beyond 100 Petabytes by embracing wide events and replacing OTel Bài tóm tắt · ClickHouse · 2025
LogHouse là nền tảng log nội bộ dựng trên ClickHouse, ban đầu để thay hoá đơn Datadog mà theo ClickHouse "ngày càng không kham nổi". Khoảng giữa 2024 nó giữ 19 PiB (dữ liệu chưa nén), khoảng 37 nghìn tỉ dòng; giữa 2025…
- Near real-time features for near real-time personalization Bài tóm tắt · LinkedIn · 2022
Pipeline feature thông thường: event Kafka được ETL vào HDFS, job Spark định kỳ tính feature rồi đẩy tới recommender. Trễ từ vài giờ tới vài ngày giữa hành động và lúc recommendation phản ánh nó.
- What we learned from an iOS app OOMs incident Bài tóm tắt · Pinterest · 2021
Đầu 2020: crash out-of-memory trên app iOS tăng mạnh; tỉ lệ người dùng không gặp crash (CFUR) giảm từ 99% xuống 96%.
- How We Rebuilt Our Log Storage and Search Infrastructure for Scale Bài tóm tắt · Railway · 2022
Đầu 2022, hơn 500.000 deployment trên Railway lấy log thẳng từ Docker: mỗi lần mở trang log, request đi tới hạ tầng deployment, đọc log từ Docker rồi trả về frontend, bằng polling mỗi 2 giây.
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
Log có cấu trúc (key=value) linh hoạt hơn metric (metric và dashboard phải thiết kế trước, khó hỏi câu bất ngờ). Nhưng thông tin của một request rải trên nhiều dòng: muốn hỏi "user nào bị rate limit nhiều nhất" phải…
- Diagnostics with Tracing Bài tóm tắt · Tokio · 2019
Trong code đồng bộ, thứ tự log ngầm cho biết ngữ cảnh: các dòng giữa "accepted connection" và "closing connection" thuộc về kết nối đó. Trong hệ async như Tokio, một thread chạy xen kẽ nhiều task, nhiều worker thread…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Journey from EC2 to Containers Bài tóm tắt · Disney Hotstar · 2020
…tes; công cụ CLI đi kèm; - developer không phải tự cấu hình logging (chỉ cần khai tên team, ghi log vào đường dẫn chuẩn); - core image cho Java, Python, Go đã có sẵn cấu hình môi t…
- eBay Công ty Thành viên
Hai bài về nhất quán và độ bền ở eBay: protocol GRIT (2019) cho giao dịch ACID xuyên microservice và nhiều DB bằng OCC + log + áp bất đồng bộ ; và các phương án chạy Kafka đa region khi event phải đúng thứ tự (2020),…
- Fly.io Công ty Thành viên
Fly.io khởi đầu (2019) là nền tảng edge app không có lưu trữ bền, từ chối làm database hơn 300 ngày. Họ thêm volume rồi ra Fly Postgres (2021) như một "automated database": một app Postgres HA (Stolon + Consul) chạy…
- Go Công ty Thành viên
Năm 2023, thư viện chuẩn thêm log có cấu trúc log/slog sau hơn một năm thiết kế công khai, tách frontend Logger khỏi backend Handler để các thư viện log sẵn có (logrus, zap, logr) dùng chung một backend thay vì bị thay…
- Inside HRT's Python Fork: Leveraging PEP 690 for Faster Imports Bài tóm tắt · Hudson River Trading · 2025
…le có side effect lúc import (đặt sys.excepthook , cấu hình logging , đăng ký copyreg ) phải import ngay. HRT đưa toàn bộ gói bên thứ ba vào danh sách này. - Lộ trình: Q1/2023 một…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Lessons Learned From Scaling Uber To 2000 Engineers, 1000 Services, And 8000 Git Repositories Bài tóm tắt · Uber · 2016
…tự sinh, cùng một định dạng flame graph cho mọi ngôn ngữ. - Logging: cần log có cấu trúc thống nhất (uber-go/zap), back-pressure trong logging (log quá nhiều làm sự cố tệ hơn), và…
- WarpStream Công ty Thành viên
Kafka "diskless" trên object storage. Năm 2025 ra mắt cụm đa region: agent ghi quorum 3 bucket ở 3 region, control plane trên DynamoDB Global Tables hoặc Spanner đa region với một leader được bầu; mất trọn một region mà…
- How Reliability and Product Teams Collaborate at Booking.com Bài tóm tắt · Booking.com · 2019
…ại cạnh bản mục tiêu để thấy hệ nào được hỗ trợ thừa (ví dụ logging ít quan trọng mà ở mức 1) và hệ nào chưa đạt chuẩn của mức mình (đánh dấu sao). - Kèm theo: team reliability 5–8…
- Multilingual message content moderation at scale (part 1) Bài tóm tắt · Bumble · 2021
…nhắn mỗi giây" (2021). - Giám sát và rollback: mọi hệ ML có logging chung, phát hiện bất thường real-time, dashboard tập trung; từ những bản đầu đã có thể kiểm hiệu năng ở producti…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
Data lake (Iceberg, Hudi, Delta) lưu dữ liệu bằng Parquet và metadata cũng bằng file (JSON, Avro) trên object storage. Mỗi lần ghi nhỏ tạo một file dữ liệu mới và cập nhật metadata.
- Similarity Engine at eBay Bài tóm tắt · eBay · 2023
eBay (12/2022) có khoảng 134 triệu người dùng và 1,7 tỉ listing đang hoạt động. Tìm kiếm theo từ khoá vấp từ đồng âm, query đuôi dài, ý định người dùng; team CoreAI dựng một engine ANN để tìm listing giống nhau theo…