Tìm kiếm
7 kết quả cho “Segment memory”. Tìm không phân biệt dấu.
- How We Built a Logging Stack at Grab Bài tóm tắt · Grab · 2019
…mạnh giới hạn field data. - Nén khi chuyển shard giữa node: segment Lucene vốn đã nén; tắt nén thì chuyển một shard 50 GB từ 1 giờ còn 20 phút. - Segment memory: OOM vì quá nhiều s…
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…t giảm tần suất nhưng không hết; giả thuyết dữ liệu hỏng từ Segment bị loại (dữ liệu mã hoá Avro, không có lỗi encoder). Nâng rdkafka-ruby lên 0.11.1 (librdkafka 1.4 → 1.8) thì hết…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…