Tìm kiếm
40 kết quả cho “Segment”. Tìm không phân biệt dấu.
- Segment Công ty Thành viên
Nguồn chính kể đủ một vòng: một hàng đợi chung bị head-of-line blocking → mỗi destination một service + queue + repo → thư viện lệch phiên bản, chi phí vận hành tăng tuyến tính → gom 140+ service về một . Cùng thời kỳ,…
- Check 100 candidates, not 10 million documents: Faster kNN filters in Elasticsearch Bài tóm tắt · Elastic · 2026
…roid, quét posting list gần nhất). Cả hai đều nằm theo từng segment Lucene : mỗi segment một đồ thị/một bộ posting list, query tìm từng segment rồi gộp. - Filter đặt trong mệnh đề…
- Secure access to 100 AWS accounts Bài tóm tắt · Segment · 2018
…8 · 2. Tăng trưởng · Độ khó: Trung bình — [bài gốc](https://segment.com/blog/secure-access-to-100-aws-accounts/) Bối cảnh - Segment bắt đầu trong một tài khoản AWS , năm 2017 tách…
- The million dollar engineering problem Bài tóm tắt · Segment · 2017
…7 · 2. Tăng trưởng · Độ khó: Trung bình — [bài gốc](https://segment.com/blog/the-million-dollar-eng-problem/) Bối cảnh - Cuối quý 3/2016: 2/3 giá vốn (COGS) của Segment là hoá đơn…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
· 2018 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://segment.com/blog/introducing-centrifuge/) Bài ngoài sheet. Centrifuge là bước 1 trong (thay cho 140+ queue riêng); bài này…
- How Upstash Redis Search Works? Bài tóm tắt · Upstash · 2026
…cầu của họ: chia file thành trang 8 KB, mỗi trang một key. Segment bất biến được nhân bản như dữ liệu thường, nên index ở us-east-1 query được từ region khác. - Ranh giới Go ↔ Rus…
- Anatomy of a (Postgres) search engine Bài tóm tắt · PlanetScale · 2026
…hất có thể bỏ qua cả khối không thể vượt k kết quả đã có. - Segment, merge, tombstone: index lớn hơn bộ nhớ được ghi thành nhiều segment bất biến; tài liệu mới vào segment khả biến…
- Goodbye Microservices: From 100s of problem children to 1 superstar Bài tóm tắt · Segment · 2018
· 2018 · 4. Điều chỉnh · Độ khó: Dễ — [bài gốc](https://segment.com/blog/goodbye-microservices/) Bối cảnh - Segment nhận hàng trăm nghìn event/giây và chuyển tiếp tới hơn 100 loại…
- A Brief History of the UUID (KSUID) Bài tóm tắt · Segment · 2017
…) · 2. Tăng trưởng · Độ khó: Trung bình — [bài gốc](https://segment.com/blog/a-brief-history-of-the-uuid) Bối cảnh Bài giới thiệu KSUID , thư viện Go sinh ID của Segment. Phần lớn…
- How We Built a Logging Stack at Grab Bài tóm tắt · Grab · 2019
…mạnh giới hạn field data. - Nén khi chuyển shard giữa node: segment Lucene vốn đã nén; tắt nén thì chuyển một shard 50 GB từ 1 giờ còn 20 phút. - Segment memory: OOM vì quá nhiều s…
- Real-time Analytics at Massive Scale with Pinot Bài tóm tắt · LinkedIn · 2014
…từ Kafka , Hadoop cho bootstrap và đối soát. - Dữ liệu chia segment theo thời gian nên hết hạn dữ liệu chỉ là bỏ segment. - Làm lặp khoảng tám tháng trước khi có sản phẩm đầu tiên.…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Auditing AWS IAM for better security practices Bài tóm tắt · Postman · 2019
…g N ngày là tín hiệu thu hồi rẻ và khách quan. - Đối chiếu: Segment 2018 đi xa hơn, bỏ hẳn IAM user có key cho người và cấp quyền tạm qua IdP (); với mô hình còn key dài hạn như Po…
- Building an Effective Test Pipeline in a Service Oriented World Bài tóm tắt · Airbnb · 2020
…"mọi thứ cùng lúc" trước merge không scale theo số service. Segment gặp cùng vấn đề () nhưng giải theo cách khác: gom về một service và dùng Traffic Recorder. - Mock phụ thuộc bằng…
- Evolution of our platform architecture Bài tóm tắt · Allegro · 2015
…d vẫn là monolith về release. Cùng chẩn đoán với Uber () và Segment (). - Phần kỹ thuật dùng chung cần có chủ sở hữu rõ ràng. Xem . - Việc tiếp theo Allegro tự nêu: công cụ release…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…ered Storage: tầng local (EBS) chỉ giữ 5 phút dữ liệu nóng; segment đã đóng đẩy bất đồng bộ lên S3, giữ 7 ngày. Consumer đã trễ quá 5 phút thì chịu thêm vài trăm ms là chấp nhận đư…
- How Medium Detects Hotspots in DynamoDB using ElasticSearch, Logstash and Kibana Bài tóm tắt · Medium · 2015
…uy cập, cache) thay vì chỉ tăng capacity; cùng bài toán với Segment 2017 (). Liên quan -…
- Upstash Công ty Thành viên
Nhà cung cấp Redis serverless. Sau vụ mất một AZ của AWS tháng 5/2026, họ mô tả failover multi-AZ: bầu replica có số thứ tự ghi cao nhất, từ chối promote bản thiếu, trộn sau split-brain, backpressure lên ghi khi replica…
- Online index migration and shard-scaling in OpenSearch with AOSC Bài tóm tắt · Atlassian · 2026
…ại còn đó khi cần. - Backfill bằng Engine.Searcher (giữ các segment cần đọc, không chặn merge); cutover bằng đổi alias nguyên tử. Search Platform vốn luôn gọi qua alias. - Quy trìn…
- Goodbye to sequential integers, hello UUIDv7 Bài tóm tắt · Buildkite · 2023
Vài năm trước 2023, Buildkite chuẩn hoá hai định danh cho mọi bảng: số nguyên tăng dần làm khoá chính (join, khoá ngoại nhanh) và UUID làm khoá phụ cho mọi thứ lộ ra ngoài (API, URL; không lộ số liệu nội bộ, khó đoán).
- How we built the Internal Data Warehouse at ClickHouse Bài tóm tắt · ClickHouse · 2023
…M3ter (metering), Galaxy (observability của control plane), Segment, Marketo, bảng giá AWS/GCP. - Không thu thập dữ liệu của khách (dữ liệu bảng, nội dung query); với query chỉ lấy…
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…t giảm tần suất nhưng không hết; giả thuyết dữ liệu hỏng từ Segment bị loại (dữ liệu mã hoá Avro, không có lỗi encoder). Nâng rdkafka-ruby lên 0.11.1 (librdkafka 1.4 → 1.8) thì hết…
- GPU-accelerated vector indexing in Elasticsearch with NVIDIA cuVS Bài tóm tắt · Elastic · 2026
…ncy search khi đang index mốc thấp hơn 6 lần Force merge (4 segment mỗi shard) khoảng 4 giờ khoảng 5 phút Recall ở mục tiêu 95% 95% - Đường cong throughput–recall của index dựng bằ…
- How we rebuilt the search architecture for high availability in GitHub Enterprise Server Bài tóm tắt · GitHub · 2026
…chép dữ liệu từ leader sang follower sau khi đã ghi bền vào segment Lucene. Elasticsearch giờ có đúng mẫu leader/follower của GHES, nên dữ liệu quan trọng không còn rơi vào node ch…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Infrastructure Security as a product for Hotstar Bài tóm tắt · Disney Hotstar · 2020
Engineer Hotstar tự vận hành thứ mình xây, deploy qua AWS Console, manifest Kubernetes hay Terraform. Đội security mới lập được vài tháng (cuối 2019), trước mùa cricket lớn.