Tìm kiếm
20 kết quả cho “Record Index”. Tìm không phân biệt dấu.
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…mục thành một lượt tra khoá. Đã bật cho hơn 90% dataset. - Record Index (RI): upsert phải tìm đúng file chứa bản ghi; bloom filter hay quét file không đủ ở quy mô nghìn tỉ. Ban đầ…
- Migrating billions of records: moving our active DNS database while it's in use Bài tóm tắt · Cloudflare · 2024
…[bài gốc](https://blog.cloudflare.com/migrating-billions-of-records-moving-our-active-dns-database-while-in-use/) Bối cảnh - Theo W3Techs (10/2024), Cloudflare là authoritative DNS…
- Update: Elasticsearch lessons learnt for Advanced Global Search Bài tóm tắt · GitLab · 2019
…h sách index, GitLab tự xếp hàng tác vụ backfill , và tự gỡ record khi bị bỏ khỏi danh sách (trước đó phải chạy tay chuỗi rake task chậm, sai bước là kết quả thiếu); cấu hình số sh…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…ail, một phần homepage và mobile), hơn chục cụm, hàng triệu record/giây lúc đỉnh, hàng trăm TB dữ liệu gốc. Thay đổi chính - Mô hình dữ liệu phân cấp: database → table → collection…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- The growing pains of database architecture Bài tóm tắt · Figma · 2023
…h bảng sẽ mất transaction, foreign key, JOIN. Vì Ruby/ActiveRecord quá động để phân tích tĩnh, họ gắn validator lúc chạy vào ActiveRecord, gửi thông tin query/transaction về data w…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- Building the Activity Graph, Part 2 Bài tóm tắt · LinkedIn · 2017
…gian của từng actor, key là URN của actor. Bản ghi TimelineRecord phải nhỏ để index vừa RAM. - Feature của nội dung (nhãn chất lượng/spam, ngôn ngữ...) cần cho lọc và ranking. Nhé…
- Realtime Fastly logs with Grafana Loki for under $1 a day Bài tóm tắt · Loveholidays · 2021
…m số công cụ. - Đường đi: Fastly stream log qua HTTPS → DNS record riêng → Ingress của GKE (BackendConfig + Cloud Armor chỉ cho dải IP của Fastly) → Fluent Bit (plugin nhận HTTP, g…
- Serverless Transactions Serve Customers Bài tóm tắt · CapitalOne · 2017
…ộ. Liên quan - (bốn năm sau, một team khác chuyển system of record sang DynamoDB Global Tables) · - ·…
- Hudson River Trading Công ty Thành viên
Công ty giao dịch thuật toán (HRT), phần lớn hạ tầng on-premises, nhiều site trên thế giới. Năm 2021 họ scale Prometheus bằng shard chỉ ingest cộng query node đọc remote, vì federation mất khả năng tổng hợp ad-hoc trên…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…từ 24 giờ xuống một giờ, vì xử lý tăng dần thay vì nạp lại; Record Level Index bỏ được kho khoá–giá trị phụ (HBase). - Ba tầng truy vấn: Presto SQL mặc định (hàng nghìn người dùng,…
- Stack Overflow Architecture (2009) Bài tóm tắt · Stack Overflow · 2009
…, secondary index, query liên partition, giao dịch vượt một record; mọi bản denormalize phải tự cập nhật và tự xử lý lỗi một phần. - Giấy phép Microsoft đi kèm scale up: khi phải s…