Tìm kiếm
31 kết quả cho “cache theo segment”. Tìm không phân biệt dấu.
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Layouts RFC Bài tóm tắt · Vercel · 2022
…tải JS của component đã render ở server. Kết quả nằm trong cache phía client, tách theo segment để vô hiệu hoá ở mọi cấp. - Trạng thái tức thì: theo RFC, router mới sẽ dùng Suspen…
- How We Built a Logging Stack at Grab Bài tóm tắt · Grab · 2019
…ẫn làm khó điều tra (mất master vì ai đó làm đầy field data cache khi search) và ingest node lỗi kiểu lạ gây ảnh hưởng cả cluster. - Giám sát heap theo node bằng Datadog là cứu cán…
- Check 100 candidates, not 10 million documents: Faster kNN filters in Elasticsearch Bài tóm tắt · Elastic · 2026
…theo doc ID), không dựng bitset, nên filter cũng không cần cache để nhanh. 5. Thiếu thì retry đúng một lần: loại mọi tài liệu đã thấy, HNSW bắt đầu từ tối đa 4 ứng viên khớp gần n…
- Our Journey with Caching Bài tóm tắt · Vercel · 2024
…để giữ cả tốc độ tải đầu lẫn dữ liệu động. - Cái giá nằm ở cache: fetch() mặc định bị cache nên prototype và app rất động khó chịu; truy cập DB không qua fetch() thì không có công…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…i Director (Go) giữ độc quyền một JobDB qua session Consul, cache toàn bộ job trong RAM và tự lo invalidation không cần phối hợp; chỉ đọc DB khi khôi phục sau lỗi. Lượng ghi áp đảo…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- The million dollar engineering problem Bài tóm tắt · Segment · 2017
…Nhiều điểm rất bình thường: hàng trăm ổ EBS lớn bị bỏ quên, cache và RDS cấp dư từ các lần tải tăng rồi không thu lại. Không có công cụ thần kỳ. - DynamoDB hot shard (~300.000 USD/…
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), synchronous call từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một network round-trip, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Vercel Công ty Thành viên
Công ty làm framework Next.js (mã nguồn mở) và nền tảng chạy nó; nhận định về sản phẩm của chính họ trong các nguồn đều là "theo Vercel". Câu chuyện chia hai nửa. Về framework: Next.js bắt đầu bằng router theo file và…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Auditing AWS IAM for better security practices Bài tóm tắt · Postman · 2019
…an (2019) chạy microservice trên AWS (Beanstalk, RDS, ElastiCache, nhóm Data Science dùng DynamoDB, Kinesis, Redshift, EMR…). Thay đổi chính - IAM phản ánh sơ đồ tổ chức: IAM user…
- Evolution of our platform architecture Bài tóm tắt · Allegro · 2015
…ver, chuyển DB sang Oracle; - tự viết bằng C/C++ nhiều tầng cache, connection pool, cả search engine. Ưu: mua được vài năm mà không cần cuộc cách network nào, ít phụ thuộc giải phá…
- The exabyte club: LinkedIn's journey of scaling the Hadoop Distributed File System Bài tóm tắt · LinkedIn · 2021
…e vẫn là nơi ghi duy nhất. - Fast Path tailing: JournalNode cache transaction gần nhất trong RAM, Standby kéo bằng RPC theo txId thay vì đợi cả segment file (mặc định trễ 2 phút, t…
- Taking our Ruby & Kafka stack to the next level Bài tóm tắt · Doximity · 2022
…ạo client rdkafka ở lần gửi đầu tiên (sau khi app đã boot), cache lại. - Lúc chạy (Puma trên Kubernetes, không fork): ngẫu nhiên trên nhiều pod. Tăng memory limit giảm tần suất như…
- How Medium Detects Hotspots in DynamoDB using ElasticSearch, Logstash and Kibana Bài tóm tắt · Medium · 2015
…t key nóng là gì thì mới chọn đúng cách chữa (sửa truy cập, cache) thay vì chỉ tăng capacity; cùng bài toán với Segment 2017 (). Liên quan -…
- Why Uber Engineering Switched from Postgres to MySQL Bài tóm tắt · Uber · 2016
…Buffer pool tự quản ở userspace (ít context switch hơn page cache của kernel). Ví dụ của Uber: replica Postgres 768GB RAM nhưng chỉ ~25GB là RSS của Postgres. - Thread-per-connecti…
- Goodbye to sequential integers, hello UUIDv7 Bài tóm tắt · Buildkite · 2023
…hiên thì rải khắp nơi, phải đi qua nhiều trang index hơn và cache hit kém. Thay đổi chính - 2022, thử UUID có thời gian nhưng vẫn mang nhãn v4: 48 bit đầu (vốn ngẫu nhiên) thành ti…