Tìm kiếm
39 kết quả cho “Sort”. Tìm không phân biệt dấu.
- Fastest Table Sort in the West – Redesigning DuckDB's Sort Bài tóm tắt · DuckDB Labs · 2021
…khó: Khó — [bài gốc](https://duckdb.org/2021/08/27/external-sorting.html) Bài nhà cung cấp; benchmark do họ tự chạy. Phần sau: (thiết kế lại sau bốn năm). Bối cảnh - Sort trong DB…
- Redesigning DuckDB's Sort, Again Bài tóm tắt · DuckDB Labs · 2025
…ỉnh · Độ khó: Khó — [bài gốc](https://duckdb.org/2025/09/24/sorting-again.html) Bài nhà cung cấp; benchmark trên một laptop M1 Max (10 luồng, 64 GB) do chính tác giả chạy. Bối cảnh…
- Using Rust to Scale Elixir for 11 Million Concurrent Users Bài tóm tắt · Discord · 2019
…ăng thông và pin cho client. - Phía server (Elixir) cần một sorted set giữ hàng trăm nghìn phần tử, chịu rất nhiều thay đổi và trả về vị trí (index) chỗ thêm/bớt. - Dữ liệu trong E…
- Dynein: Building a Distributed Delayed Job Queueing System Bài tóm tắt · Airbnb · 2019
…rtition key = ID ngẫu nhiên (tải đều, tránh hot partition), sort key = giờ hẹn + UUID (range query hiệu quả). Chống giao trùng bằng conditional update trạng thái Scheduled → Acquir…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…ay đổi nhỏ ghi vào catalog, CHECKPOINT mới đổ ra Parquet. - Sorted tables (sắp khi compaction, flush, và tuỳ chọn lúc insert) để thu hẹp cận min/max và bỏ được nhiều file; bucket p…
- Timestone: Netflix's High-Throughput, Low-Latency Priority Queueing System Bài tóm tắt · Netflix · 2022
…ái) vào transaction log trước khi trả lời. Mỗi queue là một sorted set xếp theo ưu tiên; message và cấu hình queue là hash; mọi cấu trúc của một queue (kể cả index phụ trong bộ nhớ…
- How Stripe's document databases supported 99.999% uptime with zero-downtime data migrations Bài tóm tắt · Stripe · 2024
Stripe chọn MongoDB từ 2011 (Atlas chưa có) và xây DocDB, DB-as-a-service nội bộ trên MongoDB Community: hơn 5 triệu query/giây, hơn 10.000 dạng query, hơn 5.000 collection trên hơn 2.000 shard, hàng petabyte dữ liệu…
- Running Cost-Efficient Export Workloads at Uber Bài tóm tắt · Uber · 2026
Export workload (tuân thủ, quyền riêng tư, xuất dữ liệu vận hành; ví dụ DSAR, yêu cầu của một người xem dữ liệu cá nhân mà công ty giữ): query điểm hoặc predicate hẹp theo rider/driver/courier ID trên bảng giao dịch…
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- Working with PostgreSQL Bài tóm tắt · Zerodha · 2021
…một bước của EOD. - Tuning: work mem khoảng 600 MB (cao, vì sort/JOIN lớn; nhân với max connections có thể làm sập máy nếu đặt sai); shared buffers tăng dần theo EXPLAIN ANALYZE tớ…
- Moving to DynamoDB to Increase Application Resiliency Bài tóm tắt · CapitalOne · 2021
…úc đánh dấu null), không có kiểu ngày (lưu chuỗi ISO UTC để sort được). Sửa thiết kế bảng vài lần: dùng composite key + timestamp làm sort key; bỏ filter (gây scan) để dùng query.…
- Open sourcing kubenetmon: how we monitor data transfer in ClickHouse Cloud Bài tóm tắt · ClickHouse · 2025
…t lần vẫn thành băng thông theo phút. Primary key tách khỏi sorting key (sorting key đổi được khi thêm cột, primary key thì không). TTL 90 ngày. - Insert: server gom lô trong bộ nh…
- How We Built a Logging Stack at Grab Bài tóm tắt · Grab · 2019
…định có thể chiếm tới 70% heap cho một lần search. Một user sort theo trường id (Kibana mặc định cho phép) nạp mọi ID của 14 ngày index vào heap: hơn 20 GB trước khi circuit breake…
- A Brief History of the UUID (KSUID) Bài tóm tắt · Segment · 2017
…có vấn đề khi lệch đồng hồ. - Twitter Snowflake: 64 bit, k-sorted, cần ZooKeeper (). - Boundary Flake (2012): 128 bit, sắp theo thứ tự từ điển, base62, nhưng vẫn lộ host và phụ th…
- Knowing When Your Composite Index Earns Its Write Cost Bài tóm tắt · Tiger Data · 2026
…oảng thời gian, lấy 500 dòng mới nhất của một tag không cần sort). Query chỉ theo ts trên mọi tag thì tệ hơn bị bỏ qua: planner vẫn chọn index, đọc 161.347 buffer để lấy 18.500 dòn…
- Announcing Snowflake Bài tóm tắt · Twitter · 2010
…phối hợp (uncoordinated). - Gần như sắp theo thời gian ("k-sorted"): tweet đăng cách nhau dưới ~1 giây thì ID cũng gần nhau, vì client sắp tweet theo ID. - Vừa 64 bit. Họ từng tăn…
- Beyond synthetic testing: Capturing and replaying real database workloads at Airbnb Bài tóm tắt · Airbnb · 2026
…73 MB mỗi join thay vì 5 MB , do thay đổi cách đọc dòng khi sort từ 8.0.20. - Đúng đắn: innodb autoinc lock mode mặc định mới cấp ID xen kẽ, không tuần tự, trong khi vài ứng dụng g…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- Debugging the Postgres query planner Bài tóm tắt · GoCardless · 2019
…Plan lẽ ra nên có: dùng index payout id lấy khoảng 20 dòng, sort trong bộ nhớ, lấy dòng đầu. - Xử lý tức thời: chạy lại ANALYZE vài lần cho tới khi plan tốt lên. Phải chạy nhiều lầ…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…n upstream. - Mong muốn: join bảng lớn (hash join phân tán, sort-merge join), và thu nhỏ cụm êm (drain node trước khi tắt) để co cụm ngoài giờ làm việc. Vì sao - Khi dữ liệu nằm ở…
- Shopify Công ty Thành viên
Năm 2015 không còn mua được DB to hơn nên Shopify shard, rồi phát hiện thao tác lặp mọi shard làm mất cô lập lỗi. Kiến trúc pod (mỗi request chỉ chạm một tập datastore cô lập, Pod Mover dời pod sang DR) ra đời .…
- A Pods Architecture To Allow Shopify To Scale Bài tóm tắt · Shopify · 2018
…t pod , nên phục vụ một request chỉ cần một pod còn sống. - Sorting Hat ở load balancer: dùng bộ luật để xác định request thuộc pod nào, gắn header, chuyển tới đúng nơi (Shopify có…
- Stack Overflow: How We Do Monitoring - 2018 Edition Bài tóm tắt · Stack Overflow · 2018
…quest; giữ 100 profile chậm nhất của mỗi route trong Redis (sorted set). ID của MiniProfiler được dùng làm Request ID, ghi cả vào log HAProxy và exception để nối các nguồn với nhau…
- Stack Overflow: How We Do App Caching - 2019 Edition Bài tóm tắt · Stack Overflow · 2019
…mới nhất của từng site để quyết định có chạy badge không), Sorted Set (100 trace chậm nhất mỗi route). Pub/sub cũng dùng cho websocket. - Bỏ output cache: nhiều năm họ cache nguyê…
- How we built a real-time service that handles 20,000 updates per second Bài tóm tắt · Trigger.dev · 2025
…i đồng thời) bằng sliding window trong Redis viết bằng Lua (sorted set, xoá mục hết hạn, thêm, đếm, vượt thì gỡ), chạy nguyên tử nên không race; mỗi mục hết hạn sau 5 phút. - Cache…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- How Upstash Redis Search Works? Bài tóm tắt · Upstash · 2026
…nh - Redis lưu và trả dữ liệu nhanh nhưng truy vấn thì khó: sorted set giả lập vài mẫu truy cập, còn lại phải scan. Với Upstash Redis (bền mặc định, hay được dùng làm DB chính), đâ…