Tìm kiếm
40 kết quả cho “metadata table”. Tìm không phân biệt dấu.
- Running Cost-Efficient Export Workloads at Uber Bài tóm tắt · Uber · 2026
…uyển lớp, tăng chi phí lưu trữ, phí truy xuất, phí thao tác metadata loại B ( objects.get , objects.list ), egress và latency. Thay đổi chính - Secondary index của Hudi không giúp…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…ồng bộ qua Table Services Platform để không chặn ingest). - Metadata Table (MDT): list file làm quá tải NameNode của HDFS khi có hàng chục nghìn dataset, mỗi cái hàng nghìn partiti…
- What Is Inside an Iceberg Table? Bài tóm tắt · DuckDB Labs · 2026
…tion. Đọc cùng , nơi chính DuckDB Labs lập luận cho cách để metadata trong database. Bối cảnh - Bảng Iceberg nhìn như bảng thường khi query, nhưng bên dưới là một cây file trên obj…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…D 2016): không sửa tại chỗ, mọi thay đổi phải thành file và metadata mới. - Với copy-on-write, sửa vài dòng nghĩa là chép cả các dòng không đổi sang file thay thế: write amplificat…
- How we built Stripe Credits: A programmable, auditable way to pay your Stripe fees Bài tóm tắt · Stripe · 2026
…Credits engine: service gRPC độc lập, là nguồn sự thật cho metadata, chính sách, vòng đời và lịch sử audit của credit. Vòng đời là máy trạng thái hữu hạn , mỗi lần đổi trạng thái…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…việc. Mọi nhận định là theo DuckDB Labs. Đọc cùng (cây file metadata của Iceberg) và . Bối cảnh - Manifesto 5/2025: theo DuckDB Labs, metadata của lakehouse nên nằm trong một datab…
- Simplifying Data and Product Integrations with a Data Abstraction Layer Bài tóm tắt · Uber · 2026
…lưu (bảng vật lý) để producer tiến hoá được mô hình. - Ghi metadata về độ tươi và thời gian giữ của từng bảng thì máy tự chọn được bảng nào cho khoảng nào. - Lớp trừu tượng gom lo…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…e), commit snapshot Iceberg nguyên tử. - Trạng thái gom vào metadata của leader Kafka: tiến độ đổ vào lake lưu trong metadata của leader, không cần KV ngoài. Compute tách khỏi lưu…
- How Deterministic Controls Turn AI Output Into Reliable Prompt Templates Bài tóm tắt · Salesforce · 2026
…hỏng khi dùng : LLM bịa một field, làm hỏng record ID, trả metadata sai định dạng, hay đi nhầm nhánh. Thay đổi chính - Router + ba sub-agent trên Agent Graph (framework điều phối…
- Python at Scale: Strict Modules Bài tóm tắt · Instagram · 2019
…ần an toàn, thực thi lười từng câu lệnh mức module, lưu sẵn metadata module cho module không đổi. Vì sao - Ở monolith lớn, chi phí của tính động không nằm ở tốc độ chạy mà ở việc k…
- Executing Cron Scripts Reliably At Scale Bài tóm tắt · Slack · 2023
…của Slack (khoảng 9 tỉ job/ngày; Kafka để bền, Redis để giữ metadata ngắn hạn, rồi worker): mỗi script là một job, đặt trên queue riêng nên chạy nhanh; gánh hết CPU và bộ nhớ. - Bả…
- Shipyard: How We Built Slack's Next-Generation EC2 Platform Bài tóm tắt · Slack · 2026
…cố. - Peekaboo: inventory gần realtime từ sự kiện cloud và metadata (EventBridge, OpenSearch, Lambda), thay cho việc dùng Chef Server làm nguồn sự thật; thấy cả instance không thu…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- VTOrc: Vitess-native Orchestrator Bài tóm tắt · Vitess (PlanetScale/CNCF) · 2022
…kup dừng replication, không muốn bị "sửa"). VTOrc thấy được metadata của VTTablet nên tự biết tablet đang backup và không can thiệp. - UI sẽ gộp vào VTAdmin; hướng tới xử lý cả lỗi…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…→ xử lý mọi thay đổi sau ranh giới. - Gom vào rồi chia theo metadata: sink subscribe theo regex mọi topic CDC của một namespace và đổ vào một bảng raw chung (many-to-one), giữ meta…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…ruy vấn hạ nguồn có tiền tố cứng đều hỏng . Catalog mới đọc metadata từ HMS, nhận diện định dạng, chuyển thao tác sang catalog riêng của định dạng đó (ý tưởng từ Table Redirection…
- MemSQL Architecture - The Fast (MVCC, InMem, LockFree, CodeGen) And Familiar (SQL) Bài tóm tắt · MemSQL · 2012
…t leaf, không có giao dịch xuyên shard cho tới khi làm 2PC. Metadata tập trung (MemSQL, MySQL hoặc ZooKeeper). - Giao thức MySQL thay vì tự viết client: dùng được mọi driver và côn…
- ClickHouse Công ty Thành viên
ClickHouse Cloud có thêm Postgres managed, và với dịch vụ đó WAL archival là thứ bảo đảm khôi phục được. Năm 2026, khi đưa Postgres vào môi trường ít tài nguyên, họ viết lại WAL-G (Go) thành WAL-RUS (Rust) để bộ nhớ dự…
- DuckDB Labs Công ty Thành viên
DuckDB Labs có ba nguồn trong wiki, đều năm 2026 và đều là nhà cung cấp viết về format lakehouse. Lập luận chung: metadata của lake nên nằm trong một database (catalog) thay vì rải thành file trên object storage. Data…
- Inside branch-based restores in Lakebase Postgres Bài tóm tắt · Neon · 2026
…ông chép dữ liệu , chỉ trỏ vào các layer đã có; là thao tác metadata, nên thời gian không tăng theo kích thước (theo Neon, 100 TB nhanh như 10 GB, tính bằng giây). - Hệ quả: restor…
- Scaling Time Series Data Storage — Part I Bài tóm tắt · Netflix · 2018
…c node khác nhau (key CustomerId$Version$ChunkNumber ), row metadata ghi sau cùng; trường hợp thường gộp metadata vào cùng row. Latency bị chặn ở 1 đọc + 1 ghi (thường) hoặc 2 + 2…
- The Chubby lock service for loosely-coupled distributed systems Bài tóm tắt · Google · 2006
…n truy cập) để mỗi thư mục có thể do master khác phục vụ và metadata cache được. - Cache phía client có invalidation tường minh: master gửi lệnh huỷ khi dữ liệu đổi, client không b…
- Optiver Công ty Thành viên
Công ty market making (quyền chọn và nhiều loại tài sản khác) trên nhiều sàn. Theo Optiver, độ dài vòng nghiên cứu là chỉ tiêu cốt lõi; nền tảng nghiên cứu chạy hybrid on-prem và cloud với vị trí chạy quyết định trước…
- MySQL sharding at Quora Bài tóm tắt · Quora · 2020
…ùng nhiều range query; dải ghi trong tên bảng T shard x y , metadata trong ZooKeeper. - API sharded select() nhận cột shard và một khoá, danh sách khoá, khoảng khoá hoặc None (quét…
- Code caching for JavaScript developers Bài tóm tắt · V8 (Google) · 2019
…chỉ lưu file; lần hai (warm) compile rồi đính bytecode làm metadata của file trong cache; lần ba (hot) deserialize, bỏ qua compile. - Code cache chỉ serialize sau khi script chạy…
- WarpStream Công ty Thành viên
Kafka "diskless" trên object storage. Năm 2025 ra mắt cụm đa region: agent ghi quorum 3 bucket ở 3 region, control plane trên DynamoDB Global Tables hoặc Spanner đa region với một leader được bầu; mất trọn một region mà…