Tìm kiếm
40 kết quả cho “compute và storage tách rời”. Tìm không phân biệt dấu.
- Compute that takes any shape Bài tóm tắt · Vercel · 2026
…ộ khó: Trung bình — [bài gốc](https://vercel.com/blog/fluid-compute-takes-any-shape) Vercel vừa làm framework Next.js vừa bán nền tảng chạy nó; nhận định về sản phẩm của họ trong t…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- The Art of Being Lazy(log): Lower Latency and Higher Availability With Delayed Sequencing Bài tóm tắt · WarpStream · 2026
WarpStream là Kafka tương thích giao thức, dữ liệu chỉ nằm trên object storage; Agent stateless, không có leader, bất kỳ Agent nào cũng nhận produce cho bất kỳ partition nào. Đổi lại là latency: PUT object storage mất…
- Building a fault-tolerant metrics storage system at Airbnb Bài tóm tắt · Airbnb · 2026
…. - Rồi nhiều cluster: cluster chuyên cho workload đặc thù (compute, mesh) và nhiều cluster ứng dụng; rollout theo thứ tự quan trọng: test/nội bộ → cluster ứng dụng → cluster hạ tầ…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), synchronous call từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Modernizing Artifact Storage at Uber Bài tóm tắt · Uber · 2026
Mọi build ở Uber (monorepo Go, Java, web, Android, iOS, Python và hàng nghìn microrepo) phụ thuộc hàng trăm tới hàng nghìn artifact. Hơn mười năm, một nền tảng artifact của bên thứ ba tự host ở hai data center nằm trên…
- Litestream Revamped: SQLite Replication Bài tóm tắt · Fly.io · 2025
2020, Litestream: chạy cạnh ứng dụng SQLite mà ứng dụng không cần biết; giữ một transaction đọc dài để chặn checkpoint WAL, dựng "shadow WAL" và đẩy liên tục các trang WAL lên object storage tương thích S3. Mất server…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Multi-tenancy và cô lập tenant Chủ đề Thành viên
Một hệ phục vụ nhiều khách (tenant: workspace, shop, organization, account, service nội bộ) trên cùng hạ tầng thì rẻ và dễ vận hành, vì tài nguyên được dùng chung. Cái giá là bốn câu hỏi đi theo hệ suốt đời:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một incident đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Incident và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một incident: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này…
- A FUSE server for our in-house storage backend Bài tóm tắt · Jane Street · 2026
Nhiều workload xử lý dữ liệu cần truy cập throughput cao vào lượng lưu trữ lớn. Trước đây dùng sản phẩm mua ngoài (Dell Isilon, VAST); khi dataset lớn dần và nghiên cứu cần truy cập nhanh hơn tới nhiều dữ liệu hơn, họ…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một network round-trip, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- A Decade of Evolution of Alibaba's Databases - Part 2 Bài tóm tắt · Alibaba · 2019
…ng. Kết quả là đường cong năm 2017 phẳng. - 2017→2018, tách compute khỏi storage: tranh luận kéo dài trong nội bộ. Lý do quyết định: compute gắn với storage thì dời compute là phải…
- How we made ClickStack 5x faster for ClickHouse observability Bài tóm tắt · ClickHouse · 2026
…như thực tế. - Ghi vào service cha, query trên service con (compute-compute separation) để đo riêng. - Mỗi thay đổi đánh giá theo thứ tự: ingest (throughput, CPU, RAM, số part tối…
- Migrating Large-Scale Interactive Compute Workloads to Kubernetes Without Disruption Bài tóm tắt · Uber · 2025
…gốc](https://www.uber.com/us/en/blog/migrating-large-scale-compute-workloads-to-kubernetes/) Bối cảnh - DSW (Data Science Workbench): nền tảng notebook (Jupyter, RStudio) cho data…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Robinhood Swaps Kafka for WarpStream to Tame Logging Workloads and Costs Bài tóm tắt · WarpStream · 2025
…y EC2 phải giữ để gắn EBS, đĩa phải cấp dư, nên lãng phí cả compute lẫn storage. - Log không nhạy latency , nên hợp với Kafka "diskless" trên object storage (latency cao hơn). Thay…
- Secure by default: WarpStream's BYOC deployment model Bài tóm tắt · WarpStream · 2024
…WarpStream. Giữ lại vì nó nêu rõ một hệ quả kiến trúc: tách compute/storage và dữ liệu/metadata thay đổi được mô hình quyền truy cập của nhà cung cấp. Bối cảnh - Hai mô hình triển…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
…job vẫn chạy mỗi giờ nên service phải chạy 24/7. Định dùng compute-compute separation (nhiều nhóm compute chung một kho dữ liệu): một service chỉ đọc cho BI, một service đọc-ghi 2…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Scaling Managed Agents: Decoupling the brain from the hands Bài tóm tắt · Anthropic · 2026
Harness (vòng lặp gọi model và chuyển tool call tới hạ tầng) chứa giả định về những gì model chưa tự làm được, và giả định đó cũ đi khi model tốt lên. Anthropic muốn một dịch vụ có interface bền hơn mọi cách cài đặt cụ…
- Our Migration to FoundationDB, Part 1 Bài tóm tắt · Inngest · 2026
…thứ tự chặt khi cần; 2. scale ngang hoàn toàn (thêm đĩa và compute, không dựng shard tay); 3. cách ly noisy neighbor; 4. chi phí vận hành thấp; 5. rollout an toàn, quay lui được g…
- How WarpStream Powers Grafana Labs' Redesigned Architecture Bài tóm tắt · WarpStream · 2025
Grafana Mimir (2025): TSDB mã nguồn mở, scale ngang, multi-tenant, tương thích Prometheus; đã chạy tới 1 tỷ active series. Là nền của Grafana Cloud Metrics.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
Uber (2023): hơn 10.000 thành phố, 137 triệu người dùng/tháng, 25 triệu chuyến/ngày. Khách nội bộ của đội Data Infrastructure (vận hành cộng đồng, ML, growth marketing) đều muốn insight từ dữ liệu nhưng khác nhau về độ…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Carving The Scheduler Out Of Our Orchestrator Bài tóm tắt · Fly.io · 2023
Orchestrator về bản chất là supervisor có API: worker nhận việc, chạy, báo lại. Phần được coi là khó là scheduling (chọn worker). Mọi orchestrator phổ biến dùng scheduler tập trung, như bộ cấp phát bộ nhớ, với bức tranh…
- Netflix Công ty Thành viên
Incident hỏng DB năm 2008 dẫn tới 7 năm lên AWS theo hướng cloud-native . Bài kiểm tra lớn đầu tiên là incident AWS US-East năm 2011: kiến trúc stateless, nhiều zone, fallback chịu được, nhưng rút khỏi zone phải làm…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
…ền big data của Netflix (2014) đặt data warehouse trên S3 : compute tách khỏi storage, nhiều cluster (chạy dài hay tạm) cùng đọc chung dữ liệu. User viết job Pig hoặc Hive cho ETL…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- GitHub Công ty Thành viên
Rails + một MySQL; sau đó tách vài tính năng, thêm replica, ProxySQL; nhưng lõi vẫn là cluster mysql1 được scale dọc liên tục. Từ 2019 họ tách ảo bằng schema domain + linter rồi dời vật lý bằng Vitess hoặc write-cutover…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
…ung là tách rời: nạp tách khỏi phân tích, storage tách khỏi compute (), và quan trọng nhất là schema telemetry tách khỏi hạ tầng : developer thêm trường mới vào event mà không cần…
- Vercel Công ty Thành viên
Công ty làm framework Next.js (mã nguồn mở) và nền tảng chạy nó; nhận định về sản phẩm của chính họ trong các nguồn đều là "theo Vercel". Câu chuyện chia hai nửa. Về framework: Next.js bắt đầu bằng router theo file và…