Tìm kiếm
40 kết quả cho “COPY”. Tìm không phân biệt dấu.
- How Uber Scaled Data Replication to Move Petabytes Every Day Bài tóm tắt · Uber · 2026
…lake đồng bộ, cả bulk lẫn tăng dần, dùng Distcp của Hadoop (copy phân tán bằng MapReduce) cho bản sao lớn hơn 256 MB. - Q3/2022, điểm gãy: lượng nhân bản mỗi ngày từ 250 TB lên 1 P…
- Zero-Growth Stack, Real Gains: How Stack Allocation Can Save 10% CPU in Go Bài tóm tắt · Uber · 2026
…hường 2 MB). Khi hàm sắp tràn, runtime cấp stack gấp đôi và copy nội dung sang ( runtime.morestack → copystack ). Go 1.19 thêm stack khởi đầu thích ứng theo kích thước trung bình đ…
- Scaling Security Insights: how we achieved a 10x increase in global scanning capacity Bài tóm tắt · Cloudflare · 2026
…g một lời gọi API, tức nửa triệu round-trip và transaction. COPY vào bảng tạm làm phình bảng hệ thống của Postgres, nên chọn cách lai: dưới một ngưỡng dùng UNNEST , trên ngưỡng dùn…
- A FUSE server for our in-house storage backend Bài tóm tắt · Jane Street · 2026
…ôi throughput vì readahead của kernel chạy đúng. Bỏ hai lần copy qua string (đọc 4 GiB cấp phát khoảng 8 GiB; 92% lượng cấp phát) bằng cách truyền thẳng buffer → 1,3 GiB/s . Nút ti…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…ại chỗ, mọi thay đổi phải thành file và metadata mới. - Với copy-on-write, sửa vài dòng nghĩa là chép cả các dòng không đổi sang file thay thế: write amplification . Update nhỏ, rả…
- Enhancing Performance in Microservice Architecture with Kitex Bài tóm tắt · ByteDance · 2024
…rời nên phải chép. Netpoll tái dùng goroutine, đọc ghi zero-copy, tuning cho gói nhỏ đồng thời cao, có cả sửa Go runtime (ưu tiên lập lịch) và syscall theo lô trong kernel nội bộ.…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…được sự kiện cũ nhất còn giữ, clone snapshot làm mốc (zero-copy clone của Snowflake), rồi phát lại sự kiện còn giữ qua đường replication thường (lặp lại trạng thái cũ một lúc là c…
- Cross Shard Transactions at 10 Million Requests Per Second Bài tóm tắt · Dropbox · 2018
…đồng thời chỉ cần hỏi tối đa hai node để biết trạng thái. - Copy-on-write khi staging: lưu mutation thô vào bảng MySQL phụ, chỉ dựng trạng thái khi áp dụng, thay vì lưu bản sao đầy…
- Low Latency Optimization: Using Huge Pages on Linux (Part 2) Bài tóm tắt · Hudson River Trading · 2022
…ết; mặc định có giữ chỗ lúc mmap() nhưng vẫn có thể hết khi copy-on-write sau fork() . Quy tắc kinh nghiệm: đừng dùng hugetlbfs trong process cần sinh process con. - Hỗ trợ trong a…
- Building a Distributed Filesystem for Scalable Research Bài tóm tắt · Hudson River Trading · 2025
…ent và chunk server để scale tuyến tính. - Đặt dữ liệu theo copyset thay vì chọn ngẫu nhiên, giảm xác suất mất dữ liệu khi nhiều đĩa hỏng cùng lúc; chunk của một block nằm ở rack k…
- The Real Cost of a Single Insert in Postgres Bài tóm tắt · Tiger Data · 2026
…- Bốn cách giảm, xếp theo rủi ro tăng dần: (1) gom ghi bằng COPY hoặc insert nhiều dòng (ít bản ghi WAL và ít commit); (2) bỏ index không dùng ( idx scan gần 0 trong pg stat user i…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…y, C .NET chuyển sang CSV (làm phẳng, tính cột), upload S3, COPY vào Redshift . Lịch bằng SSIS/SQL Server Agent. - V2: dữ liệu tăng, gộp ba bước đầu thành đọc–biến đổi–ghi trong bộ…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Monolith và microservices — đi và quay lại Chủ đề Thành viên
Lúc nào nên tách hệ thống thành nhiều service, và cái giá của việc đó là gì? Các nguồn hiện có cho thấy đây không phải đường một chiều.
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- The Evolution of Alibaba Cloud's Relational Database Services Architecture - PolarDB Bài tóm tắt · Alibaba · 2018
…lý bằng redo log thay cho binlog: thêm read node không cần copy toàn bộ dữ liệu , chỉ đồng bộ metadata; trễ giữa master và read node xuống mức mili giây; failover sang read node d…
- Creating a Logical Replica from a Snapshot in RDS Postgres Bài tóm tắt · Instacart · 2020
…system, cả schema. Nhưng dựng replica logic từ đầu nghĩa là copy toàn bộ dữ liệu: với vài TB mất hơn một tuần mới bắt kịp, trong lúc đó mọi schema change phải chạy ở cả hai bên. -…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…c trùng; cơ chế bù có nhưng làm hệ phức tạp. Batch cho phép copy nguyên tử theo khoảng thời gian và kiểm sau mỗi lần . - "Kopiowaczka" (cái máy copy): bảng task (bảng nguồn, khoảng…
- MySQL sharding at Quora Bài tóm tắt · Quora · 2020
…ếu không; dùng dump Hive để chọn biên. - Quy trình migrate: copy theo lô có rate limit → replay binlog → dark read dài ( shadow select so kết quả) → dark write → copy lại từ đầu (v…
- Taking PHP Seriously Bài tóm tắt · Slack · 2016
…g; muốn song song thì gọi HTTP bất đồng bộ (shared-nothing, copy vào/copy ra), an toàn hơn khoá + trạng thái chung. 3. Workflow: "nghĩ, sửa, tải lại trang", không phải khởi động lạ…
- Scaling StreamHub: Transitioning from Kinesis to Kafka for 145 Billion Daily Events Bài tóm tắt · Atlassian · 2026
…g hơn CPU: replication, fan-out, relay xuyên region, retry, copy lên S3 đều cộng vào. Broker nhỏ nhận dữ liệu nhanh hơn tốc độ nó replicate và offload được, nên đĩa local đầy dần.…
- Migrating billions of records: moving our active DNS database while it's in use Bài tóm tắt · Cloudflare · 2024
…o bảng log log cf rec . - Chép ban đầu theo lô 1 triệu bằng COPY ... COPY (không file trung gian), đếm số hàng ở hai bên sau mỗi lô; có thể tạm dừng hoặc dừng hẳn bằng một file cờ.…
- Redesigning Workers KV for increased availability and faster performance Bài tóm tắt · Cloudflare · 2025
…hiệu năng và lỗi dưới tải thật mà không chạm đường đọc. 2. Copy dữ liệu cũ sang qua KVSP. Từ đây có thể failover tay trong vài phút : điểm hỏng đơn đã được gỡ. 3. Bật active-activ…
- How Discord Scaled Elixir to 5,000,000 Concurrent Users Bài tóm tắt · Discord · 2017
…kết nối lại. Qua process thì ~12μs/lần; ETS ~7μs nhưng phải copy (17,5 giây cho một server session khởi động lại). FastGlobal biên dịch dữ liệu thành module hằng số để mọi process…
- Instacart Công ty Thành viên
Năm 2020, để bật mã hoá at-rest cho RDS Postgres vài TB mà không downtime nhiều giờ, Instacart dựng replica logic từ snapshot (đẩy vị trí replication khớp LSN của snapshot) thay vì copy toàn bộ; cách này về sau dùng cho…
- Dismissing Python Garbage Collection at Instagram Bài tóm tắt · Instagram · 2017
…cess master fork ra hàng chục worker để chia sẻ bộ nhớ theo copy-on-write (CoW). Worker bị restart khi RSS vượt ngưỡng để tránh OOM. - Quan sát: ngay sau khi fork, shared memory củ…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…đường dẫn HDFS. Tạo dataset mới cùng schema ở database mới, copy dữ liệu một lần , rồi sửa vị trí của dataset cũ trong HMS trỏ sang đường dẫn mới, xoá đường dẫn cũ. Từ đó đọc qua t…
- Alibaba Công ty Thành viên
Database của Alibaba đi qua ba giai đoạn, đều do đỉnh tải Double 11 dẫn dắt: thương mại (IBM/Oracle/EMC, 2005–2009) → "De-IOE" sang mã nguồn mở với middleware TDDL và AliSQL (2010–2015) → tự phát triển X-DB (từ 2016).…
- Allegro Công ty Thành viên
Allegro (Ba Lan) đi từ 3 developer với dữ liệu lưu trong file (1999) → scale bằng tự viết cache, connection pool, search engine bằng C trên Oracle (~2005) → framework tự chế trong cùng codebase (2008–2009, code mới vẫn…
- From 3TB to 100GB: A Cost-Saving Journey in Database Maintenance Bài tóm tắt · Allegro · 2023
…thì được) để chắc dữ liệu dùng lại được khi cần audit. 3. AzCopy lên container tầng archive: vài phút. 4. Xoá dữ liệu cũ rồi SHRINK ( WAIT AT LOW PRIORITY ), mất vài giờ. 5. Bất ng…