Tìm kiếm
40 kết quả cho “Snowflake”. Tìm không phân biệt dấu.
- Snowflake Optima Planning: cross-query performance Bài tóm tắt · Snowflake · 2026
…2026 · 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://www.snowflake.com/en/blog/engineering/snowflake-optima-planning-cross-query-performance/) Bài của nhà cung cấp về một tính n…
- Snowflake Công ty Thành viên
Nguồn đầu tiên của Snowflake trong wiki là bài về đường ghi của Adaptive Warehouses (2026): micro-partition bất biến làm sửa nhỏ thành viết lại lớn, nên họ ghi delta + bitmap, dùng lại thống kê cột, rồi chồng I/O với…
- Announcing Snowflake Bài tóm tắt · Twitter · 2010
…ttps://blog.twitter.com/engineering/en us/a/2010/announcing-snowflake) Bối cảnh - 6/2010. Dữ liệu online chủ yếu trên MySQL: từ một instance nhỏ thành một instance lớn rồi thành nh…
- Why Adaptive Warehouses Are up to 13.7x Faster for DML Operations Bài tóm tắt · Snowflake · 2026
…3. Quy mô lớn · Độ khó: Trung bình — [bài gốc](https://www.snowflake.com/en/blog/engineering/adaptive-warehouses-dml-performance/) Bài quảng bá sản phẩm của nhà cung cấp. Bài tự t…
- From Batch Snapshots to Near-Real-Time Data Bài tóm tắt · Doximity · 2026
…batch chép định kỳ snapshot của DB ứng dụng vào warehouse (Snowflake): tin cậy, nhất quán giao dịch, nhưng độ tươi tính bằng giờ. Họ thêm CDC để thay đổi có mặt trong vài phút, gi…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…ảnh - Event từ service và thiết bị phải tới warehouse OLAP (Snowflake), tới nền tảng ML (feature realtime như thời gian chờ trung bình của nhà hàng), tới backend metric (Chronosphe…
- Predicting the real-time availability of 200 million grocery items Bài tóm tắt · Instacart · 2018
…ture mỗi món. Tối ưu: tính feature phức tạp trong warehouse Snowflake thay vì Python, cache feature ít đổi, tối ưu chuyển dữ liệu từ warehouse sang máy AWS, song song hoá code chấm…
- Instacart's Item Availability Architecture: Solving for scale and consistency Bài tóm tắt · Instacart · 2023
…đường nạp: - Full sync: dịch vụ chấm điểm cập nhật một bảng Snowflake nhiều lần mỗi ngày; worker đọc định kỳ và upsert điểm của item đã làm mới. - Lazy refresh: item xuất hiện tron…
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…quan sát. - Pipeline cũ: tính feature trong data warehouse Snowflake , job batch chấm điểm mọi item mỗi 2–4 giờ , ghi vào Postgres để phục vụ. Vấn đề: chấm hàng trăm triệu item th…
- Moving the public Stack Overflow sites to the cloud: Part 1 Bài tóm tắt · Stack Overflow · 2025
…ce tự viết; đưa mọi thứ ra sau Cloudflare và xử lý log bằng Snowflake , để một nơi lo cả bảo mật, cache ở edge và failover. - Kiến trúc mới: Cloudflare → nginx → Kubernetes, cùng S…
- Koios: A lightweight workflow service combined with server-driven UI for a better customer experience Bài tóm tắt · Zillow · 2024
…ime của người dùng. - Kết quả workflow đi qua Kafka vào kho Snowflake , và qua nền tảng clickstream vào data lake; tiến trình của người dùng trong workflow xem được bằng distribute…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Sinh ID phân tán Chủ đề Thành viên
Khi chỉ có một database, AUTOINCREMENT là đủ. Khi dữ liệu nằm trên nhiều máy, ID không còn duy nhất toàn hệ thống. Đây thường là thứ đầu tiên vỡ khi phân tán dữ liệu. Yêu cầu hay gặp: duy nhất, sắp được theo thời gian,…
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- Sharding & IDs at Instagram Bài tóm tắt · Instagram · 2011
…i ms. ID trả về app bằng RETURNING . Vì sao Theo Instagram: Snowflake gần nhất với nhu cầu, nhưng thêm một service là thêm độ phức tạp. Phần lớn cách họ scale được với ít kỹ sư là…
- A Brief History of the UUID (KSUID) Bài tóm tắt · Segment · 2017
…ra TimeUUID: lộ host, có vấn đề khi lệch đồng hồ. - Twitter Snowflake: 64 bit, k-sorted, cần ZooKeeper (). - Boundary Flake (2012): 128 bit, sắp theo thứ tự từ điển, base62, nhưng…
- Goodbye to sequential integers, hello UUIDv7 Bài tóm tắt · Buildkite · 2023
…ông cần ai cấp phát. Cái giá là 128 bit (gấp đôi 64 bit của Snowflake hay ShardingID), nhưng theo họ là nhỏ so với cả dòng dữ liệu. Bài học cho SWE - Khoá chính ngẫu nhiên phạt cả…
- Enabling Multi-Region Data Systems at Notion Bài tóm tắt · Notion · 2026
…bộ; - endpoint lọc dữ liệu khách → Kafka của region → bảng Snowflake của region → view gộp. Nhân dịp này họ thay pipeline Flink tự quản (2022) bằng Snowpipe streaming connector ma…
- New Tweets per second record, and how! Bài tóm tắt · Twitter · 2013
…MySQL, hash tweet để chọn DB. Mất auto-increment, nên dùng Snowflake sinh ID (). Đọc và ghi được phân tán khắp cluster thay vì dồn vào "DB mới nhất". - Observability: Viz (metric)…
- How we built our Internal Data Warehouse at ClickHouse: A year later Bài tóm tắt · ClickHouse · 2024
Năm 2024 DWH có 19 nguồn nạp theo giờ hoặc theo ngày; mỗi ngày ghi khoảng 6 tỉ dòng, 50 TB chưa nén; đang lưu 470 TB đã nén của hai năm, tăng 23% trong 30 ngày; khoảng 70 user chạy SELECT mỗi tuần (2023: 13 TB nén, 10…
- Deno KV internals: building a database for the modern web Bài tóm tắt · Deno · 2023
…Thay đổi chính - Xây trên FoundationDB (dùng cho iCloud và Snowflake), vì nó đã kiểm chứng bằng deterministic simulation và cung cấp KV có giao dịch. FoundationDB lo phần khó: sha…
- How Discord Stores Billions of Messages Bài tóm tắt · Discord · 2017
…óa chính ((channel id, bucket), message id) . message id là Snowflake (xem ) nên sắp được theo thời gian; bucket là cửa sổ ~10 ngày để mỗi partition dưới 100MB (khi import đã thấy…
- Doximity Công ty Thành viên
Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout,…
- A look inside our sixth generation of server hardware Bài tóm tắt · Dropbox · 2022
…- Có hơn 100 service. Thiết kế máy riêng cho từng service ("snowflake") nghĩa là duy trì hơn 100 cấu hình. Họ chọn vài thiết kế đa dụng ("sedan gia đình" thay vì "xe thể thao"). Th…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
Manifesto 5/2025: theo DuckDB Labs, metadata của lakehouse nên nằm trong một database (catalog) chứ không rải thành file trên object storage như Iceberg và Delta. Catalog là bất kỳ hệ nào nói SQL, có primary key và lưu…
- Data Inlining in DuckLake: Unlocking Streaming for Data Lakes Bài tóm tắt · DuckDB Labs · 2026
Data lake (Iceberg, Hudi, Delta) lưu dữ liệu bằng Parquet và metadata cũng bằng file (JSON, Avro) trên object storage. Mỗi lần ghi nhỏ tạo một file dữ liệu mới và cập nhật metadata.
- How Figma's databases team lived to tell the scale Bài tóm tắt · Figma · 2024
…nhiều khoá là auto-increment hoặc ID tiền tố timestamp kiểu Snowflake , nếu chia theo khoảng thì dồn dữ liệu vào một shard. Hash giải quyết điều đó. Đánh đổi: range scan trên khoá…
- Our Migration to FoundationDB, Part 1 Bài tóm tắt · Inngest · 2026
…chứng ở quy mô lớn hơn nhiều (Apple CloudKit, metadata của Snowflake). Họ tham khảo paper CloudKit, QuiCK. - Đánh đổi: mô hình vận hành khác hẳn họ Redis, có đường cong học riêng.…
- Instacart Công ty Thành viên
Năm 2020, để bật mã hoá at-rest cho RDS Postgres vài TB mà không downtime nhiều giờ, Instacart dựng replica logic từ snapshot (đẩy vị trí replication khớp LSN của snapshot) thay vì copy toàn bộ; cách này về sau dùng cho…
- Instagram Công ty Thành viên
Bắt đầu bằng stack "nhàm chán" (Django + Postgres + Redis + Memcached trên EC2). Nguyên tắc: đơn giản, không phát minh lại, dùng đồ đã kiểm chứng. 3 kỹ sư vận hành được 14 triệu user . Cùng năm họ giữ Postgres, chia…
- Using Presto in our Big Data Platform on AWS Bài tóm tắt · Netflix · 2014
Nền big data của Netflix (2014) đặt data warehouse trên S3: compute tách khỏi storage, nhiều cụm (chạy dài hay tạm) cùng đọc chung dữ liệu. User viết job Pig hoặc Hive cho ETL và phân tích; một phần nhỏ kết quả và dữ…