Tìm kiếm
32 kết quả cho “Conda”. Tìm không phân biệt dấu.
- Running Cost-Efficient Export Workloads at Uber Bài tóm tắt · Uber · 2026
…get , objects.list ), egress và latency. Thay đổi chính - Secondary index của Hudi không giúp đủ: bản ghi của cùng một người rải trên hầu hết các file, nên index tìm được dòng ứng…
- Scaling Etsy Payments with Vitess: Part 2 – The "Seamless" Migration Bài tóm tắt · Etsy · 2023
…quán, chạy query thử qua Vitess để ước tải, tìm cách dùng secondary index ( CreateLookupVindex , ExternalizeVindex ). - VReplication / MoveTables : luồng replicate ghi từ nguồn san…
- Building reproducible Python environments with XARs Bài tóm tắt · Jane Street · 2023
…à notebook vẫn nâng cấp theo nhịp riêng. - 2018: môi trường Conda dùng chung đầu tiên. Hai vấn đề: (1) đặt trên NFS, mà NFS chậm khi đọc hàng chục nghìn file liên tục; khởi động ke…
- Introducing Espresso - LinkedIn's hot new distributed document store Bài tóm tắt · LinkedIn · 2015
…: scale ngang bằng thêm node, đọc-sau-ghi + đọc eventual, secondary index luôn khớp dữ liệu, transaction trong một partition, tự chịu lỗi máy, schema evolution không downtime, chan…
- Timestone: Netflix's High-Throughput, Low-Latency Priority Queueing System Bài tóm tắt · Netflix · 2022
Năm 2018, khi thiết kế Cosmos thay hệ encode media Reloaded, cần hàng đợi ưu tiên giữa ba thành phần (API Optimus, rule engine Plato, lớp serverless Stratum). Yêu cầu:
- How we do On-Call Rotations Bài tóm tắt · Nubank · 2019
Đo chất lượng trực bằng MTTA (sức khoẻ của lịch trực) và MTTR (chất lượng công cụ và tài liệu). Tự nhiên nhất là team xây hệ nào trực hệ đó, nhưng team chỉ 2–8 người nên mỗi người trực nhiều ngày mỗi tháng, mà trực thì…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Query planner và hiệu năng truy vấn Chủ đề Thành viên
Database quan hệ không chạy SQL theo đúng cách nó được viết. Query planner chọn một plan (dùng index nào, join kiểu gì: nested loop, merge, hash; dừng sớm khi có LIMIT hay không) dựa trên thống kê về dữ liệu: số dòng,…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…). Bối cảnh - Đầu 2017, GitLab.com chạy một primary + một secondary hot standby PostgreSQL; secondary chỉ để failover, mọi tải dồn vào primary. Primary đã là điểm hỏng chung trong…
- Controlled Chaos with Fault Injection Testing Bài tóm tắt · Riot Games · 2019
…m dựng tay một lần. - Test thủ công (reboot instance, xem secondary lên thay) đều ổn; bật thật thì mọi cụm Redis sập ở trạng thái không phục hồi được, API mất rate limit (may mà cò…
- Jepsen: Amazon RDS for PostgreSQL 17.4 Bài tóm tắt · Jepsen · 2025
…replication đồng bộ (ghi bền trên primary và ít nhất một secondary trước khi ack); endpoint ghi và endpoint đọc. Secondary không hỗ trợ Serializable, nên mức mạnh nhất trên mọi no…
- Technical Secrets of PolarDB: High Availability - Smooth Switchover Bài tóm tắt · Alibaba · 2025
…g, đo throughput, latency, RTO, RPO. - Khác MySQL primary/secondary truyền thống (replicate binlog, mỗi bên một bản dữ liệu), PolarDB for MySQL dùng storage chia sẻ : primary (RW)…
- Three Basecamp outages. One week. What happened? Bài tóm tắt · Basecamp · 2020
…phút): LB primary ở Virginia crash lần nữa, failover sang secondary, rồi secondary cũng crash và lùi về primary, lặp lại lỗi đồng bộ router; chat chậm hàng giờ sau đó. Vì sao - Ba…
- 5-year Evolution of Ele.me's Transaction System - Part 2 Bài tóm tắt · Ele.me · 2020
…heo: . Bối cảnh (2015) - DB đơn hàng: 1 primary MySQL + 5 secondary + 1 node cho MHA. Không chịu được tải đột biến: nếu phòng kinh doanh không báo trước khuyến mãi thì secondary sậ…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- Journey to the cloud part II: Migrating Stack Overflow for Teams to Azure Bài tóm tắt · Stack Overflow · 2023
…bility group trải hai data center (4 node; đọc chỉ-đọc từ secondary cùng region, DR ở region kia). DB Sites cùng hàng chục DB, mỗi DB khoảng 1.000 Team. Để đồng bộ dữ liệu, họ mở r…
- Scaling Etsy Payments with Vitess: Part 1 – The Data Model Bài tóm tắt · Etsy · 2023
…g đó cũng giảm 60% tải DB chính. Theo Etsy, resharding và secondary (lookup) vindex của Vitess cho phép đổi thiết kế shard sau này. Vì sao - Mức độ khẩn cấp và yêu cầu giữ thanh to…
- Jepsen: MySQL 8.0.34 Bài tóm tắt · Jepsen · 2023
…n của RDS dừng hẳn ( CREATE DATABASE không xuất hiện trên secondary sau một giờ). Vì sao - Chuẩn không định nghĩa chặt nên mỗi hệ gọi tên mức isolation theo cách riêng; người dùng…
- Cache made consistent: Meta's cache invalidation solution Bài tóm tắt · Meta · 2022
…ần ghi còn bất nhất sau 5 phút. Còn lại - Consistency cho secondary index tách rời, đo consistency lúc đọc, và một consistency API cấp cao cho hệ phân tán (giống std::memory order…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
…bằng sai dồn dữ liệu về một node; lỗi quyền sở hữu : một secondary mới tới khoảng 80% thì tự nhận là primary, mất 20% dữ liệu mà không biết là phần nào. - Sharding (thủ công: dữ l…
- MySQL sharding at Quora Bài tóm tắt · Quora · 2020
…heo bảng , không theo database, vì codebase dựa nhiều vào secondary index; range-based vì dùng nhiều range query; dải ghi trong tên bảng T shard x y , metadata trong ZooKeeper. - A…
- Stack Overflow Architecture (2009) Bài tóm tắt · Stack Overflow · 2009
…c tạp. - NoSQL khó (theo HighScalability): mất aggregate, secondary index, query liên partition, giao dịch vượt một record; mọi bản denormalize phải tự cập nhật và tự xử lý lỗi một…
- Avoid pitfalls in scaling your Cassandra cluster: lessons and remedies Bài tóm tắt · Walmart · 2017
…. 2. Tách mối quan tâm: dùng Solr chung với Cassandra cho secondary index; mỗi mutation làm Solr đọc cả partition (vài MB) vào RAM, gây timeout. Tách cụm và ghi vào Solr qua Kafka…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…h vụ: 2 đến 32 phần, đa số 32; node chạy theo cặp primary/secondary; giới hạn tối đa 8 tiến trình truy cập một bảng ETS hay một fragment Mnesia để kiểm soát tranh chấp khoá. - Mnes…
- Wix Inbox Journey: 3 Approaches for Zero Downtime Database Migration Bài tóm tắt · Wix · 2021
…mẫu truy cập mới không dùng đủ khoá chính, buộc phải thêm secondary index rồi materialized view; - rất ít người ở Wix hiểu Cassandra đủ sâu để vận hành. Thay đổi chính Nguyên tắc c…