Tìm kiếm
22 kết quả cho “NFS”. Tìm không phân biệt dấu.
- Long on Research, Short on Bandwidth Bài tóm tắt · Hudson River Trading · 2026
…pling, đẩy vào nền tảng analytics (Iceberg + ClickHouse). - NFS phá vỡ việc quy kết: lưu lượng hiện ra là của root qua worker kernel xprtiod . Hook vfs read thì đếm thừa vì cache;…
- Building reproducible Python environments with XARs Bài tóm tắt · Jane Street · 2023
…trường Conda dùng chung đầu tiên. Hai vấn đề: (1) đặt trên NFS, mà NFS chậm khi đọc hàng chục nghìn file liên tục; khởi động kernel kèm import mất vài phút so với dưới một giây từ…
- A Higgs-bugson in the Linux Kernel Bài tóm tắt · Jane Street · 2025
…oạt động giao dịch của cả công ty; nó hay chép file lớn qua NFSv3 có Kerberos (mặc định NFSv3 chỉ kiểm cổng < 1024 và tin client). - Hiếm khi một lần chép fail với -EACCES dù quyền…
- Building a Dependency Graph of Our Python Codebase Bài tóm tắt · Hudson River Trading · 2023
…toán. - Nguồn overhead: pkg resources quét filesystem (trên NFS càng chậm), C extension lớn (pandas, NumPy, extension nội bộ), khởi tạo tĩnh lúc import (dò môi trường, đăng ký clas…
- Building a Distributed Filesystem for Scalable Research Bài tóm tắt · Hudson River Trading · 2025
…dịch. Phần lớn hạ tầng on-premises, trước đây trộn Lustre, NFS filer và vài hệ mã nguồn mở tự vận hành. - Giới hạn chạm phải (theo HRT): chi phí mua appliance cho hàng trăm petaby…
- Lessons Learned From Running Apache Airflow at Scale Bài tóm tắt · Shopify · 2022
…mỗi lần đọc file là một request GCS: nghẽn. Chuyển sang một NFS server trong cluster (read-write-many) cộng script đồng bộ từ GCS; người dùng vẫn chỉ đụng tới GCS; IAM giới hạn ai…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- Migrating Large-Scale Interactive Compute Workloads to Kubernetes Without Disruption Bài tóm tắt · Uber · 2025
…hỏng là sập hẳn); cụm DSW quá tải trong khi cụm khác thừa; NFS mount cần nhóm host riêng. Thay đổi chính - Phiên DSW mô hình hoá thành Kubernetes Job thay vì viết CRD riêng (CRD l…
- Hudson River Trading Công ty Thành viên
Công ty giao dịch thuật toán (HRT), phần lớn hạ tầng on-premises, nhiều site trên thế giới. Năm 2021 họ scale Prometheus bằng shard chỉ ingest cộng query node đọc remote, vì federation mất khả năng tổng hợp ad-hoc trên…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
…U của process; CRIU ghi cả cây process xuống storage chung (NFS/SMB). Restore ở node khác theo chiều ngược lại. Process tiếp tục đúng tại lệnh nó bị dừng, không biết mình vừa được…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…oduction sang staging), snapshot đĩa Azure (chỉ bật cho máy NFS, không cho DB), và replication (chỉ để failover, không phải DR). Chuyện gì đã xảy ra - Tải DB tăng vọt (spam, cộng m…
- A Kubernetes Resource That Doesn't Exist: Caching CI Images on Ephemeral Runners Bài tóm tắt · Mercari · 2026
…rkflow pod + volume RWX) không hợp: trên T2D của GKE chỉ có NFS chậm; nhiều báo cáo khác cho thấy RWX làm khởi động 2–3 phút, kẹt Pending, mất GITHUB ENV khi hai pod khác node. - T…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…à đổi policy/config) và dữ liệu (một catalog chung trên S3, NFS, Postgres, Delta Table). - Từ DAG do scheduler giữ sang điều phối trong process: kiểu truyền thống giao cả DAG cho S…
- Shopify Công ty Thành viên
Năm 2015 không còn mua được DB to hơn nên Shopify shard, rồi phát hiện thao tác lặp mọi shard làm mất cô lập lỗi. Kiến trúc pod (mỗi request chỉ chạm một tập datastore cô lập, Pod Mover dời pod sang DR) ra đời .…