Tìm kiếm
40 kết quả cho “Tree search”. Tìm không phân biệt dấu.
- Vector search và index ANN Chủ đề Thành viên
Search ngữ nghĩa, gợi ý và RAG quy về tìm các vector (embedding vài trăm tới vài nghìn chiều) gần một vector query. Vector không có thứ tự tự nhiên, nên B-tree hay inverted index không dùng được; ở quy mô lớn phải dùng…
- Jane Street Công ty Thành viên
Công ty giao dịch định lượng và market making, viết gần như mọi thứ bằng OCaml. Blog không kể chiến lược, nhưng kể khá nhiều về hạ tầng quanh chúng. Ở tầng công cụ, từ 2012 họ tự viết build system Jenga; năm 2014…
- Anatomy of a (Postgres) search engine Bài tóm tắt · PlanetScale · 2026
…x vào một DB giao dịch thì phải giải những gì. Bối cảnh - B-tree sắp toàn bộ giá trị cột nên tìm được theo giá trị, khoảng, tiền tố, nhưng vô dụng với chuỗi ở giữa; LIKE '%x%' quét…
- Building a Distributed Filesystem for Scalable Research Bài tóm tắt · Hudson River Trading · 2025
…ric từ client thật bị nhiễu bởi host ồn. Liên quan - (Jane Street tự làm Depot) · · - · · ·…
- Long on Research, Short on Bandwidth Bài tóm tắt · Hudson River Trading · 2026
Giao dịch của HRT dựa trên lượng tính toán nghiên cứu khổng lồ: train nhiều loại model trên nhiều năm lịch sử từ các sàn khắp thế giới rồi mô phỏng hành vi của chúng trong vô số kịch bản giao dịch.
- KernelEvolve: How Meta's Ranking Engineer Agent Optimizes AI Infrastructure Bài tóm tắt · Meta · 2026
…sinh báo cáo, xử lý vòng build nhiều phút và lỗi hạ tầng. - Tree search (Monte Carlo tree search, chiến lược tiến hoá): mỗi ứng viên là một nút; nút mới lấy ngữ cảnh từ cha (đào sâ…
- Using OxCaml to implement type-safe reference counting between OCaml and Python Bài tóm tắt · Jane Street · 2026
…· 4. Điều chỉnh · Độ khó: Khó — [bài gốc](https://blog.janestreet.com/oxcaml-typesafe-reference-counting-python/) Bối cảnh - Jane Street là công ty OCaml, nhưng Python là ngôn ngữ…
- Flex Model: an event-driven feature engineering system Bài tóm tắt · Jane Street · 2026
…· 4. Điều chỉnh · Độ khó: Khó — [bài gốc](https://blog.janestreet.com/flex-model-an-event-driven-feature-engineering-system/) Bối cảnh - Nhiều chiến lược giao dịch của Jane Street…
- Scaling and benchmarking a critical message bus using a new indexing strategy Bài tóm tắt · Jane Street · 2026
…· 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://blog.janestreet.com/scaling-and-benchmarking-a-critical-message-bus/) Bối cảnh - Aria là framework và hệ messaging nội bộ (dựa trê…
- Building reproducible Python environments with XARs Bài tóm tắt · Jane Street · 2023
…ều chỉnh · Độ khó: Trung bình — [bài gốc](https://blog.janestreet.com/building-reproducible-python-environments-with-xars/) Bối cảnh - Trader và researcher dùng Python và notebook…
- How to shuffle a big dataset Bài tóm tắt · Jane Street · 2018
…y mô lớn · Độ khó: Trung bình — [bài gốc](https://blog.janestreet.com/how-to-shuffle-a-big-dataset/) Bài thuật toán của một researcher, không kể hệ thống thay đổi. Wiki giữ vì nó c…
- A FUSE server for our in-house storage backend Bài tóm tắt · Jane Street · 2026
…· 3. Quy mô lớn · Độ khó: Khó — [bài gốc](https://blog.janestreet.com/linux-engineering-depot-fuse-index/) Bối cảnh - Nhiều workload xử lý dữ liệu cần truy cập thông lượng cao vào…
- Designing for latency and iteration Bài tóm tắt · Optiver · 2026
Thuật toán HFT biến dữ liệu thị trường live và model thành lệnh, rất nhanh, và phải đi cùng nghiên cứu, risk và mọi thứ đổi theo khi có ý tưởng mới.
- How LinkedIn extended ClickHouse from distributed tracing to metric discovery and analytics Bài tóm tắt · ClickHouse · 2026
…liên tục từ time-series DB vào bảng ReplicatedReplacingMergeTree (khử trùng theo ID duy nhất khi merge, nên chịu được at-least-once). Mỗi ngày dựng bảng mới từ dữ liệu offline, bắt…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- CI và build ở quy mô lớn Chủ đề Thành viên
Lúc nhỏ, CI là "mỗi commit chạy hết build và test". Khi codebase và số commit tăng, chạy hết trở thành bất khả (Stripe 2026: chạy tuần tự mất bốn tháng), và thời gian chờ của một thay đổi không còn chỉ là thời gian…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Giao dịch phân tán và nhất quán xuyên service Chủ đề Thành viên
Với một DB quan hệ, BEGIN … COMMIT lo hết. Khi dữ liệu bị chia (shard, tách service, thêm Redis bên cạnh Postgres), một thao tác nghiệp vụ chạm nhiều nơi, và câu hỏi khó nhất trở thành "timeout rồi, việc đó đã xảy ra…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Meta Công ty Thành viên
Facebook khởi đầu trên LAMP với mỗi trường đại học một DB; mở rộng bằng Memcache, rồi TAO, rồi data center riêng, edge cạnh ISP và region nhiều toà nhà. Giai đoạn 2010–2020 là các ca góc của hệ phân tán: bất nhất cache…
- How we made ClickStack 5x faster for ClickHouse observability Bài tóm tắt · ClickHouse · 2026
…mẫu thì thiếu giá trị). Nay ship sẵn rollup AggregatingMergeTree theo bucket 15 phút (key, value, tần suất) tính lúc insert; autocomplete không còn tranh tài nguyên với search, xếp…
- DoorDash Công ty Thành viên
Nguồn đầu tiên của DoorDash trong wiki là bài 2022 của một thực tập sinh nghiên cứu (CMU): chaos engineering ở production không hợp với DoorDash vì khách mất đơn, nên thử fault injection có hệ thống ở mức service…
- Why market data is a deep learning challenge Bài tóm tắt · Optiver · 2026
Động lực chính của các chiến lược HFT ở Optiver là market data: luồng lệnh đặt, huỷ, sửa và khớp từ sàn; tầm dự báo từ vài giây tới vài phút. Câu hỏi: với mọi thứ quan sát được lúc này, giá sẽ đi đâu tiếp?
- Building visibility into a CI platform Bài tóm tắt · Optiver · 2026
Lượng code qua pipeline của Optiver tăng mạnh vài năm gần đây, không chỉ do software engineer: researcher và trader cũng viết code (visualisation, thí nghiệm, tự động hoá phân tích) qua cùng pipeline build/test, và AI…
- Inside HRT's Python Fork: Leveraging PEP 690 for Faster Imports Bài tóm tắt · Hudson River Trading · 2025
Phần lớn code của HRT nằm trong một monorepo; module Python nội bộ import được ở mọi nơi. Tiện, nhưng import tăng không kiểm soát. Import Python chạy lúc runtime và chậm khi module lớn, nằm trên filesystem phân tán, có…
- Improving Python: How we made pip install twice as fast Bài tóm tắt · Man Group · 2025
Man Group là quỹ đầu tư giao dịch hệ thống hơn 35 năm; hơn một phần ba nhân sự là technologist, quant và data scientist. Python là nền tảng phát triển chính; đội Python Platform phục vụ hàng trăm người dùng mỗi ngày.
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…