Tìm kiếm
40 kết quả cho “LLM”. Tìm không phân biệt dấu.
- Hạ tầng phục vụ LLM inference Chủ đề Thành viên
Phục vụ LLM giống một dịch vụ web ở chỗ cần scale theo tải, deploy phiên bản mới an toàn và phục hồi khi một process chết; nhưng ba đặc điểm làm các công cụ quen thuộc hỏng:
- Navigating Fair Housing Guardrails in LLMs Bài tóm tắt · Zillow · 2024
…//www.zillow.com/tech/navigating-fair-housing-guardrails-in-llms/) Bối cảnh - Zillow thử trợ lý hội thoại bằng LLM cho người tìm nhà. Rủi ro riêng của bất động sản: luật Fair Housi…
- Autoscaling endpoints for LLM inference Bài tóm tắt · Together AI · 2026
…gốc](https://www.together.ai/blog/autoscaling-endpoints-for-llm-inference) Bài của nhà cung cấp, viết như hướng dẫn dùng tính năng autoscaling cho Dedicated Model Inference; mọi nh…
- Automating Feature-Flag Cleanup at Scale with a Multi-Agent LLM System Bài tóm tắt · DoorDash · 2026
…automating-feature-flag-cleanup-at-scale-with-a-multi-agent-llm-system/) Bối cảnh - Nền tảng experimentation của DoorDash quản lý hơn 60.000 feature flag (gọi là dynamic value, DV)…
- Shadow Engine Recovery in NVIDIA Dynamo Bài tóm tắt · NVIDIA · 2026
…: Khó — [bài gốc](https://developer.nvidia.com/blog/restore-llm-inference-capacity-in-seconds-with-shadow-engine-recovery-in-nvidia-dynamo/) Bài của nhà cung cấp về tính năng đang…
- Learning the language of home buying: Zillow's event-based foundational user behavior model Bài tóm tắt · Zillow · 2026
…ất mạch câu chuyện và quan hệ giữa thuộc tính. - Zillow thử LLM frontier : theo Zillow, chúng hiểu kiến thức chung nhưng không nắm phân phối tồn kho địa phương (xác suất kết hợp gi…
- How Deterministic Controls Turn AI Output Into Reliable Prompt Templates Bài tóm tắt · Salesforce · 2026
…tệ rõ ràng, mà là template trông đúng nhưng hỏng khi dùng : LLM bịa một field, làm hỏng record ID, trả metadata sai định dạng, hay đi nhầm nhánh. Thay đổi chính - Router + ba sub-a…
- NVIDIA Dynamo Snapshot: Fast Startup for Inference Workloads on Kubernetes Bài tóm tắt · NVIDIA · 2026
Inference cần scale theo tải, nhưng cold start một worker trên Kubernetes mất vài phút; trong lúc đó GPU đã cấp nhưng không sinh token, và hệ không kịp hấp thụ đỉnh tải.
- Canary rollouts: upgrade models in production without downtime Bài tóm tắt · Together AI · 2026
Hệ sinh thái model mở đổi nhanh nên đổi checkpoint hay đổi họ model là việc thường xuyên. Hai cách thường làm đều để con người làm cơ chế an toàn: đổi thẳng (mọi user cùng thấy, p95 tăng gấp đôi thì biết qua dashboard…
- Coding Had a Concurrency Problem: How Mux Helped Solve It Bài tóm tắt · Coinbase · 2026
…được mã hoá trong plugin và skill, và nối công cụ ngoài với LLM Gateway, fleet agent, kiểm soát độ nhạy cảm của repo sẽ tốn nhiều công bảo mật. - Điều kiện có trước: truy cập model…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…-history-of-notions-data-catalog) Phần sinh mô tả bảng bằng LLM được tóm tắt ngắn; lõi của bài là đưa schema về nguồn (code) và lan metadata theo lineage. Bối cảnh - Giai đoạn 1 (k…
- Designing MCP Gateway: Uber's MCP Management Platform Bài tóm tắt · Uber · 2026
…DL lấy tên method, schema request/response và comment, dùng LLM sinh mô tả tool dễ hiểu cho agent, dịch schema sang JSON-RPC 2.0 của MCP. Server native (dựng bằng framework MCPFx)…
- Investment Insights from Two Years of AI-Powered Postmortem Analysis Bài tóm tắt · Zalando · 2025
…ostgres, DynamoDB, S3, ElastiCache, Elasticsearch) thử dùng LLM. Thay đổi chính - Thử NotebookLM trước: tóm tắt nhanh gấp 3 nhưng vẫn mất hàng tuần cho một nhóm chuyên gia, và có ả…
- How we built our multi-agent research system Bài tóm tắt · Anthropic · 2025
…gay với khoảng 20 câu hỏi thật vì hiệu ứng lúc đầu rất lớn; LLM-as-judge theo rubric; người thử phát hiện điều tự động bỏ sót (agent ưa trang SEO hơn nguồn học thuật). Vận hành ở p…
- Helix: The internal tool powering our Shopify app's native migration Bài tóm tắt · Shopify · 2026
…app Shopify, app lớn nhất, hơn 300 màn hình (2026). - Dùng LLM để viết lại vì model đã đủ mạnh, nhưng theo Shopify kết quả nhất quán, chất lượng, bảo trì được thì không có sẵn; cầ…
- Treating Data as Code at Two Sigma Bài tóm tắt · Two Sigma · 2025
…tract giữa đội dữ liệu và bên dùng để chặn thay đổi phá vỡ; LLM hỗ trợ chuẩn bị dữ liệu và tài liệu. Vì sao - Theo Two Sigma, câu hỏi cũ "dữ liệu có tới không, có đúng giờ không" k…
- How we rolled out security keys at Twitter Bài tóm tắt · Twitter · 2021
Sau sự cố bảo mật năm 2020 (bài nhắc tới, không kể chi tiết), Twitter đẩy nhanh dùng security key (FIDO/WebAuthn) cho nhân viên. Khác SMS hay OTP, security key phân biệt được trang thật và trang giả nên chặn được…
- Nền tảng ML (feature, training, serving, giám sát model) Chủ đề Thành viên
Model ML đầu tiên của một công ty thường được nhúng thẳng vào một service có sẵn, với feature tính trong vài script và train bằng một job riêng. Khi số model và số người làm model tăng, bốn chỗ cùng hỏng:
- Tự động hoá vận hành và auto-remediation Chủ đề Thành viên
Khi số máy, shard, pod tăng lên hàng nghìn, lỗi "hiếm" (một node chết, một đĩa hỏng, một replica trễ) thành chuyện hằng ngày, và thao tác tay không còn theo kịp: Stripe có hàng trăm lần shard suy giảm mỗi năm, mỗi lần…
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Coding agent trong engineering (migrate, viết lại, chạy song song, quyền hạn) Chủ đề Thành viên
Từ 2026 các công ty bắt đầu giao cho coding agent những việc trước đây là dự án nhiều tuần: migrate hàng trăm module hay dataset, dọn feature flag, viết lại cả framework hay app. Agent viết nhanh, nhưng ba thứ không tự…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Sự cố và postmortem Chủ đề Thành viên
Nhiều bước ngoặt kiến trúc trong wiki bắt đầu từ một sự cố: Netflix lên cloud sau 3 ngày không gửi được DVD, Twitter viết lại hệ thống sau World Cup 2010, Instagram đi nhiều data center sau trận bão 2012. Trang này gom…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Độ tin cậy và multi-region Chủ đề Thành viên
Thay đổi kiến trúc lớn thường không đến từ kế hoạch mà từ một sự cố đau đớn. Khi đã chạy nhiều vùng, nhiều giả định của hệ thống một vùng không còn đúng.
- Mã hoá đầu cuối và hệ thống mà server không được đọc Chủ đề Thành viên
Một hệ thống bình thường giả định server thấy hết dữ liệu: server fan-out tin nhắn, lưu bản sao lưu, đồng bộ thiết bị, thu log để vận hành, chạy model, chống lạm dụng. Khi sản phẩm hứa chính nhà vận hành cũng không đọc…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Xử lý sự cố và on-call Chủ đề Thành viên
Khi hệ còn nhỏ, vài người biết hết mọi thứ; có lỗi thì người thấy đầu tiên sửa luôn. Khi có hàng trăm service và hàng trăm engineer, câu hỏi đổi khác:
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Together AI Công ty Thành viên
Nhà cung cấp hạ tầng chạy model mở. Hai nguồn trong wiki (2026) đều là bài mô tả tính năng của chính họ cho Dedicated Model Inference: autoscaling theo metric của engine, với thí nghiệm cho thấy trên cùng tải chỉ tín…
- The Journey of User-Generated Content Translation Bài tóm tắt · Mercari · 2025
…/) Một bài trong series Global App (ngoài sheet). Phía dùng LLM qua API của nhà cung cấp, không tự host model. Bối cảnh - Dịch tiêu đề và mô tả listing (tiếng Nhật) sang tiếng Anh…
- A postmortem of three recent issues Bài tóm tắt · Anthropic · 2025
…rtem-of-three-recent-issues) Postmortem của hạ tầng phục vụ LLM. Phần sampling và độ chính xác số học chỉ tóm tắt ngắn; trọng tâm wiki là ba lỗi chồng lên nhau, thay đổi định tuyến…
- Mercari Công ty Thành viên
PaymentService của Merpay (2019) giữ nhất quán thanh toán qua nhiều service bằng cách tự làm ở tầng ứng dụng: chia pha + state machine, idempotency key bắt buộc, bù trừ kiểu TCC, đối soát và fault injection . Ba năm…
- Scryer: Netflix's Predictive Auto Scaling Engine Bài tóm tắt · Netflix · 2013
…ho nhau. Liên quan - · · - Autoscale theo việc đang chờ cho LLM, cùng lý do cold start dài:…
- NVIDIA Công ty Thành viên
Hai nguồn của NVIDIA (2026) đều về phục vụ LLM trên Kubernetes với Dynamo, đều là bài nhà cung cấp tự đo. Đầu tiên là rút ngắn cold start bằng checkpoint/restore (CRIU + cuda-checkpoint), bỏ KV cache khỏi checkpoint,…
- Salesforce Công ty Thành viên
Cloud Atlas là kho dữ liệu định danh toàn cầu phía sau phần lớn việc xác thực của Salesforce, mục tiêu five nines. Năm 2026 họ bỏ rate limit theo từng instance (sai khi autoscale, không thấy tổng tải của khách) và tránh…
- Walmart Công ty Thành viên
Nhiều team ở Walmart dùng Cassandra làm nguồn chính (hàng chục tới hàng trăm nghìn ops/giây). Năm bài học (2017): shard key nhân tạo chống partition lệch, tách Solr khỏi Cassandra, không đọc/ghi cả hàng, cẩn thận với…