Tìm kiếm
40 kết quả cho “Protobuf”. Tìm không phân biệt dấu.
- Accelerating Search and Ingestion with High-Performance gRPC in OpenSearch Bài tóm tắt · Uber · 2026
…chống gian lận, gợi ý Uber Eats). Hạ tầng nội bộ nói gRPC + Protobuf, còn OpenSearch chỉ có REST/JSON; các lớp chuyển đổi ở giữa thêm latency, phức tạp và rủi ro vận hành. Theo Ube…
- A new Protocol Buffers generator for Go Bài tóm tắt · Vitess · 2021
…âng cao — [bài gốc](https://vitess.io/blog/2021-06-03-a-new-protobuf-generator-for-go/) Bối cảnh - Mọi giao tiếp giữa các thành phần của Vitess đi qua gRPC, mọi message là Protobuf…
- Courier: Dropbox migration to gRPC Bài tóm tắt · Dropbox · 2019
…hrift cho pipeline log, và "legacy RPC" chính là HTTP/1.1 + protobuf. - Chọn gRPC chủ yếu vì giữ được protobuf sẵn có , cộng HTTP/2 multiplex và streaming hai chiều. Theo Dropbox,…
- How we migrated Dropbox from Nginx to Envoy Bài tóm tắt · Dropbox · 2020
…m hiện tại: API chuyển từ REST sang gRPC (cần transcoding), protobuf là chuẩn mô tả, mọi thứ build bằng Bazel. Vận hành đắt: giám sát chắp vá (Lua, parse error.log, exporter riêng)…
- Building Scalable Real Time Event Processing with Kafka and Flink Bài tóm tắt · DoorDash · 2022
…oad. Envelope nằm trong Kafka header. Event định nghĩa bằng Protobuf trong một repo chung; thư viện tự chuyển sang Avro cho đích cần. Payload từ service bị kiểm schema và loại ngay…
- Remote Read Meets Streaming Bài tóm tắt · Prometheus · 2019
…bộ kết quả chưa nén trong bộ nhớ, marshal thành một message protobuf khổng lồ, nén, gửi; client cũng phải nhận đủ mới giải mã được. Một request 8 giờ khớp 10.000 series có thể tốn…
- Building a region‑aware, SEO‑friendly global web app Bài tóm tắt · Mercari · 2025
…0 dòng chỉ để biến đổi dữ liệu. Cân nhắc GraphQL nhưng chọn Protobuf + ConnectRPC , cùng giao thức với giao tiếp giữa module backend, để ít công nghệ hơn. BFF viết bằng Go, nằm ở b…
- Edge Authentication and Token-Agnostic Identity Propagation Bài tóm tắt · Netflix · 2021
…ity trung lập với loại token. - Passport: cấu trúc identity protobuf, sống trong một request, chỉ dùng nội bộ, chứa thông tin user và thiết bị, mỗi phần có HMAC (SHA-256) riêng kèm…
- Stack Overflow: How We Do App Caching - 2019 Edition Bài tóm tắt · Stack Overflow · 2019
…ho cache: cache thẳng kiểu mà Dapper trả về, serialize bằng protobuf-net. Ít kiểu dữ liệu thì ít allocation hơn. - Kiểu dữ liệu Redis khác: List làm hàng đợi (gộp sự kiện, thao tác…
- Enhancing Performance in Microservice Architecture with Kitex Bài tóm tắt · ByteDance · 2024
Thời monolith, gọi hàm tốn nano giây; chuyển sang microservice, mỗi lời gọi thành RPC tốn mili giây, chênh khoảng 10^6. Theo bài, lý do tách là trần tính toán của một máy và hiệu suất phát triển không tăng tuyến tính…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Hạ tầng tìm kiếm Chủ đề Thành viên
Lúc đầu, tìm kiếm là LIKE trên database hoặc một thư viện (Lucene) nhúng trong app. Khi dữ liệu và tính năng tăng, search thành một hệ có trạng thái riêng, khác database ở mấy điểm:
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Quản lý fleet và migrate code hàng loạt Chủ đề Thành viên
Khi số component (repo, service, pipeline, thư viện) tăng nhanh hơn số kỹ sư, chi phí của mỗi thay đổi xuyên suốt (nâng thư viện, vá bảo mật, đổi API nội bộ, khai tử dataset) tỉ lệ với số component chứ không với độ khó…
- Batching và khấu hao round-trip Chủ đề Thành viên
Nhiều nút thắt không nằm ở việc mỗi thao tác tốn bao nhiêu công, mà ở chi phí cố định trả cho mỗi thao tác: một round-trip mạng, một lần fsync, một PUT lên object storage, một syscall, một transaction. Khi chi phí cố…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Kiến trúc frontend Chủ đề Thành viên
Frontend bắt đầu là vài trang render ở server; lớn lên thành ứng dụng có trạng thái, nhiều team cùng sửa, và mỗi tính năng thêm vào là thêm byte phải tải. Ba trục lặp lại trong các nguồn: render ở đâu (server, client,…
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Observability và monitoring Chủ đề Thành viên
Lúc đầu, monitoring là vài dashboard và một công cụ cài sẵn; log đọc thẳng từ máy. Khi hệ lớn lên, chính hệ quan sát thành một hệ phân tán có bài toán riêng:
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- Vitess (PlanetScale/CNCF) Công ty Thành viên
Dự án mã nguồn mở, sinh ra ở YouTube khoảng 2010 khi tầng định tuyến shard được tách khỏi ứng dụng . Bài 2022 giải thích bước cut-over của online schema change: đệm query bằng ACL có hạn, đổi tên bảng để ghi trở nên bất…
- Kitex: Unifying Open Source Practice for a High-Performance RPC Framework Bài tóm tắt · ByteDance · 2022
…. - Nhu cầu bên ngoài khác nhu cầu nội bộ: người ngoài dùng Protobuf/gRPC nhiều hơn Thrift, nên họ viết lại code sinh cho Protobuf (Fastpb: ghi nhanh hơn khoảng 68%, ít cấp phát hơ…
- An Article to Learn About ByteDance Microservices Middleware CloudWeGo Bài tóm tắt · ByteDance · 2022
…y Kitex "bình thường" vì kịch bản không khớp. Cộng đồng đòi Protobuf nên sẽ tối ưu cho Protobuf. Vì sao - Theo ByteDance, phần lớn framework Go phổ biến không hỗ trợ Thrift (giao t…
- グローバル展開を支える基盤の裏側 (Behind the Infrastructure Powering Global Expansion) Bài tóm tắt · Mercari · 2025
…bật/tắt từng module, giao diện giữa module định nghĩa bằng Protobuf và gọi bằng gRPC. Local và môi trường dev: mọi module trong một process, gọi localhost . Production: nhiều Depl…
- モジュラモノリスの品質を支えるリーダビリティチーム ― AI時代のスケーラブルなコード管理 (Readability team for a modular monolith in the AI era) Bài tóm tắt · Mercari · 2025
…trên xuống tầng dưới, giao tiếp giữa module chuẩn hoá bằng Protobuf + gRPC. Theo tác giả, modular monolith tự nó không giải được vấn đề của thời microservices: khác biệt giữa các…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
…n được chốt bằng Protocol Buffers . API gửi bất đồng bộ bản protobuf vào Kafka; consumer gom lô ghi S3; định kỳ nạp vào Presto và Redshift để phân tích nhiều tháng bằng SQL (ví dụ:…
- Designing MCP Gateway: Uber's MCP Management Platform Bài tóm tắt · Uber · 2026
…Cadence chạy theo lịch) quét IDL registry của Uber (service Protobuf/Thrift trên HTTP, gRPC, TChannel): với mỗi nhóm service:API, tạo hoặc cập nhật một MCP server ảo, parse IDL lấy…
- Business-Driven Upgrade of Alibaba Group: The Evolution of Dubbo 3.0 Bài tóm tắt · Alibaba · 2021
…ne blocking; vẫn hỗ trợ serialization cũ để chuyển dần sang Protobuf. - Hai cách vào service mesh dưới một control plane: Thin SDK (sidecar, SDK chỉ giữ lõi RPC) và Proxyless (SDK…
- Real-Time Data Lake Ingestion Is Saying Goodbye to ETL: Architectural Subtraction from Kafka to Iceberg Bài tóm tắt · Alibaba · 2026
…a bước từ message tới bảng: (1) chuyển record (giải mã Avro/Protobuf, unwrap CDC của Debezium, gắn topic/partition/offset); (2) tự tiến hoá schema với thay đổi tương thích (thêm cộ…
- Hertz, an Ultra Large Scale Enterprise-Level Microservice HTTP Framework, is Now Officially Open Source Bài tóm tắt · ByteDance · 2022
…có HTTP/1). - Công cụ hz sinh khung project từ IDL (Thrift, Protobuf) và cập nhật lại khi IDL đổi. - Quy trình ổn định: mọi PR do người có kinh nghiệm review, mỗi bản phát hành đượ…
- Dropbox Công ty Thành viên
Dropbox luôn là hybrid: metadata ở data center riêng, nội dung file trên S3. Ở ~500 PB họ tự xây Magic Pocket, theo Dropbox vì hiệu năng và unit economics . Cái giá kèm theo là phải tự dựng cả backbone và edge network .…
- Introducing Grab-Kit: Distributed Service Design at Grab Bài tóm tắt · Grab · 2018
…ice sinh file proto, từ đó sinh boilerplate, DTO và binding protobuf. - Middleware chung cho mọi client: logging, circuit breaker, stats, panic recovery, profiling, caching. Metric…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…bằng cách lấy mẫu bản ghi, hoặc truyền vào (Medium sinh từ protobuf). Vì sao - Theo Medium, giữ một công cụ chung (Spark) cho cả backup, ETL và phân tích giúp người dùng và develo…
- Data fetching strategy for Mercari Global Marketplace web app Bài tóm tắt · Mercari · 2025
…a với gRPC, cùng giao thức với BFF. Kiểu TypeScript sinh từ Protobuf bằng Buf; GitHub Action chạy mỗi khi .proto đổi, sinh SDK TypeScript và xuất bản thành gói npm nội bộ . - Data…
- A brief history of Notion's data catalog Bài tóm tắt · Notion · 2024
…Thay đổi chính - Schema từ nguồn, bằng TypeScript: thay vì Protobuf/Avro/JSON Schema như thường lệ, dùng kiểu TypeScript làm IDL , vì codebase đã định nghĩa nhiều data model bằng…
- Prometheus Công ty Thành viên
Nguồn đầu tiên của dự án Prometheus trong wiki là thay đổi giao thức remote read ở bản 2.13 (2019): thay vì gom toàn bộ kết quả chưa nén vào một message protobuf (tới 2,5 GB mỗi bên cho 10.000 series), server stream…
- Service Architecture at SoundCloud — Part 3: Domain Gateways Bài tóm tắt · SoundCloud · 2021
…h những trường cần, VAS chỉ lấy phần đó. Dùng Twinagle (IDL protobuf theo giao thức Twirp). Đánh đổi: schema aggregate gắn chặt hơn với topology service. Họ cân nhắc GraphQL nhưng…