Tìm kiếm
35 kết quả cho “EDS”. Tìm không phân biệt dấu.
- A monolithic architecture for our clients' hundreds of versions: how we write and support tests Bài tóm tắt · Bumble · 2019
…/bumble-tech/a-monolithic-architecture-for-our-clients-hundreds-of-versions-how-we-write-and-support-tests-php-e8fe0b79c0bc) Bối cảnh - Backend Badoo là monolith PHP 12 năm tuổi, k…
- How GitHub uses merge queue to ship hundreds of changes every day Bài tóm tắt · GitHub · 2024
…neering-principles/how-github-uses-merge-queue-to-ship-hundreds-of-changes-every-day/) Bài ngoài sheet. GitHub kể việc dùng chính tính năng sản phẩm của họ; số liệu tự đo. Bối cảnh…
- How Instacart Modernized the Prediction of Real Time Availability for Hundreds of Millions of Items While Saving Costs Bài tóm tắt · Instacart · 2023
…odernized-the-prediction-of-real-time-availability-for-hundreds-of-millions-of-items-59b2a82c89fe) Phần 2 trong series ba phần; phần 3 (kiến trúc phục vụ điểm): . Phần 1 (sản phẩm)…
- What Powers Instagram: Hundreds of Instances, Dozens of Technologies Bài tóm tắt · Instagram · 2011
…ttps://instagram-engineering.com/what-powers-instagram-hundreds-of-instances-dozens-of-technologies-adf2e22da2ad) Bối cảnh Sau hơn 1 năm ra mắt (12/2011): 14 triệu+ user, 3 kỹ sư ,…
- Managing hundreds of servers for load testing: autoscaling, custom monitoring, DevOps culture Bài tóm tắt · Miro · 2020
…[bài gốc](https://medium.com/miro-engineering/managing-hundreds-of-servers-for-load-testing-autoscaling-custom-monitoring-devops-culture-390fd1c7e699) Bài 2; bài 1 (kịch bản thực t…
- Triggered: Incident #1234 (incident process needs fixing) Bài tóm tắt · PayPal · 2021
….com/paypal-tech/triggered-incident-1234-incident-process-needs-fixing-2a09dbac9edd) Bài trên blog PayPal Tech, do một Agile Coach kể. Bài không nêu số liệu kỹ thuật; giá trị nằm ở…
- Phoenix — Tinder's Testing Platform, Part III (Metrics System) Bài tóm tắt · Tinder · 2020
…hiều và nhanh. - Công cụ phân tích thí nghiệm quen dùng là Redshift. Thay đổi chính - Hạ rào thêm metric: metric mới chỉ cần là một rollup viết bằng truy vấn Redshift theo hợp đồng…
- Building a Pipeline to Process Clickstream Data Bài tóm tắt · Zillow · 2018
…chuyển sang CSV (làm phẳng, tính cột), upload S3, COPY vào Redshift . Lịch bằng SSIS/SQL Server Agent. - V2: dữ liệu tăng, gộp ba bước đầu thành đọc–biến đổi–ghi trong bộ nhớ, 8 lu…
- Snitch: Putting consistency back into S3 Bài tóm tắt · Box · 2018
…), job MapReduce dedupe sang bucket đích, Hive và ETL sang Redshift đọc từ đó. - Năm 2018 S3 còn nhất quán cuối với list() : object mới chưa hiện, object đã xoá vẫn hiện. Dedupe và…
- Building Scalable Real Time Analytics, Alerting and Anomaly Detection Architecture at Dream11 Bài tóm tắt · Dream11 · 2019
…là AWS Aurora , không hợp truy vấn tổng hợp; warehouse là Redshift , nạp bằng ETL mỗi giờ , nên không có số liệu thời gian thực. - Cần biết ngay: tốc độ người tham gia contest, tr…
- Medium’s DynamoDB Data Source for Apache Spark Bài tóm tắt · Medium · 2016
…ạng JSON bằng Spark; các job Spark khác nạp bản backup vào Redshift, Databricks. Medium chọn cách này thay vì AWS Data Pipeline để mọi job ETL và phân tích có cùng một kiểu viết. -…
- The Stack That Helped Medium Drive 2.6 Millennia of Reading Time Bài tóm tắt · Medium · 2016
…i–tag–collection, đi đồ thị để gợi ý. - Dữ liệu phân tích: Redshift; nạp liên tục dữ liệu lõi từ Dynamo và event log từ S3. Bộ lập lịch nội bộ Conduit chạy job theo điều kiện phụ t…
- Migrating Millions of Concurrent Websockets to Envoy Bài tóm tắt · Slack · 2021
…Envoy (quyết định 2019): cluster và endpoint cấu hình động (EDS) nên đổi endpoint không cần reload; đổi code/cấu hình thì hot restart không rớt kết nối , giữ cả số liệu thống kê; z…
- Fast and flexible observability with canonical log lines Bài tóm tắt · Stripe · 2019
…o Kafka; consumer gom lô ghi S3; định kỳ nạp vào Presto và Redshift để phân tích nhiều tháng bằng SQL (ví dụ: tỉ lệ phiên bản Go của client). - Cùng dữ liệu đó còn nuôi Developer D…
- How We Verify Custom Hardware Bài tóm tắt · Hudson River Trading · 2021
HRT dùng FPGA trong hệ giao dịch để giảm latency, chịu burst dữ liệu tốt hơn và giảm độ phức tạp. Phần cứng song song ở mức phần mềm hiếm gặp nên dễ lỗi timing, và mỗi thiết bị phải đúng chức năng, tuân thủ risk check…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Event-driven, message queue và Kafka Chủ đề Thành viên
Khi một hệ có nhiều bên cần biết "có gì vừa xảy ra" (đơn hàng đổi trạng thái, tin đăng được sửa, ticket được cập nhật), gọi đồng bộ từng bên một làm producer phải biết mọi consumer, và một consumer chậm kéo chậm cả…
- Tách compute khỏi storage Chủ đề Thành viên
Hệ có trạng thái kiểu cổ điển (database, broker Kafka, fileserver Git) đặt dữ liệu bền trên đĩa của chính máy xử lý. Máy đó vừa là compute vừa là storage, nên:
- Tracing phân tán và log theo request Chủ đề
Khi một request đi qua hàng chục service, metric của từng service cho biết có chậm, log của từng service cho biết từng mảnh; không cái nào trả lời "request này chậm vì đâu" hay "trang này tốn bao nhiêu". Tracing phân…
- Zillow Công ty Thành viên
Zillow cho thấy một công ty dữ liệu đi từ ứng dụng web có cache tự làm sang nền tảng dữ liệu, ML và thí nghiệm dùng chung. Năm 2012 các sản phẩm mới đã chạy trên AWS: nền tảng website cho môi giới trên WordPress dùng…
- Grab Công ty Thành viên
Dùng AWS từ ngày đầu (MyTeksi 2012: Rails trên EC2 + RDS MySQL) và theo Grab chỉ cần dưới 10 kỹ sư vận hành nhờ managed service . Năm 2016 họ chuyển API hành khách từ Rails sang Go theo từng endpoint bằng shadow…
- Medium Công ty Thành viên
Năm 2015 Medium gặp throttle trên DynamoDB dù tổng capacity còn dư, vì capacity bị chia cho các partition ẩn; họ tự dựng access log qua ELK để tìm key nóng . Đầu 2018 Medium chuyển monolith Node.js có từ 2012 sang…
- Using Rust to Scale Elixir for 11 Million Concurrent Users Bài tóm tắt · Discord · 2019
…yện yield/reduction của scheduler BEAM. Phía Elixir gọi SortedSet như một module bình thường. Mã nguồn mở sorted set nif . Vì sao - Giữ logic realtime cốt lõi trong Elixir (đồng th…
- How we migrated Dropbox from Nginx to Envoy Bài tóm tắt · Dropbox · 2020
…plane xDS tự viết (một service gRPC thường, viết bằng Go): EDS nối service discovery, SDS nối hệ phân phối secret, RTDS trỏ vào kho cấu hình phân tán để cả cụm nhận cùng flag (bản…
- Resiliency and Disaster Recovery with Kafka Bài tóm tắt · eBay · 2020
…-with-kafka/) Bối cảnh - Team Motors Vertical (eBay Classifieds Group) chạy phần mềm ở nhiều region , định kỳ diễn tập tắt cả một region. Kafka là thành phần quan trọng nhất, nhưng…
- Inside Stream's Real-Time Architecture for Trading & Investing Apps Bài tóm tắt · Stream (GetStream) · 2026
…ading-architecture/) Bài của nhà cung cấp (Stream bán API Feeds/Chat/Video), giọng tiếp thị; số liệu là benchmark tự chạy, không phải tải production của khách. Wiki giữ phần kiến t…
- Driving Southeast Asia Forward with AWS Bài tóm tắt · Grab · 2017
…nhắc chứ không kể chi tiết. - Nền tảng phân tích: MySQL → Redshift → data lake trên S3 + EMR + Presto (đang chờ Athena). Hàng trăm triệu điểm GPS mỗi ngày, dữ liệu nhiều petabyte.…
- Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption Bài tóm tắt · Grab · 2026
…n tích phễu: tài nguyên cluster giảm khoảng một nửa. - UnifiedSparkCatalog (mở mã nguồn): Spark chỉ có một catalog mặc định, nên khi Iceberg, Delta, Hudi, Hive cùng tồn tại người d…
- Auditing AWS IAM for better security practices Bài tóm tắt · Postman · 2019
…DS, ElastiCache, nhóm Data Science dùng DynamoDB, Kinesis, Redshift, EMR…). Thay đổi chính - IAM phản ánh sơ đồ tổ chức: IAM user theo email nhân viên; IAM group theo team (Service…
- The million dollar engineering problem Bài tóm tắt · Segment · 2017
…- Đọc hoá đơn từng dòng: bật AWS Detailed Billing, đổ vào Redshift để phân tích. Họ tìm ra ~15 điểm, chiếm khoảng 40% hoá đơn tháng. Nhiều điểm rất bình thường: hàng trăm ổ EBS lớ…
- Keeping Counts In Sync Bài tóm tắt · SoundCloud · 2018
…ớn chứa mọi event): không khả thi; database phân tích cột (Redshift, BigQuery, Kudu, Vertica) trả lời trong giây chứ không phải mili giây. - Tiền tổng hợp kiểu khác (cây Fenwick, p…
- Stripe Công ty Thành viên
Khoảng 2.000 shard MongoDB với hơn 40 kiểu bố trí; năm 2026 Stripe thay tự sửa dạng plugin bằng tìm đường (BFS rồi Dijkstra) trên state machine của shard, mô phỏng bằng chính code Temporal, giảm 30% số lần gọi người…
- Architecting Restaurant Wait Time Predictions Bài tóm tắt · Yelp · 2019
…ính - Ba phần: pipeline train offline (Python + Spark trên Redshift, hàng chục triệu mẫu), phục vụ online, và analytics báo cáo hiệu năng model. - Phục vụ: service online viết bằng…