Tìm kiếm
40 kết quả cho “mất ghi đã ack”. Tìm không phân biệt dấu.
- Enhancing Bandaid load balancing with real-time backend server load information Bài tóm tắt · Dropbox · 2019
…at-dropbox-by-leveraging-real-time-backend-server-load-information) Phần tiếp của . Bối cảnh - Request của user qua GSLB (DNS) tới hơn 20 PoP, qua L4 rồi edge proxy L7, vào data ce…
- Hạ tầng nghiên cứu định lượng (dữ liệu thị trường, feature, backtest) Chủ đề Thành viên
Một quỹ định lượng hay công ty market making sống bằng vòng nghiên cứu: đặt giả thuyết → lấy dữ liệu → tạo feature → train model hay dựng tín hiệu → backtest/mô phỏng → đưa vào giao dịch thật → lặp lại. Theo Optiver, độ…
- Scaling Datastores at Slack with Vitess Bài tóm tắt · Slack · 2020
…leet bị cấp dư. - Một shard sập thì mọi khách trên shard đó mất toàn bộ Slack. - Cấu hình MySQL không chuẩn, phải tự viết nhiều công cụ; không dùng được replica. - Mùa thu 2016: hà…
- The Great Unracking: Saying goodbye to the servers at our physical datacenter Bài tóm tắt · Stack Overflow · 2025
…guồn ở hai mạch điện khác nhau. - Không giữ máy nào: vì bảo mật và PII của user, mọi thứ bị nghiền hoặc tiêu huỷ . - Data center Colorado (chủ yếu dùng cho DR) đã ngừng từ 6/2025,…
- Argo Rollouts at scale: Bringing Automated Rollbacks to 2,100+ services at Monzo Bài tóm tắt · Monzo · 2022
…g query. - Deploy chuyển sang bất đồng bộ (phân tích có thể mất hơn 5 phút), kết quả báo qua Slack. - Migration 2.000+ service: - migrator service chạy theo lô mỗi ngày (staging tr…
- Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs Bài tóm tắt · Grab · 2026
Grab chuyển từ một đội Data Engineering trung tâm sang data mesh: các team tự publish data product, được chứng nhận (chủ sở hữu, tài liệu, lineage, kiểm chất lượng) qua Hubble (metadata, lineage), Genchi (quan sát chất…
- Postmortem of database outage of January 31 Bài tóm tắt · GitLab · 2017
…/) Bài ngoài sheet. Một trong số ít postmortem công khai về mất dữ liệu production thật , do chính GitLab viết (CEO đứng tên xin lỗi). Bối cảnh - Đầu 2017, GitLab.com chạy một prim…
- Caching Without Marshal Part 2: The Path to MessagePack Bài tóm tắt · Shopify · 2022
MessagePack từ chối object lạ: chỉ mã hoá kiểu cơ bản và extension type đã đăng ký; object khác ném NoMethodError có tham chiếu tới object. Đó là điểm để log xem thứ gì đang bị đưa vào cache.
- From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines Bài tóm tắt · Slack · 2026
…x search Solr hằng ngày từ hàng TB dữ liệu. - Vấn đề: - Bảo mật: truy cập SSH thẳng vào cụm, phải phân phối và xoay vòng key, audit phải ghép log nhiều nơi, phân quyền phức tạp. -…
- DuckLake v1.0: The Lakehouse Format Built on SQL Reaches Production-Readiness Bài tóm tắt · DuckDB Labs · 2026
…báo phát hành của nhà cung cấp; giữ lại vì cho thấy một format tiến hoá trong một năm từ bản phác thảo tới bản production, và phần phụ lục phân loại công việc. Mọi nhận định là th…
- How HRT Thinks About Data Bài tóm tắt · Hudson River Trading · 2022
…n nó dự báo được giá không? Loại ngay những thứ như vết đen mặt trời để không lạc giữa tương quan giả. Ca khó (toàn bộ bài Reddit có liên quan tới cổ phiếu Mỹ không?) cần mô hình t…
- Automated Incident Management Through Slack Bài tóm tắt · Airbnb · 2022
…hất là biết service nào hỏng và phải page ai. - Người xử lý mất nhiều thời gian chuyển qua lại giữa Slack, PagerDuty và Jira để mở sự cố, gọi người và cung cấp bối cảnh. Thay đổi c…
- Automating Periodic Data Transfer from an Operational Database to a Data Warehouse Bài tóm tắt · Allegro · 2024
…ộ khó: Dễ — [bài gốc](https://blog.allegro.tech/2024/12/automating-periodic-data-transfer-from-operational-database-to-a-data-warehouse.html) Bài mô tả giải pháp ở mức khái niệm ("…
- Database Federation: Decentralized and ACL-Compliant Hive Databases Bài tóm tắt · Uber · 2026
…am với ACL chặt, theo các nguyên tắc: không downtime, không mất/trùng dữ liệu, availability và hiệu năng ít nhất như cũ, scale tới hàng chục nghìn dataset với migrate từng cái, rol…
- Bảo mật hạ tầng và quản lý secret Chủ đề Thành viên
Khi hệ thống lớn lên, số credential (mật khẩu DB, API key, SSH key, token, cookie phiên) tăng theo số service, pipeline, nhà cung cấp, và chúng rải vào code, cấu hình, hệ build, log. Các nguồn trong wiki cho thấy kẻ tấn…
- Sharding và tách database Chủ đề Thành viên
Một database quan hệ duy nhất là điểm khởi đầu của hầu hết sản phẩm. Đến một lúc nó không chịu nổi lượng ghi, dữ liệu không còn vừa một máy, hoặc một sự cố ở DB đó làm sập mọi tính năng.
- Slack's Outage on January 4th 2021 Bài tóm tắt · Slack · 2021
…tric. - Mạng suy giảm diện rộng; đỉnh nhỏ lúc 7:00 PST cộng mất gói làm tầng web bão hoà (gọi backend chậm, giữ tài nguyên): Slack không dùng được. - Tự động hoá làm tệ thêm: insta…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Worker Backpressure (Part 1): How we taught our queue workers to slow down Bài tóm tắt · Canva · 2026
…0 message. Không ai bị gọi dậy trong cả hai lần. Đánh đổi - Mất throughput: worker chạy sát công suất sẽ cảm thấy rõ. - Chỉ một tín hiệu (thành công/thất bại) làm đại diện cho sức…
- Jepsen: Redpanda 21.10.1 Bài tóm tắt · Jepsen · 2022
…hức Kafka, dùng Raft nội bộ thay ZooKeeper, quảng bá "không mất dữ liệu mặc định" vì chỉ ack sau khi fsync trên đa số replica (Kafka mặc định có thể ack trước fsync). - Ngữ nghĩa t…
- Journey to the cloud part I: Migrating Stack Overflow Teams to Azure Bài tóm tắt · Stack Overflow · 2023
…c ở lại on-prem, SaaS doanh nghiệp lên cloud. - Nhu cầu bảo mật và tuân thủ (dữ liệu riêng tư, SOC 2) là động lực kiến trúc ngang với scale. Liên quan - -…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…ia RI thành tới 10.000 HFile để tra song song; tra một khoá mất 1–2 ms; khởi tạo RI cho bảng 300 tỉ dòng mất khoảng 7 giờ với khoảng 4.000 executor. - HiveSync cho nhiều data cente…
- Research at scale: Orchestrating ML for systematic trading Bài tóm tắt · Optiver · 2025
…eature → train → mô phỏng). Tạo feature một ngày thị trường mất 1 giờ thì 1.000 ngày giao dịch mất khoảng sáu tuần; chia theo ngày thì về lại khoảng một giờ. Thêm 100 công cụ là hơ…
- Open sourcing kubenetmon: how we monitor data transfer in ClickHouse Cloud Bài tóm tắt · ClickHouse · 2025
…á trị là lưu lượng trong khoảng giữa hai lần đọc. Chấp nhận mất kết nối rất ngắn. Rủi ro conntrack đầy đã biết, nhưng cụm proxy tuyến đầu (nhiều kết nối nhất) không nằm trong phạm…
- Navigating the Spark 3 and EMR 6 Upgrade Journey at Slack Bài tóm tắt · Slack · 2024
…hiệu năng (Adaptive Query Execution cho dataset lệch), bảo mật (log4j mới), chi phí. Thay đổi chính - Dự án một năm, hai pha: nâng EMR 5 → 6, rồi Hive 2/Spark 2 → Spark 3. - Chọn…
- Call me maybe: Kafka Bài tóm tắt · Jepsen · 2013
…er ; leader khi đó ack ghi chỉ có trên chính nó. Nếu leader mất claim ZooKeeper, Kafka bầu node còn lại bất kỳ, có thể tụt xa, và ghi khác nhánh của leader cũ bị bỏ. - Test với req…
- How we made ClickStack 5x faster for ClickHouse observability Bài tóm tắt · ClickHouse · 2026
…i cột ảo này thì tra bằng primary key + vị trí chính xác. - Materialized view cho autocomplete: liệt kê key/value trước đây quét thẳng bảng log/trace (chậm, hoặc lấy mẫu thì thiếu…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…over DC. TTL hữu hạn để dọn bản ghi lệch (ví dụ lệnh xoá bị mất khi Kafka sự cố), cộng bootstrap định kỳ trong chu kỳ ngắn hơn TTL. - Chống lệch: ba bên cùng ghi cache (router, cac…
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Load shedding, rate limit và backpressure Chủ đề Thành viên
Mọi hệ đều có lúc nhận nhiều việc hơn sức làm: spike của người dùng, client nội bộ có bug, dependency chậm đi, retry dồn lại. Theo Discord, khi chạm giới hạn năng lực thì đó là bài toán kinh tế: hoặc tăng cung (thêm…
- How PayPal Uses Real-time Graph Database and Graph Analysis to Fight Fraud Bài tóm tắt · PayPal · 2021
…ckfill linh hoạt từ offline lên online, đáp ứng yêu cầu bảo mật và riêng tư. - Đường ghi hai kênh gói trong một service xử lý dữ liệu đồ thị: kênh offline nạp snapshot ban đầu, del…
- Check 100 candidates, not 10 million documents: Faster kNN filters in Elasticsearch Bài tóm tắt · Elastic · 2026
…hợp tệ là filter rộng và đắt : trên segment 1 triệu vector, match phrase khớp 90% tốn 33,4 ms để dựng bitset trong khi tìm vector chỉ 5,2 ms, số phép tính vector chỉ tăng 13%. Trên…
- Maximum Warp: Building Migrations for Slack Enterprise Grid Bài tóm tắt · Slack · 2017
…ranh giới một team. - Enterprise Grid (thiết kế từ 2015, ra mắt 1/2017) nối nhiều, có khi hàng nghìn, team thành một organization với kênh dùng chung. DM và group DM phải thấy được…
- From Events to Insights: Memgraph Production Telemetry Stack with AWS, ClickHouse, and Grafana Bài tóm tắt · Memgraph · 2026
…nằm ở S3, có thể dựng lại ClickHouse ở bất cứ đâu mà không mất lịch sử, đổi định nghĩa bảng hay thêm bảng dẫn xuất mà không phải phát lại lưu lượng nạp. Phần lớn dữ liệu nằm trong…
- How We Partitioned Airbnb's Main Database in Two Weeks Bài tóm tắt · Airbnb · 2015
…thừa ở hai bên. Kế hoạch lùi: đổi lại host trong Zookeeper, mất các ghi đã vào DB mới. - Kết quả: khoảng hai tuần, dưới 7,5 phút downtime hộp thư, DB chính nhỏ đi 20%, ghi giảm 33%…
- How We Built a Logging Stack at Grab Bài tóm tắt · Grab · 2019
…ồi đi pha nước". Cách cũ là một mớ: log trên storage cloud (mất hàng giờ mới lấy được), một nhà cung cấp SaaS hay timeout, hoặc nhờ SRE vào từng máy lấy log. - Khi bắt đầu: 25 TB l…
- Centrifuge: a reliable system for delivering billions of events per day Bài tóm tắt · Segment · 2018
…event trong 90 phút và giao hết trong 30 phút sau đó; không mất dữ liệu, các tích hợp khác không bị ảnh hưởng . Họ thừa nhận chiến lược retry còn phải chỉnh: lúc đỉnh đã bắn khoảng…
- Can you use autoregressive diffusion to generate market data? Bài tóm tắt · Jane Street · 2026
…(88–95% giá trị cách trung bình hơn 8 độ lệch chuẩn); flow matching chạy tốt ngay. - Xử lý điểm gián đoạn: chỉ 8% sự kiện là trade nên head phân loại đoán lệch. Chẻ BBO thành nhiề…
- Building Slack's Anomaly Event Response Bài tóm tắt · Slack · 2025
…lacks-anomaly-event-response/) Bài giới thiệu tính năng bảo mật cho khách Enterprise Grid; ít số liệu vận hành. Bối cảnh - Slack đã có audit log loại anomaly (đăng nhập bất thường,…
- Thử nghiệm A/B và nền tảng experimentation Chủ đề Thành viên
Khi nhiều team cùng thay đổi một sản phẩm, "ship rồi xem metric" không còn trả lời được thay đổi nào gây ra gì. Thí nghiệm có đối chứng trả lời được, nhưng ở quy mô lớn nó thành một hệ thống: gán người dùng vào biến thể…