Doximity

Mạch tiến hoá

Mọi app Rails dùng Kafka qua gem nội bộ dox-messaging. Năm 2022 họ thay ruby-kafka (heartbeat chung thread, gây rebalancing storm) bằng rdkafka trên librdkafka mà giữ nguyên interface; qua đợt segfault khi rollout, throughput consumer tăng vài lần Doximity 2022. Năm 2026 họ thêm CDC để dữ liệu warehouse tươi trong vài phút mà vẫn giữ snapshot batch làm mốc khởi tạo, phục hồi và đối chiếu Doximity 2026. Năm 2025, deploy pipeline dữ liệu được tách khỏi image Airflow bằng manifest trên S3 và một service đồng bộ mỗi phút Doximity 2025. Tháng 9/2026, newsfeed iOS được chuyển sang SwiftUI không có ngày chuyển nhờ feed server-driven và logic tách khỏi view Doximity 2026. Cùng năm 2022, graph DB Neo4j được đưa vào sau Kafka: ghi bất đồng bộ, idempotent, chịu được thứ tự lệch, để lỗi của kho phụ không rollback transaction web Doximity 2022.

Timeline

Năm = năm sự kiện theo bài (có thể sớm hơn năm đăng bài).

Năm	Giai đoạn	Thay đổi	Nguồn
2022	2. Tăng trưởng	dox-messaging: ruby-kafka → rdkafka; producer registry lazy-load; consumer tối thiểu 400.000 message/phút.	Doximity 2022
2022	2. Tăng trưởng	Neo4j cạnh Rails: đọc trực tiếp, ghi qua Kafka với upsert idempotent, node stub cho thứ tự lệch, compacted topic (bài 8/2022).	Doximity 2022
2025	2. Tăng trưởng	Deploy DAG Airflow (hơn 900 DAG): bỏ build vào image + restart, xuất bản lên S3 + manifest, đồng bộ mỗi phút; deploy từ 20–30 phút còn khoảng 1 phút.	Doximity 2025
2026	3. Quy mô lớn	CDC (Debezium → Kafka → Snowflake) bên cạnh snapshot batch: khởi tạo từ snapshot, view…

Mạch tiến hoá

Timeline

Bạn đã dùng hết 3 bài đọc thử miễn phí

Tất cả bài viết của blog (25 bài)