Tìm kiếm
21 kết quả cho “BEAM”. Tìm không phân biệt dấu.
- The WhatsApp Architecture Facebook Bought For $19 Billion Bài tóm tắt · WhatsApp · 2014
…gần như toàn bộ là Erlang trên FreeBSD , có patch riêng cho BEAM (máy ảo Erlang); máy phục vụ user là 2 CPU Westmere 6 nhân (24 CPU logic), 100 GB RAM, SSD, hai card mạng (công kha…
- How We Built Infrastructure to Run User Forecasts at Spotify Bài tóm tắt · Spotify · 2022
…cross-validation × tổ hợp tham số (lúc đầu gọi thẳng Apache Beam, sau gói thành thư viện nội bộ) → chọn top model theo sai số có trọng số, kiểm trên holdout → chạy model tốt nhất →…
- How we build the Image Gallery on trivago Bài tóm tắt · trivago · 2021
…và độ ổn định. Thay đổi chính - Chuỗi job Dataflow (Apache Beam): chụp snapshot ảnh, snapshot tag, lấy chỗ ở có ảnh đổi, dựng gallery, snapshot gallery, kiểm tra , rồi stream thay…
- Image Migration to Google Cloud Platform Bài tóm tắt · trivago · 2024
…ch có hợp không: chậm và làm chi phí cloud tăng mạnh; Spark/Beam hợp hơn. - Lần cuối (giữa 2022 → khoảng 1,5 năm): một team ảnh chuyên trách (gộp hai team) thiết kế lại thay vì mig…
- Using Rust to Scale Elixir for 11 Million Concurrent Users Bài tóm tắt · Discord · 2019
…1 ms nên không cần lo chuyện yield/reduction của scheduler BEAM. Phía Elixir gọi SortedSet như một module bình thường. Mã nguồn mở sorted set nif . Vì sao - Giữ logic realtime cốt…
- How Discord Reduced Websocket Traffic by 40% Bài tóm tắt · Discord · 2024
…âng khoảng 30% (mong 70%) vì phân mảnh bộ nhớ của allocator BEAM; chỉnh allocator tốn công nên gỡ bỏ. - Rollout zstd cho cả desktop và mobile sau experiment (để rollback nhanh, kiể…
- Twitter Sparrow tackles data storage challenges of scale Bài tóm tắt · Twitter · 2022
…hoặc Google Pub/Sub); Streaming Event Processor chạy Apache Beam trên Google Dataflow đọc queue, biến đổi/đổi định dạng rồi ghi liên tục vào BigQuery và Cloud Storage. - Pipeline p…
- Đổi ngôn ngữ và runtime Chủ đề Thành viên
Ngôn ngữ ban đầu được chọn để làm nhanh. Khi lớn lên, nó có thể thành nút thắt về hiệu năng, latency, hoặc tổ chức code. Có ba hướng: tối ưu runtime đang dùng, cải tiến dần, hoặc viết lại có phạm vi.
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Deploy và release an toàn Chủ đề Thành viên
Phần lớn sự cố bắt đầu bằng một thay đổi: code mới, cấu hình mới, hạ tầng mới. Khi hệ thống và tổ chức lớn lên, câu hỏi là làm sao đưa thay đổi lên production thường xuyên mà vẫn giới hạn được thiệt hại khi có lỗi.
- Stream processing Chủ đề Thành viên
Khi batch hằng ngày hay hằng giờ không còn đủ tươi (chi tiêu quảng cáo phải dừng đúng lúc chạm ngân sách, dashboard MRR không được trễ 24 giờ, alert phải bắn khi contest sắp đầy), hệ phải tính liên tục trên luồng sự…
- Discord Công ty Thành viên
Hiếm có công ty nào kể cùng một bài toán qua 6 năm như Discord. Năm 2015 họ cố ý dùng một replica set MongoDB để ra sản phẩm trong 2 tháng, kèm đường thoát. Họ phân tích workload rồi chuyển sang Cassandra 12 node với…
- Check 100 candidates, not 10 million documents: Faster kNN filters in Elasticsearch Bài tóm tắt · Elastic · 2026
…r : HNSW (đồ thị lân cận, đi từ hàng xóm sang hàng xóm, giữ beam num candidates ) và IVF ( bbq disk , gom vector quanh centroid, quét posting list gần nhất). Cả hai đều nằm theo từ…
- WhatsApp Công ty Thành viên
WhatsApp là ca hiếm: blog kỹ thuật gần như chỉ kể hai giai đoạn, và hai giai đoạn ấy giải hai bài khác hẳn nhau. Giai đoạn Erlang (2011–2014) là câu chuyện tối ưu một hệ nhỏ người: năm 2012, một server FreeBSD + Erlang…
- 1 million is so 2011 Bài tóm tắt · WhatsApp · 2012
…oán: kết nối dài, nhiều, ít tính toán là đúng sở trường của BEAM. Discord cũng chọn BEAM cho cùng lý do (). - Đọc bài này để biết con số, không phải để biết cách làm. Cần nguồn khá…
- How Discord Scaled Elixir to 5,000,000 Concurrent Users Bài tóm tắt · Discord · 2017
…concurrent-users) Bối cảnh - Discord dùng Elixir/Erlang VM (BEAM) từ prototype đầu tiên. Sau 2 năm: gần 5 triệu user đồng thời , hàng triệu event/giây (2017). - Kiến trúc lõi là pu…
- You've Got (Too Much) Mail: Behind the Scenes of the 3/25/26 Voice Outage Bài tóm tắt · Discord · 2026
…lý sự cố lẫn trong postmortem. - Biết rõ công cụ của mình: BEAM cho xem mailbox của từng process (Recon), thậm chí hotpatch. Bài học cho SWE - Rate limit phải được chỉnh lại khi t…
- Twitter Công ty Thành viên
Khi rời một MySQL duy nhất sang Cassandra và MySQL shard (Gizzard), thứ vỡ đầu tiên là sinh ID, dẫn tới Snowflake (64 bit, k-sorted, không phối hợp) . Sau World Cup 2010, họ nhận ra monolith Rails (~200 kỹ sư) và…
- How WhatsApp Grew to Nearly 500 Million Users, 11,000 cores, and 70 Million Messages a Second Bài tóm tắt · WhatsApp · 2014
…dài hơn 2K (mục tiêu 7). Sửa hai dòng, nhanh gấp 4. - Patch BEAM: nhiều timer wheel thay cho một (hàng trăm nghìn lần đặt/xoá timer mỗi giây); round-robin file I/O bất đồng bộ qua…