Tìm kiếm
36 kết quả cho “HBase”. Tìm không phân biệt dấu.
- Migration from HBase to MyRocks at Quora Bài tóm tắt · Quora · 2021
…[bài gốc](https://quoraengineering.quora.com/Migration-from-HBase-to-MyRocks-at-Quora) Bối cảnh - Quora có hai kho dữ liệu chính, MySQL (đã tự shard dọc và ngang) và HBase (key-val…
- Couchbase Ecosystem at LinkedIn Bài tóm tắt · LinkedIn · 2017
…[bài gốc](https://engineering.linkedin.com/blog/2017/12/couchbase-ecosystem-at-linkedin) Bối cảnh - LinkedIn dùng Couchbase từ 2012 . Năm 2017: hơn 10 triệu query/giây, hơn 200 cụm…
- Upscaling LinkedIn's Profile Datastore While Reducing Costs Bài tóm tắt · LinkedIn · 2023
…router và vì request dùng projection. Thay đổi chính - Couchbase làm tầng cache trong storage, không fallback về nguồn sự thật: đây là cache để scale nên không được phép dội tải v…
- Behind the Pins: Building Analytics Bài tóm tắt · Pinterest · 2014
…eline batch Hadoop MapReduce tạo một dataset mới mỗi ngày → HBase phục vụ với độ trễ thấp → API (có kiểm quyền truy cập) → web app. - Pipeline batch: xử lý hàng chục TB/ngày, chia…
- Learn to stop using shiny new things and love MySQL Bài tóm tắt · Pinterest · 2015
…tor đặc trưng), ghi rất nhanh khi chấp nhận nhất quán cuối (HBase, Cassandra), hàng đợi/feed (dùng Redis, công ty lớn thì HBase; Pinterest dùng HBase cho feed), log (Kafka → Secor…
- Acceptance Tests On CI Pipeline Bài tóm tắt · Trendyol · 2020
…chỉ số của sách Accelerate ). - Service có một database Couchbase và hai API bên ngoài; theo Trendyol, càng nhiều dependency ngoài thì càng nhiều kịch bản lỗi phải xử lý. Thay đổi…
- Apache Hudi at Uber: Engineering for Trillion-Record-Scale Data Lake Operations Bài tóm tắt · Uber · 2026
…ay quét file không đủ ở quy mô nghìn tỉ. Ban đầu dùng index HBase bên ngoài (mạnh nhưng thêm phụ thuộc vận hành), sau thay bằng RI nằm trong MDT, ánh xạ khoá → file group. Dùng cho…
- Authorization at LinkedIn's Scale Bài tóm tắt · LinkedIn · 2019
…ực nhanh nhưng tải tăng. - Lưu trữ: ACL trong Espresso, Couchbase làm cache phía server; khi ACL bị sửa, CDC qua Brooklin báo để xoá cache. - Log mọi lần check bất đồng bộ qua Kafk…
- Cache và invalidation Chủ đề Thành viên
Cache là cách rẻ nhất để một DB chịu được lượng đọc tăng nhiều lần. Vì vậy nó xuất hiện ngay từ giai đoạn đầu (Instagram 2011, Facebook 2004–2010). Cái giá đến sau, và lặp lại ở hầu hết các nguồn:
- Chọn database theo workload Chủ đề Thành viên
Không có database tốt nhất, chỉ có database hợp với mẫu đọc/ghi ở một quy mô cụ thể. Mẫu đó thay đổi khi sản phẩm lớn lên. Ngoài ra, chuyên môn vận hành của đội cũng là một phần của "workload".
- Migration không downtime Chủ đề Thành viên
Hệ thống đang chạy thật (gọi xe, chat, thiết kế) không được dừng, nhưng phải đổi ngôn ngữ, database hoặc hạ tầng bên dưới.
- Nền tảng nội bộ cho service (đường ray chung) Chủ đề Thành viên
Tách hệ thống thành nhiều phần (service, hoặc component trong một monolith) giải được bài toán tổ chức. Nhưng nếu mỗi team tự làm RPC, retry, log, metric, contract theo cách riêng, thì ta chỉ đổi một kiểu hỗn loạn lấy…
- Pipeline dữ liệu và analytics Chủ đề Thành viên
Lúc đầu, báo cáo chạy thẳng trên DB production. Đến một lúc truy vấn phân tích làm chậm giao dịch, dữ liệu cần gộp từ nhiều nguồn, và có thêm người dùng mới (analyst, ML, khách hàng xem dashboard). Khi đó cần một mặt…
- Chi phí hạ tầng và build vs buy Chủ đề Thành viên
Khi còn nhỏ, chi phí hạ tầng là chuyện phụ và cloud là lựa chọn hiển nhiên. Khi lớn lên, hoá đơn có thể chiếm phần lớn giá vốn. Hai câu hỏi xuất hiện: tối ưu chi phí trên nền đang có thế nào, và khi nào nên tự xây (hoặc…
- Failover, replica và dự phòng dữ liệu Chủ đề Thành viên
Mọi hệ có trạng thái đều giữ nhiều bản (replica) để một máy chết không làm mất dịch vụ. Khó không nằm ở việc có bản sao mà ở lúc chuyển sang bản sao:
- Hot partition và thundering herd Chủ đề Thành viên
Chia dữ liệu và tải ra nhiều máy chỉ hiệu quả khi tải chia đều. Thực tế tải lệch: một khách hàng khổng lồ, một kênh có @everyone, một bài của người nổi tiếng. Có hai dạng hay gặp:
- Kiểm thử độ tin cậy (chaos, fault injection, mô phỏng tất định) Chủ đề Thành viên
Lỗi trong hệ phân tán là chắc chắn (máy chết, zone mất, dependency chậm, cấu hình sai), nhưng phần lớn lỗi nằm ở những tổ hợp hiếm mà test chức năng không chạm tới. Bài toán là chủ động gây lỗi để biết hệ thống phản ứng…
- Realtime và fan-out Chủ đề Thành viên
Một sự kiện (tin nhắn, ảnh, tweet, vote) phải tới rất nhiều người, rất nhanh, qua rất nhiều kết nối mở cùng lúc.
- Scale dọc trước khi scale ngang Chủ đề
Thêm máy (scale ngang) kéo theo độ phức tạp phân tán. Bắt mỗi máy làm được nhiều hơn (scale dọc, tối ưu) thì đơn giản hơn, nhưng có trần và dễ thành một điểm hỏng.
- Xác thực và phân quyền (authn/authz) Chủ đề Thành viên
Ở monolith, mỗi dữ liệu thường chỉ có một đường vào, nên kiểm tra quyền nằm ngay đó: một hàm hasaccess?, một API mỗi resource. Khi hệ thống tách thành nhiều service, nhiều client, nhiều loại token, cả hai nửa đều vỡ:
- LinkedIn Công ty Thành viên
Bài khung là bài nhìn lại năm 2015 . LinkedIn bắt đầu năm 2003 là một monolith tên Leo. Service đầu tiên tách ra là member graph, vì đồ thị kết nối có profile tải khác hẳn; DB profile được đỡ bằng scale dọc rồi replica…
- Quora Công ty Thành viên
Quora dùng MySQL (tự shard), HBase và Redis trên AWS. Năm 2016 họ diễn tập thảm hoạ (Game Day): dựng lại cả site ở region khác chỉ từ backup, mất chưa tới 5 giờ . Về sau họ chuyển HBase sang MyRocks để dùng chung kiến…
- Ensuring Quora's Resilience to Disaster Bài tóm tắt · Quora · 2016
…i cảnh - Quora backup hằng ngày mọi kho dữ liệu gốc (MySQL, HBase, Redis, feed service) và nhân bản tới nhiều nơi. - Nhưng có backup chưa đủ: phải khôi phục được, và nhanh . Nhiều…
- Pinterest Công ty Thành viên
Năm 2015 Pinterest sinh sẵn nội dung cho mọi user và lưu trong HBase, cách đã đưa họ tới 100 triệu MAU nhưng tốn lưu trữ và khó thử nghiệm. Họ xây 9 hệ thống C++/RocksDB để sinh feed lúc đọc . Phía dưới là tầng cache…
- Building a dynamic and responsive Pinterest Bài tóm tắt · Pinterest · 2018
…ợc sinh sẵn cho user trước khi họ đăng nhập, lưu tĩnh trong HBase. Kiến trúc này đưa Pinterest tới 100 triệu MAU. - Điểm yếu: khó thử nghiệm; feature dùng để xếp hạng có thể cũ hàn…
- MySQL sharding at Quora Bài tóm tắt · Quora · 2020
…ở cuối. - Đã shard ba bảng lớn; tính chuyển một số use case HBase sang MyRocks shard. Vì sao - Theo Quora, chi phí tích hợp phần mềm bên thứ ba chỉ đáng khi cần shard khoảng 100 bả…
- Nebula as a Storage Platform to Build Airbnb's Search Backends Bài tóm tắt · Airbnb · 2016
…ệu versioned dạng bảng (row, column, version) kiểu BigTable/HBase, không schema; API key-value thống nhất gộp hai lớp: - Delta store trên DynamoDB nhận ghi realtime (chọn vì latenc…
- Stack Overflow: How We Do Monitoring - 2018 Edition Bài tóm tắt · Stack Overflow · 2018
…Bosun (tự viết bằng Go, agent scollector, lưu trên OpenTSDB/HBase). Theo tác giả, HBase đòi nhiều phần cứng mạng hơn mức cần với lượng dữ liệu nhỏ; họ đã thử dùng SQL Server column…
- Trendyol Công ty Thành viên
Trendyol là sàn thương mại điện tử Thổ Nhĩ Kỳ; bài 1/2021 trên blog trendyol-tech kể team Search đưa mutation testing (PIT) vào pipeline GitLab: chỉ đột biến class đã đổi trong nhánh để vừa vòng CI, kết quả đẩy vào…
- Prefetch Caching of Items at eBay Bài tóm tắt · eBay · 2020
…khi user bấm, không cần replica trong cùng datacenter (Couchbase chẳng hạn cần replica mỗi region, đội chi phí); khả dụng dựa vào nhiều datacenter. Chọn CACHET (memcached + mcrout…
- Low Latency Optimization: Using Huge Pages on Linux (Part 2) Bài tóm tắt · Hudson River Trading · 2022
…hớ, cũng là spike. Một số phần mềm lớn (MongoDB, Redis, Couchbase) khuyên tắt THP. - hugetlbfs ("explicit huge page"): một pool trang cấp sẵn, cấp phát nhanh như trang 4 KiB nếu po…
- A Brief History of Scaling LinkedIn Bài tóm tắt · LinkedIn · 2015
…ợc redline để biết giới hạn tải. - Cache: thêm memcache/Couchbase ở mid-tier và Voldemort chứa kết quả tính sẵn. Sau đó gỡ bớt cache mid-tier : chúng giữ dữ liệu dẫn xuất từ nhiều…
- Solving manageability challenges at scale with Nuage Bài tóm tắt · LinkedIn · 2019
…Kafka, Bulkhead (quota), Helix, Fuse (chống lạm dụng), Couchbase, Ambry (blob), Pinot, Samza, Pro-ML, Brooklin, Venice. Mục tiêu "hạ tầng vô hình": team sản phẩm tự tạo và quản lý…
- Diving into Uber's cutting-edge data infrastructure Bài tóm tắt · Onehouse · 2024
…ì nạp lại; Record Level Index bỏ được kho khoá–giá trị phụ (HBase). - Ba tầng truy vấn: Presto SQL mặc định (hàng nghìn người dùng, soạn trong QueryBuilder, chạy production qua orc…
- Scaling Pinterest - From 0 To 10s Of Billions Of Page Views A Month In Two Years Bài tóm tắt · Pinterest · 2013
…. Clustering hay sharding - Clustering (Cassandra, Membase, HBase: dữ liệu tự phân phối, tự di chuyển, node nói chuyện với nhau) theo kinh nghiệm của họ: còn non, phức tạp, ít ngườ…
- Uber Công ty Thành viên
Một vòng đủ: monolith → microservices → tổ chức lại microservices. Năm 2012–2013 Uber có hai monolith; khi lên hàng trăm kỹ sư thì tách. Lý do chủ yếu là tổ chức. Năm 2015 họ có 500+ service và phải chuẩn hoá contract…