這篇博客文章是CDP中Cloudera的操作數(shù)據(jù)庫（OpDB）系列文章的一部分。每篇文章都會詳細介紹新功能。從本系列的開頭以CDP中的Operational Database開始。這篇博客文章概述了Cloudera OpDB的高可用性配置功能。

Cloudera的Operational DB（OpDB）是基于集群的軟件，開箱即用地配置了High Availability（HA）。這將導(dǎo)致節(jié)點之間的無縫自動故障轉(zhuǎn)移，并使配置路徑對故障轉(zhuǎn)移也具有彈性，這意味著可以在不關(guān)閉OpDB的情況下將其恢復(fù)。

HA可以通過以下功能進一步擴展：

• 異步復(fù)制：在本地，跨數(shù)據(jù)中心，在數(shù)據(jù)中心和云之間以及以地理分布的方式。
• 延伸群集配置：帶有網(wǎng)絡(luò)延遲（建議鏈接延遲小于20毫秒）。 距離可能會有所不同，具體取決于網(wǎng)絡(luò)負載延遲和帶寬。
• 只讀副本：它們在數(shù)據(jù)庫中提供了額外的彈性。

在線重組和配置更改

Cloudera的OpDB允許數(shù)據(jù)庫重組，而無需關(guān)閉OpDB。這是因為命名空間大致等同于DB，并且可以在不關(guān)閉集群的情況下將它們分配給集群中的不同服務(wù)器集。

可以在區(qū)域中的節(jié)點之間移動名稱空間，也可以通過區(qū)域服務(wù)器組將名稱空間限制為節(jié)點的子集，而不必考慮節(jié)點在集群中的物理位置，或者集群是否跨越擴展集群配置中的數(shù)據(jù)中心。

還支持索引重組。大多數(shù)索引（例如近實時索引）都可以在實時系統(tǒng)中創(chuàng)建，修改或刪除。 其他索引可以在線創(chuàng)建或刪除，但不能修改。

也可以在不停止OpDB的情況下更改配置。 可以在實時系統(tǒng)中添加和刪除節(jié)點，表和列，還可以在不停機的情況下添加SQL引擎和輔助組件。

還支持不關(guān)閉同一數(shù)據(jù)庫上多個實例的配置更改。例如，可以在“列族”中添加新列，也可以將應(yīng)用程序更改為使用該新列。

升級
Cloudera Manager通過發(fā)行版和維護補丁來自動化升級OpDB中各種組件的過程。Cloudera Manager以自動化方式處理以下流程：

• 安裝發(fā)行或維護補丁
• 管理配置
• 每個受影響的組件的重新啟動過程

Cloudera的OpDB產(chǎn)品是基于集群的產(chǎn)品，因此升級和修補程序都跨越多個節(jié)點。還支持無停機的應(yīng)用程序升級。升級用戶應(yīng)用程序時，無需關(guān)閉任何存儲引擎。

復(fù)寫
支持所有數(shù)據(jù)復(fù)制（DR）組合：

• hot-hot
• hot -warm
• hot-cold
• hot-warm-cold
• 這些配置的其他排列

數(shù)據(jù)庫在集群中至少維護三個數(shù)據(jù)副本（可以配置更多副本），以防止在熱災(zāi)難恢復(fù)環(huán)境中中斷。但是，如果需要這種方法，則提供多種機制以允許在熱環(huán)境中創(chuàng)建數(shù)據(jù)的副本：

• 快照
• 復(fù)寫
• 出口
• 復(fù)制表
• HTable API

異步復(fù)制

Cloudera的OpDB平臺支持在同一OpDB的實例之間進行近乎實時的數(shù)據(jù)異步復(fù)制，而對性能的影響最小。

異步復(fù)制具有兩種一致性模式：最終一致和時間軸一致

有多種方法可以實現(xiàn)異步復(fù)制。

基于存儲層的方法

基于存儲層的異步復(fù)制方法是在多個集群之間異步復(fù)制數(shù)據(jù)。

群集復(fù)制使用主動推送方法。 群集可以是源群集（也稱為主動群集，這意味著它寫入新數(shù)據(jù)），目標群集（也稱為被動群集，這意味著它使用復(fù)制來接收數(shù)據(jù)），或者可以同時履行這兩個角色。

這種異步群集復(fù)制是指使用源群集的預(yù)寫日志（WAL）傳播一個更改，從而使一個群集狀態(tài)與另一個群集的狀態(tài)保持同步。

以列族的粒度啟用復(fù)制。列族是在表創(chuàng)建時定義的列分組，與在表創(chuàng)建時不必定義的列形成對照，因為它們可以在插入時動態(tài)創(chuàng)建。

當數(shù)據(jù)從一個群集復(fù)制到另一個群集時，將使用群集ID（屬于元數(shù)據(jù)的一部分）跟蹤數(shù)據(jù)的原始來源。 還跟蹤所有已經(jīng)使用了數(shù)據(jù)的群集。 這樣可以防止復(fù)制循環(huán)。

常見的復(fù)制技術(shù)：

• 中央源群集可以將更改傳播到多個目標群集，以進行故障轉(zhuǎn)移或由于地理分布。
• 源群集可以將更改推送到目標群集，目標群集也可以將自己的更改推送回原始群集。
• 許多不同的低延遲群集可以將更改推送到一個集中式群集，以進行備份或資源密集型數(shù)據(jù)分析作業(yè)。然后，可以將處理后的數(shù)據(jù)復(fù)制回低延遲群集。

可以將多個級別的復(fù)制鏈接在一起，以滿足您的需求。

雙重寫范例

實現(xiàn)異步復(fù)制的另一種方法是使用雙重寫入范例，其中客戶端可以將數(shù)據(jù)寫入我們的持久消息隊列，然后將其寫入數(shù)據(jù)庫的兩個實例。這種方法適用于某些最終一致性足以滿足編寫要求的用例。
同步復(fù)制

Cloudera的OpDB支持在同一群集的節(jié)點之間進行數(shù)據(jù)的同步復(fù)制，這是非可選的默認設(shè)置。每次寫入均被復(fù)制到最少三個節(jié)點，然后再確認回客戶端。 您可以配置將寫操作復(fù)制到的節(jié)點數(shù)。

異構(gòu)復(fù)制

異構(gòu)OpDB復(fù)制允許OpDB在不同的OpDB供應(yīng)商之間進行復(fù)制。 當組織中使用多個不同的OpDB引擎或在向新OpDB平臺的遷移過程中使用此引擎時，這一點很重要。

Cloudera提供了多種工具來支持異構(gòu)OpDB復(fù)制，而無需額外費用。 例如，提供Nifi來啟用流式接收，并從任何關(guān)系DBMS導(dǎo)出到Cloudera的OpDB。

只讀副本

可以創(chuàng)建只讀副本，這意味著它不支持對象的更新，刪除或創(chuàng)建。 這種類型的副本適用于只讀工作負載分配和業(yè)務(wù)連續(xù)性計劃。

您可以通過兩種不同的方式創(chuàng)建只讀版本：

• 將數(shù)據(jù)庫復(fù)制到標記為只讀的第二個群集。
• 使用“只讀副本”功能，客戶端將請求發(fā)送到托管數(shù)據(jù)副本（包括主副本）的所有RegionServer。 客戶端接受第一個響應(yīng)，包括它是來自主要還是輔助RegionServer。

讀取和寫入操作讀取/寫入副本

讀/寫RrReplicas支持讀和寫操作，作為具有沖突解決方案的雙活群集的一部分。當使用復(fù)制以雙向方式同步兩個不同的群集時，這種類型的副本非常有用。這使兩個群集都可以在雙活配置中寫入。

在單個群集的范圍內(nèi)，所有寫入均以分布式方式完成，從而確保在確認客戶端之前，在多個節(jié)點上至少寫入三個副本。這是通過解決沖突來完成的，以確保為客戶端提供強大的一致性。

錯誤保護

OpDB還可以防止用戶錯誤。Cloudera的兩個存儲引擎都提供了此功能。

如果用戶錯誤是“我不是要刪除此記錄”之類的錯誤，則用戶可以在使用setTimeRange刪除之前檢索記錄記錄。

此外，定期執(zhí)行增量備份或快照使用戶可以回滾到上一個保存的恢復(fù)點。

結(jié)論

在此博客文章中，我們研究了如何在OpDB中配置和使用高可用性功能。在下一篇文章中，我們將介紹CDP中OpDB的數(shù)據(jù)完整性功能。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺服務(wù)。在開源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建，免費業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團隊，為您提供免費大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！