张杰唱的逆战歌词:業務場景

運營商每年每個省話費詳單數據量將達到100-300TB,而全國每年會產生大概6PB的數據,如此巨大的數據量現今在國際上還沒有任何數據庫能夠支撐。

帳詳單中心主要負責賬單、詳單的存儲并對外提供服務:針對批價后的賬詳單數據,通過加載、提取、解析、轉換后存入帳詳單中心,并生成帳詳單報表,供前臺查詢。

目前省公司的帳詳單系統底層主要采用Hadoop+HBase軟件存儲,該方案在高并發查詢和擴展性方面的性能優秀,但是存在以下問題:

  • 針對運維人員的SQL即席查詢功能支持較弱。
  • 針對詳單回退等業務場景,批量導出、刪除的支持較弱。
  • 針對運營維護人員的統計查詢支持較弱。

解決方案

借助EsgynDB可水平擴展的特性,電信運營商可以取消原來每個省單獨的話費詳單查詢服務平臺,建立了數百節點的超大規模集群來統一進行全國的話費查詢工作,從而解決了世界性難題,達到了國際最先進的水平。

在基于同等硬件平臺的情況下,EsgynDB使用Hadoop+Hbase+Trafodion的架構以及技術產品來支持帳詳單中心的數據加載、數據查詢和數據統計等功能,并提供更優越的支持能力與處理速度。

EsgynDB的價值

  • EsgynDB批量加載工具基于原生HBase bulkload進行封裝優化,性能有很大提升,原始數據裝載到HBase的壓縮比有很大提升。
  • EsgynDB場景對7個SQL查詢性能上,對比Phoenix、EsgynDB場景有很大的提升,對帳詳單中心測試規范中要求的最小時間有很好的支持。
  • EsgynDB支持標準SQL,支持原生HBase數據訪問和EsgynDB格式建表,支持索引、視圖等數據對象,支持數據的插入、修改、刪除、導出,滿足不同場景需求。
  • EsgynDB在HBase rowkey基礎上,支持數據橫向Hash分區和按照時間縱向分區。
  • 基于時間的查詢能夠極大提升性能。
  • 經數據裝載、查詢測試、并發測試、功能測試,EsgynDB場景在SQL即席查詢功能有很好的支持;支持事務控制,批量導出、刪除功能;對統計查詢有很好的支持。

以下是在話單查詢場景中與國際著名大數據產品Phoenix并發性能對比:

業務場景功能點時間范圍PhoenixEsgynDB
300并發查詢Q15.367秒0.436秒
300并發查詢Q48.479秒5.650秒
500并發查詢Q17.596秒0.957秒
500并發查詢Q412.429秒9.420秒
1000并發查詢Q113.440秒2.155秒
1000并發查詢Q422.151秒18.761秒
2000并發查詢Q125.469秒4.941秒
2000并發查詢Q442.159秒38.492秒
業務場景功能點時間范圍PhoenixEsgynDB
300并發查詢Q15.367秒0.436秒
300并發查詢Q48.479秒5.650秒
500并發查詢Q17.596秒0.957秒
500并發查詢Q412.429秒9.420秒
1000并發查詢Q1?天13.440秒2.155秒
1000并發查詢Q422.151秒18.761秒
2000并發查詢Q125.469秒4.941秒
2000并發查詢Q442.159秒38.492秒

Q1查詢用戶詳單記錄,Q4統計用戶詳單信息

已有客戶

中國最大通信運營商:全球用戶規模、網絡規模超前的移動通信運營商,目前4G基站達到165萬個,構建了全球最大的4G網絡。