Loading...

技術資源

九月 2018

如何在EsgynDB中使用機器學習庫

逆战鲲灵怎么获得 www.xvmqg.icu 九月 19th, 2018|

機器學習(ML)庫正變得越來越流行,現在有各種各樣的這類庫 - 維基百科中提及了49個。 這些機器學習庫需要龐大的數據,通常此類數據是存儲在關系型數據庫中的業務數據,比如存放在EsgynDB或以其他形式存儲在Hadoop數據湖中。 簡單的集成 - JDBC和HDFS 有多種方法連接機器學習庫和EsgynDB。 其中一種方法是使用JDBC,這是大多數軟件包支持的方法。 用戶在他們選擇的系統上運行機器 [閱讀更多]

三月 2018

使用UPSERT語句,將Apache?Kafka數據導入Trafodion表

三月 2nd, 2018|

Apache?Kafka簡介 Kafka是一個流處理服務平臺。其中,生產者(Producers)向主題(Topic)中發布消息,消費者(Consumers)讀取并處理發布到主題中的消息。Kafka的主題是已發布消息的日志副本集合,這些日志都具有時間戳??梢遠災魈飩蟹智?,以增加存儲容量并提高并行度。 如圖1所示,向同一個主題發布消息的不同生產者進程可以: a) 將消息寫入特定的分區(藍色箭頭); [閱讀更多]

二月 2018

EsgynDB支持與ORC的緊密集成

二月 13th, 2018|

Apache Hadoop?生態系統的優勢之一就是能夠整合不同的技術,解決各種大數據問題。要實現良好的整合,就要注意易用性以及數據交換的速度和效率。 EsgynDB?是Esgyn公司的web-scale企業級SQL-on- Apache Hadoop?解決方案,現已支持與Apache ORC?文件的緊密集成。在本文中,我將介紹結合EsgynDB和ORC文件所帶來的好處,然后探討該集成解決的兩個重 [閱讀更多]

為何HDP需要EsgynDB?

二月 9th, 2018|

加快從大數據中獲取業務價值和見解 使用EsgynDB,可在單個大數據平臺上簡便地運行OLTP、ODS、BI和分析型工作負載。EsgynDB是唯一一個為不同的數據源提供可插拔數據管理框架的大數據SQL解決方案,用于處理混合工作負載(實時讀寫),從而最大限度地減少數據遷移和復制。EsgynDB通過在數據庫中轉換數據(ELT)來降低ETL的成本。其MPP架構可以并行執行查詢,確保滿足最嚴格的SLA。成 [閱讀更多]

針對MPP數據庫數據傾斜問題的技術——Skew Buster

二月 9th, 2018|

Skew Buster是一種針對MPP數據庫運行時數據傾斜引起的性能問題的技術,可以保證在復雜查詢的任意階段,中間數據都可以平均分布,充分利用MPP系統的多節點的并發處理能力。 Skew Buster簡介 當今隨著信息技術,人工智能,和網絡技術的不斷發展,企業在生產經營過程中產生的歷史數據非常容易就達到上百T,甚至P級別,因此依賴單機的scale up能力已經無法滿足。MPP數據庫能夠線性地橫向 [閱讀更多]

簡述Trafodion DCS工作流程及原理

二月 9th, 2018|

DCS是Data Connectivity Service即數據連接服務的簡稱,是Trafodion非常重要的組成部分,它接收連接請求,并合理分配連接請求,借助Zookeeper完成HA的功能。 簡介 最近越來越多的人在Trafodion社區問到關于DCS的一些問題,我在這里給大家統一介紹一下這個Trafodion的重要組成部分。DCS是Data Connectivity Service即數據連 [閱讀更多]

五月 2017

EsgynDB是唯一運行整個TPC-DS基準測試的SQL-on-Hadoop解決方案

五月 16th, 2017|Tags: |

評估數據庫BI/分析工作負載的最佳基準是TPC-DS。EsgynDB已與Apache ORC深度集成并優化了性能,雖然處理TPC-DS型工作負載的結果還有待提高,但目前的結果還是較為可觀。 在處理運營型工作負載領域,目前EsgynDB還未棋逢對手。在進行TPC-DC測試時,EsgynDB使用Hive(利用Tez引擎)與ORC進行性能對比。 TPC-DS基準測試的數據量是10TB。EsgynDB能夠 [閱讀更多]

一月 2017

[視頻] 使用HDFS冷熱數據的架構注意事項

一月 30th, 2017|

使用HDFS冷熱數據 以下的視頻是易鯨捷專家關于HDFS冷熱數據的介紹。 熱數據是指,您希望快速訪問的數據(主要用于報告)。冷數據是指,不常訪問的數據(主要用于BI或分析)??梢隕柚靡歡ǖ氖萘浚ɡ?,最新的100GB數據)、特定的時間段(1天或1周)、特定的數據集,識別相應的熱數據。 企業使用不同的平臺,分別存儲和管理熱數據、冷數據。因此,數據需要從一個數據庫遷移或復制到另一個數據庫。不同用途的 [閱讀更多]

[視頻] 使用SQL查詢JSON——EsgynDB Crunchbase演示

一月 6th, 2017|

JSON是通過基于web的API進行數據存儲和交換的實踐標準。使用API調用訪問JSON數據是耗時的,需要開發人員具備高層次的專業知識。而SQL更加簡便,可以加快應用程序的迭代開發。在EsgynDB的演示中,說明了如何使用SQL查詢Crunchbase的數據。 Crunchbase通過其JSON格式的API,提供公司、創始人、投資者、員工的相關信息。由于EsgynDB支持結構化、半結構化、非結構化 [閱讀更多]

十二月 2016

[視頻] EsgynDB + Tableau演示

十二月 13th, 2016|

EsgynDB+Tableau集成演示 無縫集成 EsgynDB能像連接到其他數據庫一樣,非常簡便地連接到Tableau。您只需提供IP地址和用戶憑證。進行集成的預測試和支持時,將Tableau作為EsgynDB的標準組件。 自助式BI/分析 使業務分析師能夠使用數據湖,無需Java開發人員和數據科學家的參與。 支持數據倉庫的交互式查詢,無需為了加速查詢而進行Tableau級的數據緩存。 支持大數 [閱讀更多]

十一月 2016

[網絡研討存檔] 提供Hadoop混合事務和分析處理(HTAP)

十一月 3rd, 2016|

Hadoop混合事務/分析處理(HTAP) 隨著業務敏捷性的提高,事務型數據的實時和近實時分析也變得越發重要。對于資深的數據庫從業人員,事務和分析屬于兩個不同的系統。這種豎井式的方法會產生:昂貴的ETL過程,專門化的數據集市,SLA問題,尤其是造成對舊數據的分析。 目前的架構趨勢是,在同一個數據存儲中同時進行事務和分析處理。Gartner將這樣的功能稱為混合事務/分析處理(HTAP)。 Gar [閱讀更多]

十月 2016

Apache Zeppelin在Apache Trafodion上的可視化——已更新

十月 31st, 2016|Tags: |

介紹 Apache Trafodion(正在孵化)和EsgynDB(Esgyn的商業版)支持數據可視化工具(例如,Apache Zeppelin和Tableau),具有標準JDBC/ODBC連接。本文重點介紹如何實現Apache Zeppelin在Trafodion上的可視化。 Apache Zeppelin基于web,數據專家可以通過該工具進行大規模數據挖掘和可視化的協作。大規模數據分析的工作 [閱讀更多]

[下載] 您的SQL引擎是否發揮了效果?

十月 5th, 2016|Tags: |

您是否正在選擇合適的SQL引擎? 要從各種各樣的SQL引擎中挑選合適的一款并非易事。所有的SQL-on-Hadoop引擎(無論是否開源)號稱具有的功能都如出一轍。那么,如何才能省去長達數周的開發,并選擇真正強大的SQL引擎? 如何選擇強大的SQL引擎? 閱讀我們的指南,本指南包括以下內容: 如何挑選成熟的SQL引擎 向您的SQL-on-Hadoop供應商提出13個問題 確保您可以實現真正的擴 [閱讀更多]

九月 2016

[視頻] 風險分析——金融服務演示

九月 28th, 2016|

風險分析數據倉庫演示 您是否正在努力解決目前數據倉庫的實現的各種問題?在專有數據庫(例如,Oracle和Teradata)上實現的數據倉庫在以下方面存在很多問題:擴展,加載,查詢性能,缺少對非結構化數據的支持……如果您的企業實行基于Hadoop的Big Data計劃,那么EsgynDB可以幫助您遷移當前的數據倉庫環境或幫助您卸下一些工作負載,便于您充分利用Hadoop并克服當前專有數據倉庫系統的局 [閱讀更多]

易鯨捷IoT平臺演示視頻

九月 20th, 2016|

物聯網(IoT)演示視頻 您是否正在建立或準備建立一套IoT解決方案? 物聯網(IoT)每分鐘都會生成大量數據。因此您需要一套全面的IoT數據管理系統,支持快速攝取、實時警報、報告和預測分析。由于IoT是實時的,因此不適用傳統的數據處理方式。 EsgynDB是可以同時處理所有IoT工作負載的All-in-one SQL數據庫。觀看以下視頻,了解Esgyn的IoT解決方案。 無論您準備在云端(例如, [閱讀更多]

90秒了解易鯨捷

九月 8th, 2016|

觀看以下視頻,90秒了解易鯨捷。易鯨捷提供用于大數據的企業級SQL數據庫EsgynDB,幫助您通過大數據實現更多功能,例如事務、運營型數據存儲、BI,這些功能均在同一個SQL數據庫中實現,無需進行大規模的數據遷移。EsgynDB適用于多種工作負載和用例(例如,數據湖SQL、RDBMS卸載、IoT數據管理、企業文檔存儲……)。 [閱讀更多]

八月 2016

探尋理想數據庫——O’Reilly Media出版

八月 11th, 2016|

混合事務/分析處理的挑戰 數據庫正經歷如火如荼的發展。十年前,web-scale的公司紛紛從專有的關系型數據庫轉變為通過NoSQL和Hadoop處理Big Data用例。如今,由于各種各樣的原因,趨勢又走向了基于SQL的解決方案。各個公司真正需要的,是可以處理其所有運營型工作負載、OLTP、BI和分析型工作負載的一套系統。那么,是否存在這樣的一體化數據庫呢? O’Reilly發布的此項報告是由易 [閱讀更多]

七月 2016

[下載] 比較各種Hadoop SQL引擎

七月 21st, 2016|

要從各種各樣的Hadoop SQL引擎中挑選合適的一款并非易事。如果所有的SQL-on-Hadoop引擎(無論是否開源)號稱擁有的功能都如出一轍,那么您需要一項清單,用于比較各種產品。下載清單,使您無需浪費寶貴的開發資源來進行昂貴的實驗。 本項清單涉及以下內容: 您需要的基本功能。ANSI SQL?開源?運行UDF? 您的SQL-on-Hadoop解決方案應該支持何種類型的工作負載?目前,您可 [閱讀更多]

[網絡研討存檔] 從MapReduce到SQL-on-Hadoop

七月 13th, 2016|

MapReduce是從基于Hadoop的Big Data實現中檢索數據的標準機制。但是由于創建和維護MapReduce的復雜度和成本較高,這套機制逐漸被淘汰。如今,開發人員都在尋求基于SQL的解決方案。觀看我們的網絡研討存檔視頻,了解從MapReduce到SQL的轉變所帶來的以下好處: 加速應用程序的開發 利用SQL工具和資源 最大程度降低對數據專家和Java程序員的依賴 通過Big Dat [閱讀更多]

[網絡研討存檔] 通過Big Data實現業務轉型——六個用例

七月 13th, 2016|

觀看我們的網絡研討視頻,通過六個用例了解Big Data的潛力。 數據驅動業務。 客戶導向。 提高業務敏捷性。 在全球經濟中進行有效的競爭。 通過IoT和企業的數據湖,通過Big Data實現更多。 您將了解到: 如何識別機遇 如何評價Big Data的用例 如何制定戰略路線 如何選擇合適的開源堆棧 本視頻的適用人群: Big Data開發人員,架構師和IT管理人員 產品和部門負責人 C [閱讀更多]

不斷成熟的Hadoop生態系統依然存在不足之處

七月 8th, 2016|

不斷成熟的Hadoop生態系統依然存在不足之處 最近,隨著Hortonworks宣布推出由Apache HAWQ支持的Hortonworks HDB,Hortonworks和Hadoop周圍的生態系統也不斷發展。Hadoop已有10年的歷史,雖然其相關性常常遭受質疑,但依然是很多全球性企業Big Data項目的關鍵基礎。 隨著基礎技術的不斷發展,自主創新起著至關重要的作用,客戶和開發人員不得不自行 [閱讀更多]

選擇合適的SQL引擎替代MapReduce作業

七月 8th, 2016|

眾望所歸的新趨勢 目前的趨勢是擺脫MapReduce,降低構建和維護MapReduce作業的復雜度并提高性能,同時利用現有的IT資源。至于如何擺脫MapReduce、如何替代MapReduce作業、使用怎樣的工作負載,這些問題都是戰略性的決策。同時,要考慮Hadoop可以發揮怎樣的戰略性作用,使企業通過數據獲得利潤。 由于要訪問存儲在HDFS的數據,就要使用MapReduce中的鍵,因此MapR [閱讀更多]

六月 2016

使用Docker容器安裝Apache Trafodion

六月 30th, 2016|Tags: |

使用Docker容器安裝Apache Trafodion 我們很高興地推出Apache Trafodion 2.0(正在孵化)Docker。現在,全球的開發人員都可以快捷地在Linux上安裝單節點的Apache Trafodion。 通過Apache Trafodion和EsgynDB(Esgyn的商業版),您可以使用SQL-on-Hadoop,減少或消除MapReduce對數據的訪問和處理。與其 [閱讀更多]

三月 2016

管理日志、IoT和事件數據的設計模式

三月 9th, 2016|

管理日志、IoT和事件數據的設計模式 Trafodion在IoT(物聯網)空間、電信和網絡安全中的一個常見應用場景是用一個非常大的單表,記錄實時事件。用戶希望快速攝取新數據,查詢數據,并清理過時的數據。 對于這種情況,我們一般建議客戶使用一種設計模式。該模式包含三個要素:Salting、分塊和Stripe合并。 Salting 第一個要素是salting,在集群中平均分布數據。通過salting [閱讀更多]

二月 2016

EsgynDB Manager

二月 24th, 2016|

EsgynDB Manager 簡介 EsgynDB Manager 是一款適用于EsgynDB的基于Web的企業管理工具,它允許數據庫管理員: 監控Esgyn節點和Esgyn服務的運行狀態。 監控集群或節點的關鍵系統、HBase和EsgynDB的各項運行時指標。 監控并管理(取消)EsgynDB查詢。 查看詳細的編譯時和運行時查詢統計信息,包括可視和文本解釋計劃。 生成系統資源使用情況的電子 [閱讀更多]

其他RDBMS到Trafodion的數據遷移

二月 19th, 2016|

本文介紹了如何將數據從現有的RDBMS遷移到Trafodion數據庫。從其它的RDBMS或外部數據源向Trafodion集群中導入大量的重要數據,可以通過下面兩步完美實現: 在Trafodion集群中,將數據從源頭導入Hive表。使用下列方法之一: 在Trafodion系統中,使用一個類似Apache SqoopTM的工具,將數據從遠程的RDBMS(例如,MySQL或Oracle)遷移到Hive表 [閱讀更多]

跨集群事務管理器

二月 8th, 2016|

提供真正的Hadoop分布式跨集群事務管理器 目前,Hadoop廣泛應用于BI和分析工作負載。HBase在Hadoop上提供低延遲的NoSQL Big Table解決方案,托管運營型工作負載。但是,HBase內建的原子操作不適用于具有復合操作的工作負載。隨著事務型SQL-on-HBase解決方案的出現,Hadoop生態系統使企業能夠在Hadoop上全面運行各種事務型工作負載。這種轉變將帶來以下好 [閱讀更多]

一月 2016

Trafodion + Kafka = Trafka

一月 22nd, 2016|

Apache Kafka的Apache Trafodion消費者 本文介紹了如何實現Apache Trafodion與Apache Kafka的無縫結合。我們展示了Trafodion如何輕松地獲取數據,如何結合不同的開源組件,從而使用 Apache Kafka、?Trafodion、 HBase 和Hadoop創建近實時的流式處理工作流。 如何實現各組件的結合? 什么是Kafka?Kafka是一個 [閱讀更多]

Apache Trafodion 1.3 發布

一月 14th, 2016|

Apache Trafodion(正在孵化)宣布完成了Apache孵化器項目的第一個版本。Trafodion 1.3 修復了多種bug,增加了新功能、改進了Apache Trafodion頁面。點擊此處或查看版本說明。 這3個月內,有很多新的貢獻者和代碼提交者參與了Trafodion項目。該項目的社區正在日益壯大,致力于構建開源的、分布式、全量ACID的Hadoop生態系統數據庫。Trafodio [閱讀更多]

Hibernate的Trafodion方言

一月 5th, 2016|

對象-關系映射(ORM)提供了一個框架,應用程序可以使用一個對象范例,查詢并操作數據庫中的數據。該框架以多種語言實現,封裝了數據操作所需的代碼。這樣,您無需了解SQL,即可使用一個對象訪問數據,該對象隱藏了每個數據庫查詢語言的變化。 假設有以下的Employees表: Id Name Address Department Salary 1 John Milpitas, CA Engineer $ [閱讀更多]

十二月 2015

雙活的運營型SQL-on-Hadoop工作負載

十二月 9th, 2015|

周二,Esgyn發布了EsgynDB企業版2.0,新增了多種功能的支持。本文介紹了跨數據中心的全面雙活事務支持。對于跨多行、表和/或服務器的事務,Hadoop生態系統支持在異地、各集群或表中復制關鍵的運營型業務數據。該功能支持異地的高可用集群,因此對關鍵數據是非常重要的。如果由于自然災害、同城狀況、人為錯誤導致集群offline,則可以立即啟用另一個peer集群,并實現零事務丟失。 通過雙活配置, [閱讀更多]

十月 2015

如何造就一流的數據庫?

十月 8th, 2015|

相比于其他的SQL-on-Hadoop解決方案,Trafodion具有怎樣的優勢?“在Hadoop上運行運營型工作負載”一文中,我指出了Trafodion專注于運營型工作負載(OLTP、ODS)。本文介紹了Trafodion和其他SQL-on-Hadoop解決方案在技術上的差異。 本文中,我探討了造就一流數據庫的四個關鍵要素,介紹了Trafodion是如何實現這些要素的。您可以將Trafodio [閱讀更多]

九月 2015

在Hadoop上運行運營型工作負載

九月 21st, 2015|

相比于Oracle、IBM DB2、Microsoft SQL Server、Informix、MySQL、PostgreSQL、Teradata等關系型數據庫以及Impala、Tez、Hive、Drill、Presto等SQL-on-Hadoop解決方案,Apache TrafodionTM(正在孵化)具有怎樣的優勢? Apache Trafodion是一流的數據庫,與上述的關系型數據庫并駕齊驅 [閱讀更多]

七月 2015

我們的淵源

七月 20th, 2015|

Esgyn公司是高科技行業的新星,我們的使命是創建并培育Apache? Hadoop生態系統中的企業級事務型和運營型SQL。但是有很多公司都在解決SQL-on-Hadoop的問題,我們的優勢是什么?本文中,我就這個話題展開了討論。 Esgyn和普通的初創公司有所不同,我們已經創建了一個產品并將其開源(正在孵化的Apache Trafodion數據庫管理系統)。另外,我們已經擁有一支具有凝聚力的30 [閱讀更多]