RELATEED CONSULTING
相關咨詢
選擇下列産品馬上(shàng)在線溝通(tōng)
服務時(shí)間(jiān):9:00-18:00
你(nǐ)可(kě)能遇到了下面的問題
關閉右側工具欄
MongoDB增加對Hive的支持
  • 作(zuò)者:admin
  • 發表時(shí)間(jiān):2013-08-22 09:59:53
  • 來(lái)源:未知


MongoDB的所有(yǒu)者10gen宣布其Hadoop連接器(qì)将會(huì)在本周二進行(xíng)更新升級。新版本中将包括一些(xiē)非常重要的新功能并且加入了對Hive(類似SQL框架和(hé)Hadoop的查詢語言)的支持,它能夠把本地MongoDB文件存儲到Hadoop上(shàng),還(hái)能在MongoDB的同一的數(shù)據集合中運行(xíng)增量的MapReduce作(zuò)業。

公司的産品營銷總監Kelly Stirman表示,MongoDB的Hadoop連接器(qì)已經上(shàng)市了一段時(shí)間(jiān),而且被許多(duō)企業機構廣泛的運用。不過周二的更新将會(huì)是MongoDB自2012年4月發布以來(lái)最為(wèi)重要的一次升級。

也許大(dà)多(duō)數(shù)人(rén)并沒有(yǒu)注意到,MongoDB和(hé)Hadoop在過去的幾年已經變得(de)非常的流行(xíng)。Stirman表示,由于支持JSON類型文件,在很(hěn)多(duō)Web和(hé)手機應用中,MongoDB都是被作(zuò)為(wèi)操作(zuò)數(shù)據庫,而Hadoop也是被很(hěn)多(duō)公司選作(zuò)大(dà)數(shù)據處理(lǐ)和(hé)分析平台。特别是在大(dà)型網絡公司和(hé)世界500強企業,通(tōng)常都并排部署了MongoDB和(hé)Hadoop。

MongoDB連接器(qì)現在已經非常的流行(xíng),因為(wèi)它允許用戶可(kě)以在數(shù)據庫中預先處理(lǐ)MongoDB數(shù)據,而無需把數(shù)據發送到Hadoop中處理(lǐ)。在現有(yǒu)支持MapReduce 和(hé)Pig的基礎上(shàng)增加對Hive的支持,由于Hive中類似SQL的特性,使用MongoDB連接器(qì)來(lái)連接Hadoop數(shù)據,已經被很(hěn)多(duō)企業廣泛使用。

在Hadoop分布式文件系統上(shàng)支持MongoDB本地BSON文件意味着用戶可(kě)以備份他們的數(shù)據庫資料到Hadoop中,同時(shí)用戶也可(kě)以處理(lǐ)這些(xiē)數(shù)據資料,這樣就避免了在MongoDB集群上(shàng)添加撤銷負載。

Stirman把在MongoDB集合上(shàng)運行(xíng)增量MapReduce作(zuò)業的能力稱為(wèi)近似 “濃縮進程”。 用戶以前隻能在數(shù)據庫中一個(gè)新的集合上(shàng)才可(kě)以運行(xíng)MapReduce作(zuò)業,但(dàn)是MongoUpdateWriteable這種新的技(jì)術(shù)特性可(kě)以讓用戶在現有(yǒu)的集合上(shàng)運行(xíng)MapReduce作(zuò)業。

數(shù)據庫行(xíng)業觀察人(rén)士可(kě)能會(huì)質疑MongoDB的新特性,它是不是僅僅會(huì)改善MongoDB-Hadoop開(kāi)發環境的現有(yǒu)功能,或者它是否能以某種方式來(lái)影(yǐng)響市場(chǎng)份額,這似乎是Stirman未來(lái)需要考慮的問題,至少(shǎo)目前已經考慮到那(nà)些(xiē)使用Hadoop的公司了。Stirman指出10gen在營銷上(shàng)可(kě)能會(huì)遇到像Cassandra和(hé)HBase這樣有(yǒu)競争力的對手,不過目前而言, “從本質上(shàng)來(lái)說,這三者(Cassandra、HBase以及MongoDB)相對于Hadoop,都是對等的。”

對等?也許吧(ba)——至少(shǎo)在某種程度上(shàng)用戶還(hái)是願意擴展Hadoopde 的規模來(lái)彌補數(shù)據庫擴展性的欠缺。當然,也有(yǒu)很(hěn)多(duō)用戶選擇其他的NoSQL數(shù)據庫産品而非MongoDB,這是源于所選的應用程序不同。