mansion88明升

mansion88明升动态

大数据情形下云基础架构有多主要??

  • 时间:2013-11-12
  • 泉源:

  mansion88明升(泉源:CIO时代网 作者:不详)

  Q:大数据情形下云基础架构有多主要?? 

    A:云和大数据在统一时段最先盛行起来,,因而成了同义词。。可是,,二者并不是一回事儿。。云是在集成处置惩罚器集群上实验的一种并行程序设计模式,,主要用于数据麋集型漫衍式应用。。云的作用就在于此。。早在对大数据的热衷之前,,云就已经保存。。但厥后云的意义变了,,被看成一种结构用以建设大数据基础架构。。云以谷歌的MapReduce算法为基础,,该算法是在集群中分派应用的一种要领。。谷歌的文件系统、运行系统、MapReduce应用以及漫衍式文件系统(HDFS)险些都以Java为基础,,从而引发了一系列问题。。云也需要通过节点间的故障转移来提供弹性。。在众多集群中,,当一个节点失效了,,应该能实时举行故障处置惩罚并转移到下一个集群中去。。 

    在以后,,我并不确定有了云就可以高枕无忧了。。事实上关于云已有了普遍的共识:为企业所用还需要云基础架构的许多方面起作用才行。。首先,,云的焦点是NameNodes,,贮存了与云集群相关的元数据(集群中的每台装备、每台装备的容量、装备的用途及其能遭受的事情负载量)。。这类信息并非随处可复制,,而只保存于一个地方,,因而成了云基础架构中的单点故障。。若是云集群上正举行着主要的程序处置惩罚的话,,那一定要解决这类信息。。其次是JobTracker。。JobTracker是治理MapReduce使命和为差别效劳器安排事情负载的这样一个组成部分,,换种说法,,JobTracker更靠近以专门要领剖析的数据。。需要强调的是,,JobTracker也是一个单点故障,,并且只保存于急群众的一台效劳器上。。这些也执偾有关当下的云架构最显着的问题。。 

    云手艺自己并不简朴。。若是妄想安排云,,需要足够的程序。。这些程序得能够胜任工具箱里简单程序无法做到的种种事情、得知道Pig是Pig Latin的缩写、与云运行情形息息相关。。虽然,,这些程序也得知道Java、JavaScript的目的符号语言Jaql。。现现在找到能胜任PHP的程序已经不是什么难事儿了,,只需找一些跨度极大的组合即可。。 

    因此首先是会有一些单点故障。。其次,,云需要一些在手艺市场上没有的专项手艺。。再次,,会爆发性能问题。。每个已安排云的公司都已经有了云操作方面的性能问题,,因而关于其的大数据剖析会一直保存。。虽然一些问题与糟糕的写入应用代码有关,,但更多的是与其架构自己有关。。许多公司在特另外效劳器集群、直连存储和特另外软件工具上下了很大功夫,,都只为改善云基础架构的速率和进给量。。 

    虽然,,基础架构的治理也让人头疼。。一些人试图以ZooKeeper手艺来处置惩罚云基础架构治理,,而许多厂商则力争以他们提供的定制产品来处置惩罚。。问题是现在照旧没有一个很好的云治理范式,,似乎也没什么指望。。 

    前不久,,福布斯的一篇文章表达了我要分享的另一个主要的关注点:云等同于肩负大数据项目的基础架构。。现在,,商人们并不明确这一历程,,也不介意如那里置大数据。。他们只是想要营业利润,,要它快一点儿。。文章的作者准确地视察到云也许很是适合处置惩罚规模数据(其文章看法所在),,但绝对算不上迅速而专业的剖析或实时剖析学。。因此,,该文章也不可用于营业处置惩罚,,只是起到了其下的某些价值作用,,并且只是掌控数据的一种方法。。 

    那指向了问题的焦点,,最终的真正问题是:我们将大数据用于那里??许多人没有熟悉到这一问题,,除了市场上那些想要使用大数据的商家们,,他们的目的是使其产品和效劳面向特定客户群体时能更为专业化。。




【网站地图】【sitemap】