天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。

Hadoop RPC简单示例

Hadoop RPC是Hadoop的一个重要部分,提供分布式环境下的对象调用功能,源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码,只是在配置项上面有所改动。关于Hadoop RPC的机制分析和源码解读,网上已经有许多资料,一搜一大把,这里就不在描述了。本文通过一个小例子,介绍如何调用Hadoop RPC。 1……继续阅读 »

itzoo 7年前 (2017-05-16) 3011浏览 0评论 0个赞

Hadoop RPC机制学习和使用

RPC,即Remote Procdure Call,中文名:远程过程调用; RPC的基础概念 它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网络通信细节,对我们来说是透明的。因此,它经常用于分布式网络通信中。 RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层……继续阅读 »

itzoo 7年前 (2017-03-03) 2940浏览 0评论 0个赞

Hadoop自定义输出文件格式和文件输出路径

代码测试环境:Hadoop2.4 应用场景:当需要定制输出数据格式时可以采用此技巧,包括定制输出数据的展现形式,输出路径,输出文件名称等。 Hadoop内置的输出文件格式 FileOutputFormat<K,V> 常用的父类; TextOutputFormat<K,V> 默认输出字符串输出格式; SequenceFileOutpu……继续阅读 »

itzoo 7年前 (2017-02-27) 4044浏览 0评论 0个赞

Hadoop Yarn 框架原理及运作机制

1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMas……继续阅读 »

往事如烟 7年前 (2017-02-10) 3517浏览 0评论 1个赞