RPC,即Remote Procdure Call,中文名:远程过程调用;
RPC的基础概念
它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网络通信细节,对我们来说是透明的。因此,它经常用于分布式网络通信中。
RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层……继续阅读 »
8年前 (2017-03-03) 4271浏览 0评论
0个赞
一.Azkaban和Oozie的工作流程
Azkaban工作流程
Azkaban将需要操作的信息打包成zip文件发送给Server端,Server对用户的信息进行存储。用户在Web UI 或者通过HTTP Client发送操作请求后,Server会根据用户定义的*.job文件(KV 匹配),执行zip包中的Jar文件。
源码的执行过程:
1.……继续阅读 »
8年前 (2017-03-03) 3442浏览 0评论
0个赞
软件
配置
下载地址
百度云盘下载地址(提取密码:tgll):
链接:http://pan.baidu.com/s/1bYhrjC
如果下载地址失效,请直接联系站长。或者可以直接进入群,联系管理员。
更多
jdk1.7-64位 windows系统下安装与下载
Mysql5.5-64位 数据库安装、下载
mysql免费破解版可视化操作工具 Navica……继续阅读 »
8年前 (2017-03-01) 4058浏览 0评论
2个赞
文档
下载地址
百度云盘下载地址(提取密码:cut9):
链接:http://pan.baidu.com/s/1dFnAn77
……继续阅读 »
8年前 (2017-03-01) 8175浏览 0评论
0个赞
文档
下载地址
百度云盘下载地址(提取密码:yc32):
链接:http://pan.baidu.com/s/1boWJq7X
……继续阅读 »
8年前 (2017-03-01) 3903浏览 0评论
0个赞
代码测试环境:Hadoop2.4
应用场景:当需要定制输出数据格式时可以采用此技巧,包括定制输出数据的展现形式,输出路径,输出文件名称等。
Hadoop内置的输出文件格式
FileOutputFormat<K,V> 常用的父类;
TextOutputFormat<K,V> 默认输出字符串输出格式;
SequenceFileOutpu……继续阅读 »
8年前 (2017-02-27) 5992浏览 0评论
0个赞
大数据学习整套视频,从Linux基础到云计算,囊括了当下主流的大数据技术,视频是尚学堂随堂视频,价值2W+的资源,这里仅供学习和交流使用,禁止一切商业用途。请大家学完请立刻删除。如需学习可以去尚学堂官网报名。谢谢合作。
入门篇之Linux学习
大数据之Hadoop学习
……继续阅读 »
8年前 (2017-02-25) 4568浏览 0评论
2个赞
教程
下载地址
百度云盘下载地址(提取密码:hm3h):
链接:http://pan.baidu.com/s/1geZYJsB
如果下载地址失效,请直接联系站长。
更多下载
Lucene视频教程-高级篇
shiro免费视频教程,权限控制-高级篇
Jquery视频教程 免费下载
……继续阅读 »
8年前 (2017-02-25) 3653浏览 0评论
0个赞
功能
两者均可以调度mapreduce,pig,java,脚本工作流任务
两者均可以定时执行工作流任务
工作流定义
Azkaban使用Properties文件定义工作流
Oozie使用XML文件定义工作流
工作流传参
Azkaban支持直接传参,例如${input}
Oozie支持参数和EL表达式,例如${fs:dirSize(myInputDir)}
定时……继续阅读 »
8年前 (2017-02-24) 3109浏览 0评论
0个赞
最近项目迁移到新集群,试试同事推荐的开源任务调度程序-azkaban(阿兹卡班),没看错,就是哈利波特里的阿兹卡班,azikaban主要用来解决hadoop依赖任务的执行,但是它本身支持linux和java程序,因此适合做小项目的任务调度管理程序。
Azkaban官网 : https://azkaban.github.io/
Azkaban组件
关系数据库……继续阅读 »
8年前 (2017-02-23) 4403浏览 0评论
0个赞
文档
下载地址
百度网盘下载地址(提取密码:sneo):
链接:http://pan.baidu.com/s/1cKjTz4
下载地址如果失效,请直接联系站长。
……继续阅读 »
8年前 (2017-02-23) 3830浏览 0评论
0个赞
1.简单介工作流引擎与Activiti
对于工作流引擎的解释请参考百度百科:工作流引擎
1.1 我与工作流引擎
在第一家公司工作的时候主要任务就是开发OA系统,当然基本都是有工作流的支持,不过当时使用的工作流引擎是公司一些牛人开发的(据说是用一个开源的引擎修改的),名称叫CoreFlow;功能相对Activiti来说比较弱,但是能满足日常的使用,当然也有不少……继续阅读 »
8年前 (2017-02-22) 3510浏览 0评论
0个赞