准备编译环境(环境如果不对的话,可能遇到各种问题,比如wget无法下载https链接的文件)
yum groupinstall 'Development Tools'
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel
下载 Python3.5代码包
……继续阅读 »
itzoo
8年前 (2017-05-24) 2767浏览 0评论
0个赞
awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。
awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。
awk其名称得自于它的……继续阅读 »
itzoo
8年前 (2017-05-22) 2525浏览 0评论
0个赞
Hadoop RPC是Hadoop的一个重要部分,提供分布式环境下的对象调用功能,源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码,只是在配置项上面有所改动。关于Hadoop RPC的机制分析和源码解读,网上已经有许多资料,一搜一大把,这里就不在描述了。本文通过一个小例子,介绍如何调用Hadoop RPC。
1……继续阅读 »
itzoo
8年前 (2017-05-16) 4242浏览 0评论
0个赞
《Java程序员修炼之道》是每个Java工程师都必看,也是必须掌握里面知识的图书,他从Java 7 的新特性到,到Java编程技术,再到JVM,最后跨平台和跨语言做了详细的剖析。适合有一定Java基础并决定提高自身能力的Java工程师学习。
下载地址
百度云盘下载地址(提取密码:lne2):
链接:http://pan.baidu.com/s/1o8wL5U……继续阅读 »
itzoo
8年前 (2017-03-06) 5135浏览 0评论
3个赞
RPC,即Remote Procdure Call,中文名:远程过程调用;
RPC的基础概念
它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网络通信细节,对我们来说是透明的。因此,它经常用于分布式网络通信中。
RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层……继续阅读 »
itzoo
8年前 (2017-03-03) 4161浏览 0评论
0个赞
软件
配置
下载地址
百度云盘下载地址(提取密码:tgll):
链接:http://pan.baidu.com/s/1bYhrjC
如果下载地址失效,请直接联系站长。或者可以直接进入群,联系管理员。
更多
jdk1.7-64位 windows系统下安装与下载
Mysql5.5-64位 数据库安装、下载
mysql免费破解版可视化操作工具 Navica……继续阅读 »
itzoo
8年前 (2017-03-01) 3978浏览 0评论
2个赞
文档
下载地址
百度云盘下载地址(提取密码:cut9):
链接:http://pan.baidu.com/s/1dFnAn77
……继续阅读 »
itzoo
8年前 (2017-03-01) 8098浏览 0评论
0个赞
代码测试环境:Hadoop2.4
应用场景:当需要定制输出数据格式时可以采用此技巧,包括定制输出数据的展现形式,输出路径,输出文件名称等。
Hadoop内置的输出文件格式
FileOutputFormat<K,V> 常用的父类;
TextOutputFormat<K,V> 默认输出字符串输出格式;
SequenceFileOutpu……继续阅读 »
itzoo
8年前 (2017-02-27) 5855浏览 0评论
0个赞
教程
下载地址
百度云盘下载地址(提取密码:hm3h):
链接:http://pan.baidu.com/s/1geZYJsB
如果下载地址失效,请直接联系站长。
更多下载
Lucene视频教程-高级篇
shiro免费视频教程,权限控制-高级篇
Jquery视频教程 免费下载
……继续阅读 »
itzoo
8年前 (2017-02-25) 3599浏览 0评论
0个赞
最近项目迁移到新集群,试试同事推荐的开源任务调度程序-azkaban(阿兹卡班),没看错,就是哈利波特里的阿兹卡班,azikaban主要用来解决hadoop依赖任务的执行,但是它本身支持linux和java程序,因此适合做小项目的任务调度管理程序。
Azkaban官网 : https://azkaban.github.io/
Azkaban组件
关系数据库……继续阅读 »
itzoo
8年前 (2017-02-23) 4338浏览 0评论
0个赞
1.简单介工作流引擎与Activiti
对于工作流引擎的解释请参考百度百科:工作流引擎
1.1 我与工作流引擎
在第一家公司工作的时候主要任务就是开发OA系统,当然基本都是有工作流的支持,不过当时使用的工作流引擎是公司一些牛人开发的(据说是用一个开源的引擎修改的),名称叫CoreFlow;功能相对Activiti来说比较弱,但是能满足日常的使用,当然也有不少……继续阅读 »
itzoo
8年前 (2017-02-22) 3470浏览 0评论
0个赞
表结构
需求
hive表设计是按天存储数据,每天一个分区,存放全国不同省市的用户数据,省市通不过cityid字段编号的不同做区分,现在需要输出天津每个月的用户总数。
思路
这里仅提供自己的思路,对全表进行查询,并截取日期字段,取前6位,保留到月,对数据按月进行重新分组,并输出总数count和月份。这里使用到了substr函数。
代码
select coun……继续阅读 »
itzoo
8年前 (2017-02-20) 7899浏览 0评论
0个赞