该视频从Linux基础讲到Spark应用，包括多个zookeeper，redis，hadoop，hive，flume，sqoop，hbase，spark等，多个Hadoop生态内的框架和工具，附带有随堂课件和软件安装等，中间还穿插多个项目的讲解，让初学者更轻松理解大数据的框架和所需要的组件
现在免费分享给大家，视频较长，建议在pc端下载。关注公众号，即可免费……继续阅读 »
往事如烟
4年前 (2021-01-28) 2023浏览 0评论
0个赞
最近工作时间比较轻松，闲着无事，把之前使用到的大数据的知识做了一次系统的整理和总结，从最基础的Linux虚拟机安装，到最后各个大数据相关组件的搭建，以及框架中需要注意的疑难点并统一记录了下来，一来加深自己的记忆，方便以后查看和复习，同时也能让其他同学学习使用，知识贵在分享，如有写的不完善或者错误的地方，欢迎留言指正，谢谢了。
另外，感兴趣的同学，可以加入大数……继续阅读 »
往事如烟
6年前 (2018-07-17) 2307浏览 0评论
1个赞
本地使用VMware安装虚拟机，用来搭建搭建hadoop集群，用于练习使用，顺便记录下来每次的操作步骤，如果有异议，欢迎留言，或者加入大数据技术讨论群 822432673，一起交流、学习、成长。
准备工作：
VMware12工具
CentOS-6.5-x86_64-minimal.iso 纯净版操作系统映射，用于快速安装操作系统
CentOS-6.5-x……继续阅读 »
往事如烟
6年前 (2018-07-16) 5601浏览 0评论
0个赞
Hbase常用API操作，主要包括表的创建，数据的添加，获取，预分区的使用和Filter使用。
环境： Hadoop 2.5, Hbase版本0.98
代码
package net.itzoo;
import java.io.IOException;
import java.math.BigInteger;
import java.text.……继续阅读 »
itzoo
7年前 (2017-08-29) 3550浏览 0评论
0个赞
整体架构优化
现在hive的整体框架如下，计算引擎不仅仅支持Map/Reduce，并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。
整体架构优化点：
根据不同业务需求进行日期分区，并执行类型动态分区。
相关参数设置：
0.14中默认hive.exec.dynamic.partition=ture
为了减少磁盘存……继续阅读 »
itzoo
8年前 (2017-05-25) 3788浏览 0评论
1个赞
Hadoop RPC是Hadoop的一个重要部分，提供分布式环境下的对象调用功能，源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码，只是在配置项上面有所改动。关于Hadoop RPC的机制分析和源码解读，网上已经有许多资料，一搜一大把，这里就不在描述了。本文通过一个小例子，介绍如何调用Hadoop RPC。
1……继续阅读 »
itzoo
8年前 (2017-05-16) 3687浏览 0评论
0个赞
条件函数
if函数：if
语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)
返回值: T
说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull
举例：
hive> select if(1=2,100,200)……继续阅读 »
itzoo
8年前 (2017-03-28) 3555浏览 0评论
0个赞
HBase是Hadoop生态圈中的一员，Nosql数据库，能够对大数据提供随机、实时读写访问。他是开源的，分布式的，多版本的，面向列的，存储模型。
Hbase架构
Hbase体系架构
HBase Master是服务器负责管理所有的HRegion服务器，HBase Master并不存储HBase服务器的任何数据，HBase逻辑上的表可能会划分为多个HRe……继续阅读 »
itzoo
8年前 (2017-03-22) 4625浏览 0评论
0个赞
RPC，即Remote Procdure Call，中文名：远程过程调用；
RPC的基础概念
它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。
RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层……继续阅读 »
itzoo
8年前 (2017-03-03) 3636浏览 0评论
0个赞
代码测试环境：Hadoop2.4
应用场景：当需要定制输出数据格式时可以采用此技巧，包括定制输出数据的展现形式，输出路径，输出文件名称等。
Hadoop内置的输出文件格式
FileOutputFormat<K,V> 常用的父类；
TextOutputFormat<K,V> 默认输出字符串输出格式；
SequenceFileOutpu……继续阅读 »
itzoo
8年前 (2017-02-27) 5208浏览 0评论
0个赞
大数据学习整套视频，从Linux基础到云计算，囊括了当下主流的大数据技术，视频是尚学堂随堂视频，价值2W+的资源，这里仅供学习和交流使用，禁止一切商业用途。请大家学完请立刻删除。如需学习可以去尚学堂官网报名。谢谢合作。
入门篇之Linux学习
大数据之Hadoop学习
……继续阅读 »
itzoo
8年前 (2017-02-25) 4142浏览 0评论
2个赞
spark做当下非常流行的大数据计算框架，网上的资源也非常的多，但是相对完整的视频较少，这里提供有尚学堂Yasaka老师的讲解的spark教程，囊括了scala学习、kafka使用和spark core，spark sql,，spark streaming，以及spark算子优化和故障解决等课程，最后会有一个基于这些技术的项目。仅供大家学习和交流使用。
教程……继续阅读 »
itzoo
8年前 (2017-02-20) 12632浏览 5评论
1个赞
![[视频教程] 尚学堂内部随堂大数据视频，价值2w元的教程 免费领取下载](http://www.itzoo.net/wp-content/themes/bamboo620/timthumb.php?src=http://www.itzoo.net/wp-content/uploads/2017/02/2017082510063570.jpg&h=123&w=200&q=90&zc=1&ct=1)
![[视频教程] 大数据学习全套视频教程-从入门到精通](http://www.itzoo.net/wp-content/themes/bamboo620/timthumb.php?src=http://www.itzoo.net/wp-content/uploads/2017/02/2017022514273467.png&h=123&w=200&q=90&zc=1&ct=1)