天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣。

标签:Hadoop

大数据

[视频教程] 尚学堂内部随堂大数据视频,价值2w元的教程 免费领取下载

该视频从Linux基础讲到Spark应用,包括多个zookeeper,redis,hadoop,hive,flume,sqoop,hbase,spark等,多个Hadoop生态内的框架和工具,附带有随堂课件和软件安装等,中间还穿插多个项目的讲解,让初学者更轻松理解大数据的框架和所需要的组件 现在免费分享给大家,视频较长,建议在pc端下载。关注公众号,即可免费……继续阅读 »

往事如烟 3年前 (2021-01-28) 1660浏览 0评论 0个赞

大数据

大数据相关知识学习和分享

最近工作时间比较轻松,闲着无事,把之前使用到的大数据的知识做了一次系统的整理和总结,从最基础的Linux虚拟机安装,到最后各个大数据相关组件的搭建,以及框架中需要注意的疑难点并统一记录了下来,一来加深自己的记忆,方便以后查看和复习,同时也能让其他同学学习使用,知识贵在分享,如有写的不完善或者错误的地方,欢迎留言指正,谢谢了。 另外,感兴趣的同学,可以加入大数……继续阅读 »

往事如烟 6年前 (2018-07-17) 1950浏览 0评论 1个赞

Linux

VMware安装Linux虚拟机,配置本地yum源 详细图解操作

本地使用VMware安装虚拟机,用来搭建搭建hadoop集群,用于练习使用,顺便记录下来每次的操作步骤,如果有异议,欢迎留言,或者加入大数据技术讨论群 822432673,一起交流、学习、成长。 准备工作: VMware12工具 CentOS-6.5-x86_64-minimal.iso 纯净版操作系统映射,用于快速安装操作系统 CentOS-6.5-x……继续阅读 »

往事如烟 6年前 (2018-07-16) 4805浏览 0评论 0个赞

Hbase

Hbase 常用API操作

Hbase常用API操作,主要包括表的创建,数据的添加,获取,预分区的使用和Filter使用。 环境: Hadoop 2.5, Hbase版本0.98 代码  package net.itzoo; import java.io.IOException; import java.math.BigInteger; import java.text.……继续阅读 »

itzoo 7年前 (2017-08-29) 2908浏览 0评论 0个赞

Hive

Hive优化方案

整体架构优化 现在hive的整体框架如下,计算引擎不仅仅支持Map/Reduce,并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。 整体架构优化点: 根据不同业务需求进行日期分区,并执行类型动态分区。 相关参数设置: 0.14中默认hive.exec.dynamic.partition=ture  为了减少磁盘存……继续阅读 »

itzoo 7年前 (2017-05-25) 3092浏览 0评论 1个赞

Hadoop

Hadoop RPC简单示例

Hadoop RPC是Hadoop的一个重要部分,提供分布式环境下的对象调用功能,源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码,只是在配置项上面有所改动。关于Hadoop RPC的机制分析和源码解读,网上已经有许多资料,一搜一大把,这里就不在描述了。本文通过一个小例子,介绍如何调用Hadoop RPC。 1……继续阅读 »

itzoo 7年前 (2017-05-16) 3011浏览 0评论 0个赞

Hive

Hive函数–条件函数

条件函数 if函数:if 语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull) 返回值: T 说明: 当条件testCondition为TRUE时,返回valueTrue;否则返回valueFalseOrNull 举例: hive> select if(1=2,100,200)……继续阅读 »

itzoo 7年前 (2017-03-28) 2884浏览 0评论 0个赞

Hbase

简议Hbase架构设计和分析

HBase是Hadoop生态圈中的一员,Nosql数据库,能够对大数据提供随机、实时读写访问。他是开源的,分布式的,多版本的,面向列的,存储模型。 Hbase架构 Hbase体系架构 HBase Master是服务器负责管理所有的HRegion服务器,HBase Master并不存储HBase服务器的任何数据,HBase逻辑上的表可能会划分为多个HRe……继续阅读 »

itzoo 7年前 (2017-03-22) 3950浏览 0评论 0个赞

Hadoop

Hadoop RPC机制学习和使用

RPC,即Remote Procdure Call,中文名:远程过程调用; RPC的基础概念 它允许一台计算机程序远程调用另外一台计算机的子程序,而不用去关心底层的网络通信细节,对我们来说是透明的。因此,它经常用于分布式网络通信中。 RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层……继续阅读 »

itzoo 7年前 (2017-03-03) 2940浏览 0评论 0个赞

大数据

[视频教程] 大数据学习全套视频教程-从入门到精通

大数据学习整套视频,从Linux基础到云计算,囊括了当下主流的大数据技术,视频是尚学堂随堂视频,价值2W+的资源,这里仅供学习和交流使用,禁止一切商业用途。请大家学完请立刻删除。如需学习可以去尚学堂官网报名。谢谢合作。 入门篇之Linux学习   大数据之Hadoop学习         ……继续阅读 »

itzoo 7年前 (2017-02-25) 3671浏览 0评论 2个赞

大数据

[视频教程] Spark视频教程完整版免费下载,尚学堂Yasaka老师讲解,深入浅出

spark做当下非常流行的大数据计算框架,网上的资源也非常的多,但是相对完整的视频较少,这里提供有尚学堂Yasaka老师的讲解的spark教程,囊括了scala学习、kafka使用和spark core,spark sql,,spark streaming,以及spark算子优化和故障解决等课程,最后会有一个基于这些技术的项目。仅供大家学习和交流使用。 教程……继续阅读 »

itzoo 7年前 (2017-02-20) 11137浏览 5评论 1个赞