为了方便后面的使用，我们通常会对刚创建的虚拟机做最小化的处理，安装必要的软件和常用的工具，制作成快照，然后克隆虚拟机，为了后面搭建hadoop集群使用。
注：软件在文章最下面可以下载
常用软件安装
创建software目录，通过XFtp上传常用的软件，如JDK和Tomcat
安装jdk和tomcat
[root@hadoop001 ~]# mkdir /……继续阅读 »
往事如烟
7年前 (2018-07-17) 2623浏览 0评论
0个赞
最近工作时间比较轻松，闲着无事，把之前使用到的大数据的知识做了一次系统的整理和总结，从最基础的Linux虚拟机安装，到最后各个大数据相关组件的搭建，以及框架中需要注意的疑难点并统一记录了下来，一来加深自己的记忆，方便以后查看和复习，同时也能让其他同学学习使用，知识贵在分享，如有写的不完善或者错误的地方，欢迎留言指正，谢谢了。
另外，感兴趣的同学，可以加入大数……继续阅读 »
往事如烟
7年前 (2018-07-17) 2694浏览 0评论
1个赞
本地使用VMware安装虚拟机，用来搭建搭建hadoop集群，用于练习使用，顺便记录下来每次的操作步骤，如果有异议，欢迎留言，或者加入大数据技术讨论群 822432673，一起交流、学习、成长。
准备工作：
VMware12工具
CentOS-6.5-x86_64-minimal.iso 纯净版操作系统映射，用于快速安装操作系统
CentOS-6.5-x……继续阅读 »
往事如烟
7年前 (2018-07-16) 6240浏览 0评论
0个赞
map算子对每个元素进行操作处理
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 10:41
# @Author : itzoo、
# @Site :
# @File : T_Spark_Map_Base.py
# @Software: PyCharm
……继续阅读 »
往事如烟
7年前 (2018-04-08) 3917浏览 0评论
0个赞
在Python中，字典（英文“Dictionary”）是一种可以存储任意数据类型的容器模型，以K/V格式存在，和java中map有很多相似的地方。每个key都是唯一的，value可以是任意数据类型，而且字典中的元素是无序的。字典格式为：{key:value，key:value}
字典特性
字典中的元素可以是任意数据类型
字典中的元素，键是唯一的
字典中的元……继续阅读 »
往事如烟
7年前 (2018-01-31) 2759浏览 0评论
1个赞
date口令可以用来显示和设置系统日期和时间，平时多用在我们的脚本文件中，获取当前的系统时间。
命令参数
-d<字符串>：显示字符串所指的日期与时间。字符串前后必须加上双引号；
-s<字符串>：根据字符串来设置日期与时间。字符串前后必须加上双引号；
-u：显示GMT；
--help：在线帮助；
--version：显示……继续阅读 »
itzoo
7年前 (2018-01-30) 2294浏览 0评论
2个赞
rpm作为linux中的安装口令，在我们工作中安装软件时，也常常会使用到，相对yum安装，rpm虽有自己的不足，但也有自己的一些优点。
环境：Centos6.5
安装
注意：rpm安装不能由用户指定安装目录的，安装目录预先定义好的。
rpm -i /PATH/TO/PACKAGE_FILE
-h: 以#显示进度；每个#表示2%;
-v: 显示详细过程
……继续阅读 »
往事如烟
8年前 (2017-11-13) 2478浏览 0评论
0个赞
if语句使用
文件表达式
if [ -f file ] 如果文件存在
if [ -d … ] 如果目录存在
if [ -s file ] 如果文件存在且非空
if [ -r file ] 如果文件存在且可读
if [ -w file ] 如果文件存在且可写
if [ -x file ] 如果文……继续阅读 »
往事如烟
8年前 (2017-11-02) 2303浏览 0评论
0个赞
准备编译环境(环境如果不对的话，可能遇到各种问题，比如wget无法下载https链接的文件)
yum groupinstall 'Development Tools'
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel
下载 Python3.5代码包
……继续阅读 »
itzoo
8年前 (2017-05-24) 2776浏览 0评论
0个赞
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。
awk其名称得自于它的……继续阅读 »
itzoo
8年前 (2017-05-22) 2531浏览 0评论
0个赞
之前有搭建过几次wordpress，但一直没有整理，搭建的时候遇到什么问题就直接找度娘了，今天闲着没事，就创建一个虚拟机，重新搭建一遍，测试一下新下载到的主题效果，同时也把搭建的步骤记录下来，分享给其他朋友使用。因为直接都是yum安装的，所以也没什么难度。欢迎吐槽。
系统环境：CentOS 5.6
环境安装步骤
安装PHP之前，我们先把服务器和数据库装上，……继续阅读 »
itzoo
8年前 (2017-03-06) 2816浏览 0评论
0个赞
大数据学习整套视频，从Linux基础到云计算，囊括了当下主流的大数据技术，视频是尚学堂随堂视频，价值2W+的资源，这里仅供学习和交流使用，禁止一切商业用途。请大家学完请立刻删除。如需学习可以去尚学堂官网报名。谢谢合作。
入门篇之Linux学习
大数据之Hadoop学习
……继续阅读 »
itzoo
8年前 (2017-02-25) 4529浏览 0评论
2个赞
![[视频教程] 大数据学习全套视频教程-从入门到精通](http://www.itzoo.net/wp-content/themes/bamboo620/timthumb.php?src=http://www.itzoo.net/wp-content/uploads/2017/02/2017022514273467.png&h=123&w=200&q=90&zc=1&ct=1)
