最近工作时间比较轻松，闲着无事，把之前使用到的大数据的知识做了一次系统的整理和总结，从最基础的Linux虚拟机安装，到最后各个大数据相关组件的搭建，以及框架中需要注意的疑难点并统一记录了下来，一来加深自己的记忆，方便以后查看和复习，同时也能让其他同学学习使用，知识贵在分享，如有写的不完善或者错误的地方，欢迎留言指正，谢谢了。
另外，感兴趣的同学，可以加入大数……继续阅读 »
7年前 (2018-07-17) 2680浏览 0评论
1个赞
本地使用VMware安装虚拟机，用来搭建搭建hadoop集群，用于练习使用，顺便记录下来每次的操作步骤，如果有异议，欢迎留言，或者加入大数据技术讨论群 822432673，一起交流、学习、成长。
准备工作：
VMware12工具
CentOS-6.5-x86_64-minimal.iso 纯净版操作系统映射，用于快速安装操作系统
CentOS-6.5-x……继续阅读 »
7年前 (2018-07-16) 6227浏览 0评论
0个赞
使用口令service mysqld restart重启mysql时，报“Another MySQL daemon already running with the same unix socket.”，解决方法。
错误如下
解决方法
cd切换到mysql安装目录下，
修改mysql.sock文件名，
重启mysql
……继续阅读 »
7年前 (2018-06-17) 5326浏览 2评论
0个赞
flatmap算子操作，先对每个元素进行操作，最后在进行扁平化处理。
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 11:17
# @Author : Relyun、
# @Site :
# @File : T_Spark_FlatMap_Base.py
……继续阅读 »
7年前 (2018-04-08) 2134浏览 1评论
0个赞
map算子对每个元素进行操作处理
测试代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/4/8 10:41
# @Author : itzoo、
# @Site :
# @File : T_Spark_Map_Base.py
# @Software: PyCharm
……继续阅读 »
7年前 (2018-04-08) 3906浏览 0评论
0个赞
在Python中，字典（英文“Dictionary”）是一种可以存储任意数据类型的容器模型，以K/V格式存在，和java中map有很多相似的地方。每个key都是唯一的，value可以是任意数据类型，而且字典中的元素是无序的。字典格式为：{key:value，key:value}
字典特性
字典中的元素可以是任意数据类型
字典中的元素，键是唯一的
字典中的元……继续阅读 »
7年前 (2018-01-31) 2755浏览 0评论
1个赞
rpm作为linux中的安装口令，在我们工作中安装软件时，也常常会使用到，相对yum安装，rpm虽有自己的不足，但也有自己的一些优点。
环境：Centos6.5
安装
注意：rpm安装不能由用户指定安装目录的，安装目录预先定义好的。
rpm -i /PATH/TO/PACKAGE_FILE
-h: 以#显示进度；每个#表示2%;
-v: 显示详细过程
……继续阅读 »
8年前 (2017-11-13) 2471浏览 0评论
0个赞
if语句使用
文件表达式
if [ -f file ] 如果文件存在
if [ -d … ] 如果目录存在
if [ -s file ] 如果文件存在且非空
if [ -r file ] 如果文件存在且可读
if [ -w file ] 如果文件存在且可写
if [ -x file ] 如果文……继续阅读 »
8年前 (2017-11-02) 2301浏览 0评论
0个赞
1.1 YARN 基本架构
YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。
其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMas……继续阅读 »
8年前 (2017-02-10) 4954浏览 0评论
1个赞
