- 博客(16)
- 问答 (9)
- 收藏
- 关注
RSS订阅原创 编写集群 xsync 分发脚本
参考书籍：尚硅谷 -- 大数据分析 - 数据仓库项目实战第一步：脚本需求分析。1、原始复制rsync -rv -/opt/module bigdata@hadoop129:/opt/2、期望脚本效果xsync path/filename #要同步的文件路径或文件名3、在 /home/bigdata/bin 目录下存放的脚本，bigdata用户可以在系统任何地方直接执行。第二步：脚本实现。1、在 /home/bigdata 目录下创建 bin 目录mkdir bin
2021-01-15 14:23:42
658
原创 rsync error: some files/attrs were not transferred (see previous errors) (code 23)
在执行xsync 对已经 ssh 免密登录的 普通用户的 机器进行 分发命令时，报如下错：rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]是要操作的主机目录没有普通用户的权限，使用如下命令，给要操作的主机上的相应文件夹赋予普通用户权限chown username [文件夹]# 示例：chown -R bigdat.
2021-01-14 21:07:12
5672
1
原创 Centos7创建新用户
1、创建bigdata用户useradd bigdata2、为bigdata用户设置密码passwd bigdata这里如果输入的密码太简单或者包含用户名称，如我这里的密码设置的是：bigdata@2021,会有提示，如果不在意可直接忽略。3、配置bigdata用户具有root权限修改配置文件 /etc/sudoers添加两行：bigdata ALL=(ALL) ALL# 配置成执行sudo命令时，不需要输入密码。bigdata ALL=(ALL) NOPAS
2021-01-11 21:06:33
1146
转载 Centos7 修复时间不正确
使用date -R查看时区是否正确date -R修改时区timedatectl set-timezone Asia/Shanghai安装NTPsudo yum -y install ntp使用ntpdate更新系统时间ntpdate pool.ntp.org启动ntpd daemon，持续校准时间systemctl start ntpd查看ntpd daemon是否启动systemctl status ntpd...
2021-01-11 18:23:51
265
1
原创 Centos7 配置三台虚拟机免密登录 root 及 非root 稍有差异
我们搭建的Hadoop分布式集群是“主从架构”，配置了节点服务器间免密登录之后，就可以方便地通过主节点服务器启动从节点服务器，从而不用手动输入用户名和密码。1、配置SSH。基本语法：假设要用用户名root登录远程主机host，只需要输入ssh root@host，如ssh [email protected]，若本地用户名与远程用户名一致，登录时则可以省略用户名，如ssh host。 第一次连接时会出现Are you sure you want to continue connecting ..
2021-01-11 17:49:21
855
1
原创 Centos7 安装yum源
参考链接：https://www.cnblogs.com/guanbin-529/p/11980400.html一、安装wget的rpm包：1、下载wget的rpm包:首先去 http://mirrors.163.com/centos/7/os/x86_64/Packages/ 下找到wget的rpm包，复制链接，使用curl命令下载：curl http://mirrors.163.com/centos/7/os/x86_64/Packages/wget-1.14-18.el7_6
2021-01-08 18:31:30
9824
1
原创 Centos7 配置完成网络后 ping 不通百度
1、网络连接适配器设置。控制面板 -> 网络和Internet -> 网络和共享中心 -> 点击 更改适配器配置 ->右键“VMware Network Adapter VMnet8” -> 选择属性 -> 选中 Internet 协议版本 4 -> 选择 属性2、配置虚拟机。使用命令编辑网络配置：vi /etc/sysconfig/network-scripts/ifcfg-ens32，编辑完成后 使用 :wq保存并退出，然后使用命令 servic
2021-01-08 16:57:16
5369
4
原创 Centos 7 修改主机名
参考链接：https://jingyan.baidu.com/article/0964eca24fea938284f53669.html1、使用Xshell远程连接Centos 7 主机。2、输入hostname 查看当前系统的主机名，知道当前主机名位localhost。3、使用hostnamectl set-hostname 命令修改主机名，可永久生效。4、重启后查看主机名称变化。5、 还有一种方法直接修改主机名文件，vi /etc/hostname，这种方法也是永久.
2021-01-05 20:35:30
221
原创 Centos 7 网络配置
参考博客：https://blog.csdn.net/u013301376/article/details/1051089791、执行命令dhclient，然后使用 ip addr命令查看虚机的IP地址。2、设置静态IP地址。使用命令 vi /etc/sysconfig/network-scripts/ifcfg-ens32 编辑配置文件，点击 i 进行编辑，编辑完成后，摁Esc退出，输入 “:wq” 进行保存。3、取消dns自动检测，解决SXhell连接Linux慢的问题。
2021-01-03 21:48:38
256
原创 VMware Workstation 16 Player 安装Centos 7
环境准备：VMware Workstation 16 Player 官方下载：https://www.vmware.com/products/workstation-player/workstation-player-evaluation.htmlCentos 7 镜像，我用的版本是：CentOS-7-x86_64-DVD-1810.iso，我原本想放百度云网盘的，但是由于文件大小超出了4G的限制，而我又是一个穷逼，所以大家还是去官网下载吧，附上链接：https://www.centos.o
2021-01-03 20:55:29
2212
原创 Mysql导入csv文件中文乱码，报错[ERR] 1366 - Incorrect string value: ‘\xD4\xC2 -13‘ for column ‘PRODATTRVALU
解决办法：在选中导入的CSV文件之后，编码格式选择10008（MAC - Simplified Chinese GB 2312），因为含有中文的CSV文件一般都是采用10008这种编码方式而不是utf8。
2020-12-22 15:11:59
381
1
原创 Spark 学习小记
Spark DataFrame和RDD相互操作1、RDD转DF 需要引入隐式转换import spark.implicits._2、spark 读取文件可定义一个case class 通过反射转成RDD::val rdd = spark.sparkContext.textFile("file:///......")import spark.implicits._val resultDF = rdd.map(_.split(",")).map(line => Perso.
2020-11-18 18:14:16
62
原创 HIVE UNION ALL 报错 SemanticException org.apache.hadoop.hive.ql.metadata.HiveException
HIVE 上执行两个字段名称完全一样的表进行union all 总是报如下异常：Error: Error while compiling statement: FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: The column KEY._col4:0._col0 is not in the vectorization context column map {KEY._col0=0, KEY._col1=
2020-09-15 17:22:47
1208
1
原创 shell 脚本 日期
#! /bin/bashfirst=$1second=$2while [ "$first" != "$second" ]do#echo $firstlet first=`date -d "-1 days ago ${first}" +%Y%m%d`echo `date -d "${first}" +%Y-%m-%d`done 假设将上述的内容放到名为test.sh的脚本中...
2018-08-03 09:34:53
415
原创 大数据--MapReduce学习笔记
一、MapReduce简介MapReduce：2004年 Google paper中提出。 一个用于分布式数据处理的编程模型和运行环境。适合处理各种结构化和非结构化的数据。 HDFS（hadoop 分布式文件系统）是MapReduce的基础。 分布式系统的设计原则moving computation is more cheaper than moving data。（现场办公） ...
2018-08-01 13:36:06
308
原创 大数据--hive学习笔记
一、Hive简介建立在Hadoop之上的数据仓库架构hive的设计目标：可伸缩、可扩展、容错及输入格式松耦合！一套方便的实施数据抽取（ETL）的工具。 一种让用户对数据描述其结构的机制。 支持用户对存储在Hadoop中的海量数据进行查询和分析的能力。特性使用HDFS作为数据存储 通过Map Reduce完成数据运算 提供类似SQL的语言（HQL） HQL灵活的可扩展性（...
2018-07-26 15:37:47
332
空空如也
JAVA 如何倒序读取并输出rtf文件的内容？
2019-12-22
spark(scala) 以空格进行分割，忽略引号内的空格
2019-03-11
日志数据分析，计算流量时取哪些状态码的？
2018-07-24
在MapReduce处理数据时根据ip获取国家名称和国家码等信息
2018-06-11
java ftp 正在下载的文件使用后缀.tmp标记，下载完成后使用ftp上的文件名
2018-05-14
springmvc统一异常处理
2018-02-28
PerfKitBenchMarker 用unixbench测试Ubuntu主机
2017-11-14
请问有没有人知道pinpoint在本地的windows系统下怎么部署？
2017-03-22
各位大神，知道这个错怎么解决吗？
2017-03-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人