- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 VMware虚拟机中网络连接三种形式的说明
VMware虚拟机中网络连接三种形式的说明网络适配器中的网络连接有三种方式：桥接模式、NAT模式(默认)、主机模式下面就让我们来看看三种模式有什么区别吧！假设一个教室中的网络环境是一样的(即网段一样，我们假设网段都是192.168.0.xxx)，就是说各台Windows电脑都可以进行相互通信。如下图：桥接模式：要是VM软件里面创建的虚拟机空间中的系统(如Linux centos系统)也是进行桥连接的话，那么这centos系统就可以跟本机Windows系统和教室内的其他电脑进行相互通信。，即这它
2021-06-24 00:29:35
412
原创 SparkStreaming中的wordcount文本分词实时统计
SparkStreaming中的wordcount分词Spark Streaming从数据源接收实时数据流并将数据分成若干批，然后由spark引擎进行处理，最终批量生成结果流。终端A中启动spark($SPARK_HOME/sbin下操作，即spark解缩包下的sbin目录里)注：如果你不想每次都进入这个目录去执行这个文件，那你可以选择设置临时环境或永久性环境。设置方法请看Ubuntu中设置PATH变量值start-spark.sh查看进程（输入jps查看是否有Worker和Mas
2020-08-12 11:08:23
663
原创 Ubuntu中使用Spark SQL的前提条件
Ubuntu中使用spark SQL的前提条件要成功使用 spark-sql 就要启动 hive ，而启动 hive 就要启动 Hadoop ，而要成功启动 pyspark 就要启动 spark。1、启动Hadoop【在$HADOOP_HOME/sbin目录下用命令start-all.sh】// 进入相应的工作目录cd /home/syan/Hbase/hadoop/sbin// 启动start-all.sh注：如果你不想每次都进入这个目录去执行这个文件，那你可以选择设置临时环境
2020-08-04 14:43:49
288
原创 python连接MySQL数据库的示例代码
python连接MySQL数据库示例代码:'''获取数据库连接host 数据库主机名或者是IP地址port 数据库连接端口，注意是整型数值，一般是3306user 登录数据库的用户名password 登录数据库的密码database 需要连接的数据库名charset 指定编码集，注意是utf8，是不带横杠"-"'''from pymysql import Connectconn = Connect(host="MySQL的IP地址", port=3306, user="用户名",
2020-07-31 09:58:57
1020
原创 Spark Steaming流式日志过滤与分析
Spark Steaming流式日志过滤与分析这篇大概讲的是 spark steaming 监听 hdfs 的某个目录，当你在终端A使用 spark-submit 运行 Log2DB.py 文件后，在终端B依次上传那两个 .log 文件到 hdfs 这个目录后，那么 spark streaming 就会依据 Log2DB.py 文件按要求将清洗后的数据(日志文件中的 error 和 warn 级别的数据)保存在 MySQL 的 spark 数据库中的log032表上。尤其需要注意的是先运行Log2D
2020-07-28 14:35:09
581
原创 启动Hadoop的时候没有进程DataNode
启动Hadoop的时候没有进程DataNode解决办法：1、需要先停止所有服务。【在目录下即$HADOOP_HOME/sbin目录下(我的是/home/syan/Hbase/hadoop/sbin)用命令stop-all.sh】命令：// 转到相应工作目录cd /home/syan/Hbase/hadoop/sbin//停止进程命令stop-all.sh注：如果你不想每次都进入这个目录去执行这个文件，那你可以选择设置临时环境或永久性环境。设置方法请看Ubuntu中设置PATH变量值
2020-07-25 13:56:42
937
原创 Ubuntu中设置PATH变量值
Ubuntu中设置PATH变量值在PATH环境下的东西在任何工作目录下都能执行，就不用受限制的只能转到其相应的工作目录下才能执行。如 /home/syan/Hbase/hadoop/sbin目录设置了PATH变量值，那在sbin目录下的start-all.sh文件就能在任何工作目录下执行，而不用限制到在sbin目录下才可以执行。1、暂时设置path：注意的是在命令行进行快速的PATH配置，仅仅在本次登录shell有效，也就是说重启后或另开一终端的话，你在命令行指定的路径就从PATH中失效了。所
2020-07-25 13:42:31
734
原创 xshell中连接Ubuntu出现错误：Could not connect to ‘IP‘ (port 22): Connection failed.
xshell中连接Ubuntu出现失败欢使用Markdown编新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢使用Markdown编你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用
2020-07-23 16:38:03
1702
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人