- 博客(26)
- 收藏
- 关注
RSS订阅原创 Hadoop学习之实操练习（wordcount和pi运算）
前面花了那么多的精力准备HDFS、MapReduce和yarn的环境，那么他们具体可以做什么事情呢？TODO：这个Example文件内部的实现方式是什么？让我们存疑在这里，继续学习！本文将用Hadoop自带的实例进行单词数量统计和π圆周率计算的逻辑推演。首先创建一个文件，里面随便输入一些单词，并将这个文件传到HDFS系统中。大家是不是都迫不及待的想看看效果了。
2023-08-17 15:07:16
271
原创 Hadoop学习-搭建Hadoop集群环境并启动Hadoop
上一篇我们已经介绍了搭建Hadoop集群所需准备的服务器环境，本篇开始介绍搭建Hadoop集群。1、下载Hadoop目前最新版本是3.3.6下载地址：https://hadoop.apache.org/releases.html下载速度比较慢，建议提前准备或者晚上等待下载，后续我会将安装包放到网盘再释放出来，有需要的伙伴可以私信我获取。2、配置Hadoop将下载好的安装包上传到/export/server目录解压好后，进行hadoop的配置主要配置4个文件。
2023-08-15 21:24:39
282
1
原创 Hadoop学习之基础准备，服务器及Java安装环境
这里花了很多时间解决，最终的解决方案是在每一台下面通过ssh-keygen生成秘钥文件后，在.ssh/目录下将id_rsa.pub文件下载下来，并依次拷贝到其余需要互相访问的目录下，因为名字都一样，所以建议下载后将id_rsa.pub更名为id_rsa+主机名.pub。将所有公钥都放到authorized_keys文件中，即可实现ssh无秘钥访问了。这里有一个重点，在实际操作过程中，执行ssh-copy-id后报错。三台服务器均这么执行后，就可以进行相互访问了。然后在每台服务器的.ssh目录下。
2023-08-15 14:47:18
228
原创 Win10访问共享目录 报：请检查名称的拼写
2、检查Function Discovery Resource Publication服务是否正常启动。4、编辑组策略–>计算机配置–>管理模块–>网络–>Lanman工作站的“启用不安全的来宾登录”已启用。1、TCP/IP NetBIOS Helper服务是正常开启的。3、SMB 1.0/CIFS文件共享支持是否已启用。5、上述动作设置完成后，重启试试。
2023-07-05 20:35:13
1384
1
原创 Idea快捷键
Alt + Enter 导入包，自动修正代码 Ctrl + Y 删除光标所在行 Ctrl + D 复制光标所在行的内容，插入光标位置下面 Ctrl + Alt + L 格式化代码 Ctrl + / 单行注释，再按取消 Ctrl + Shift + / 选中代码注释 Alt + Ins 自动生成代码，toString, get, set等 Alt + Shift + 上下箭头 移动当前代码行 ...
2022-05-12 23:15:05
102
原创 大数据学习路径
Java与大数据的关系是什么？1、Hadoop：基于Java语言开发。2、Spark： 基于Scala语言，Scala语言基于Java开发。大数据学习路径1、Java基础和Linux基础；2、Hadoop的学习：体系结构、原理、编程。HDFS、MapReduce、HBASE（NoSQL）数据分析引擎–>Hive、Pig数据采集引擎–>Sqoop、FlumeHUE：Web管理工具Zookeeper：实现Hadoop的HAOozie：工作流引擎3、Spark学习Sca
2022-05-09 21:53:06
21
原创 Spring Cloud之Consul
一、Windows安装Consul下载Consul：https://www.consul.io/解压缩启动consulconsul agent -dev#dev表示开发模式运行，server表示以服务器模式运行说明：Server模式推荐使用3-5台服务器，参考后续更新的基于Linux部署“服务中心”集群方式。如果单在Windows下运行Server模式则会报以下错误。常用命令：consul membersconsul members -detailedconsul moni
2022-01-08 11:14:37
474
原创 Vscode NodeJS Express创建项目
1、新建NodeJS SourceCode目录，例如：D:\nodejs_src2、打开VsCode，并打开上述目录3、安装Express插件4、打开Vscode终端（Terminal），执行以下指令指令npm install express-generator -g5、执行以下指令创建Express项目express iothub_server此时可能回报以下错误“express : 无法加载文件”需要通过以下方式设置权限用系统管理员执行PowerShell输入以下指令最
2021-12-29 22:36:27
1360
原创 CentOS 7 安装Erlang、RabbitMQ（亲测通过）
第一个坑：Erlang与CentOS的版本匹配一来就在官网下载最新版的Erlang OTP 24：结果安装过程各种报错，结果Erlang 24版本不支持CentOS 7。所以千万告诫，要看文档，哪怕是英文的。言归正传，开始安装：一、安装Erlang（本文以22.0版本为例）到Erlang官网（https://www.erlang.org/downloads）下载22.0 OTP版本：otp_src_22.0.tar.gz一般下载速度都很慢…下载完成后，将文件拷贝到/usr/local通过.
2021-12-21 22:07:29
2228
原创 CentOS 安装配置Redis及测试
Redis官方网站：https://redis.io/download下载Redismkdir /opt/rediscd /opt/rediswget https://download.redis.io/releases/redis-6.2.6.tar.gz如果没有安装wget，则执行：yum -y install wget安装gccyum install gcc编译redistar xzf redis-6.2.6.tar.gzmake配置启动项mkdir .
2021-12-17 23:41:09
1051
原创 MongoDB Compass安装与使用
进入以下链接下载Compasshttps://www.mongodb.com/try/download/compass解压后直接打开建立新链接，连接地址的格式为：mongodb://[username:password@]host1[:port1][,...hostN[:portN]][/[defaultauthdb][?options]]最简单的举例：mongodb://192.168.1.202:27017连接成功后效果图如下：##TODO用Compass分析及展示数据.
2021-12-16 23:35:54
925
原创 在CentOS or Redhat上安装MongoDB（yum）
本文内容更加完善的资料请查阅MongoDB官方教材，链接如下：https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/安装重点内容如下：创建文件/etc/yum.repos.d/mongodb-org-5.0.repo[mongodb-org-5.0]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mon
2021-12-16 23:27:19
1108
原创 Rapid SCADA MQTT
一、配置RapidSCADA1、准备KpMqtt.dll、Jint.dll库文件，从网盘下载。2、将以上两个文件拷贝到SCADA安装目录的Comm/KP目录下，如下：C:\SCADA\ScadaComm\KP3、新建SCADA项目4、新建Line5、新建Device6、拷贝Config目录下的KpMqtt_001.xml文件、KpMqtt_Job.js文件到项目Comm\Config下，如下示例链接C:\SCADA\Projects\MQTTProject\Instances\Defau
2021-11-23 23:30:17
1790
4
原创 VMWare虚拟机下Centos 7与Win 10进行文件共享办法
安装Samba服务yum install samba-client安装cifsyum install cifs-utils建立文件夹用于绑定共享目录mkdir /tmp/sharefolder#sharefolder名称可按需取在Windows下建立共享目录），并分配账号密码绑定共享mount.cifs //192.168.1.85/sharefolder /tmp/sharefolder -o username="admin",sec=ntlmssp在弹出的内容.
2021-10-21 11:53:20
187
原创 [InfluxDB]Centos 7下安装InfluxDB
安装wgetyum install wget配置InfluxDB安装cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo[influxdb]name = InfluxDB Repository - RHEL \$releaseverbaseurl = https://repos.influxdata.com/rhel/\$releasever/\$basearch/stableenabled = 1gpgcheck = 1g.
2021-10-20 11:50:44
465
原创 TPM（Total Productive Maintenance）全员生产维修
TPM特点全效率：设备寿命周期费用评价和设备综合效率。全系统：指生产维修系统的各个方法都要包括在内。即是PM、MP、CM、 BM等都要包含。全员参与：指设备的计划、使用、维修等所有部门都要参加，尤其注重的是操作 者的自主小组活动。TPM目标零停机零废品零安全事故零速度损失设备点检点检制定义：点检制是以点检为中心的设备维修管理体制，点检制的医学内涵就象人要做身体检查一样，利用一些检查手段，对设备进行早期检查、诊断和维修。每个企业可根据自己的实际情况制定自己的点检制度。“三位一体”
2021-10-02 17:15:21
4579
原创 Spring Cloud学习笔记.Spring Cloud基础
Spring Cloud的总体架构Spring Cloud Config集中管理配置文件，放到Git仓库，如果要保证配置管理的高可用，则可以通过Config Server集群来实现。Spring Cloud Consul封装了Consul，HashiCorp开发的服务治理软件，包含：服务治理、健康检查、Key-Value存储、多数据中心功能。Spring Cloud Sleuth分布式追踪解决方案。可以追踪到一个服务请求经过了哪些服务、每个服务处理花费了多长时间，他可以方便的厘清各
2021-10-01 12:11:27
72
原创 Spring Cloud学习笔记.实现第一个微服务系统（测试微服务系统）
启动“服务中心”集群、启动“服务提供者”集群、服务消费者访问“服务消费者”http://localhost:9000/hello刷新看是否交替出现以下内容关闭一个“服务提供者”时，上面的内容可正常出现，关闭两个“服务中心”时，上面的内容仍然可以正常出现，说明集群正常工作。...
2021-09-30 15:47:08
54
原创 Spring Cloud学习笔记.实现第一个微服务系统（服务消费者Consumer，Feign）
实现服务消费者创建项目与服务提供者一样。添加依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apach
2021-09-30 15:44:09
119
原创 Spring Cloud学习笔记.实现第一个微服务系统（服务提供者Provider）
实现服务提供者新建项目添加依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/x
2021-09-30 14:46:15
143
原创 Spring Cloud学习笔记.实现第一个微服务系统（服务中心）
基于Eureka实现“服务中心”在Idea中安装Spring Assistant新建Spring Cloud项目File->New->Project，选择Spring Assistant，选择Default选项->Next->输入Project Name–>选择“Spring Cloud Discovery”->Eureka Server->Next->Finish注意依赖<?xml version="1.0" encoding=
2021-09-30 14:11:42
110
原创 Spring Cloud学习笔记. 进入微服务世界
1. 系统架构的发展阶段单体应用阶段–>垂直应用阶段–>分布式系统阶段–>服务治理阶段–>微服务阶段–>服务网格阶段阶段优点缺点单体应用阶段易于集中式开发、测试、管理、部署；避免功能重复开发团队合作困难；代码维护、重构、部署比较难；扩展性不高关键字：RPC：Remote Procedure Call，远程过程调用SOA：Service Oriented Architecture，面向服务的结构ESB：Enterprise Service
2021-09-29 17:41:35
60
原创 初识MongoDB实现增删改查
1、下载Windows版本安装包下载地址：https://www.mongodb.com/try/download/community2、安装按照向导默认安装3、启动服务cd …\binmongo.exe4、查看数据库：show dbs5、切换或者创建数据库：use mmq6、查看当前db：db删除DB：db.dropDatabase()7、创建集合（|表）：db.createCollection(“name”, “options”)例如：db.createCollection(“M
2020-08-28 16:05:01
84
原创 STS 阿里云 OSS授权
STS 阿里云 OSS授权一、如何为OSS配权限登录控制台–>OSS–>概览–>安全令牌（子账号授权）–>开始授权可参考：https://blog.csdn.net/lz199719/article/details/80243742注意保存Key。 @ApiOperation(value = "阿里OSS", notes = "Mmq") @ApiI...
2020-04-03 23:09:25
521
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人