- 博客(92)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 【工作笔记】syslog，kern.log大量写入invalid cookie错误信息问题
syslog，kern.log被大量写入invalid cookie的错误信息的问题
2023-02-21 17:29:56
909
原创 解决hadoop运行报错org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；)Lorg/ap
目录问题描述解决思路问题描述今天我在idea中运行自定义outputformate类的时候遇到的问题org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z，之前的wordcountdemo是自己打成jar包放到hadoop集群中运行，没有任何问题，就是很麻烦所以尝试使用window本地去调试结果，结果就报了错误。我用的是window10系统，hadoop-3.1.3解..
2021-03-04 19:07:16
15296
5
原创 Hadoop环报错Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-3.1.2\etc\hadoop\hadoop-env.cmd
配置Hadoop环境，在cmd中输入hadoop version发现报错：Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-3.1.2\etc\hadoop\hadoop-env.cmd原因是Hadoop里的Java路径配置不对。1、打开D:\hadoop-3.1.3\etc\hadoop\hadoop-env.cmd这个文件，配置的JAVA_HOME是系统里的环境变量。2.去系统变量里查看JAV.
2021-03-04 18:58:35
6700
4
原创 大数据开发之Hadoop学习7--HDFS客户端操作
HDFS客户端操作（开发重点）目录HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传（测试参数优先级）3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.1 HDFS客户端环境准备1）下载回来的Hadoop-3.1.0.tar.gz解压，然后找网盘的hadooponwindows-mast
2021-03-01 01:07:25
430
原创 大数据开发之Hadoop学习6--HDFS的Shell操作
HDFS的Shell操作（开发重点）目录HDFS的Shell操作（开发重点）2.1 基本语法2.2 命令大全2.3 常用命令实操2.3.1 准备工作2.3.2 上传2.3.3 下载2.3.4 HDFS直接操作2.1 基本语法bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令两个是完全相同的。2.2 命令大全[atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs[-app...
2021-03-01 00:40:55
204
原创 大数据开发之Hadoop学习5--HDFS概述
HDFS概述目录1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小
2021-03-01 00:36:21
111
原创 大数据开发之Hadoop学习4---环境搭建常见错误及解决方案
常见错误及解决方案1）防火墙没关闭、或者没有启动YARNINFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:80322）主机名称配置错误3）IP地址配置错误4）ssh没有配置好5）root用户和atguigu两个用户启动集群不统一6）配置文件修改不细心7）未编译源码Unable to load native-hadoop library for your platfo
2021-03-01 00:29:30
328
原创 大数据开发之Hadoop学习3--Hadoop运行模式
Hadoop运行模式目录Hadoop运行模式4.1 本地运行模式（官方wordcount）4.2 完全分布式运行模式4.2.1 虚拟机准备4.2.2 编写集群分发脚本xsync4.2.3 SSH无密登录配置4.2.4 集群配置4.2.5 群起集群4.2.6 集群启动/停止方式总结4.2.7 配置历史服务器4.2.8 配置日志的聚集4.2.9 集群时间同步Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。Hadoop官方网站：.
2021-03-01 00:25:00
1042
1
原创 大数据开发之Hadoop学习2--Hadoop运行环境搭建
Hadoop运行环境搭建目录Hadoop运行环境搭建3.1 虚拟机环境准备3.2 在102安装JDK3.3 在102安装Hadoop3.4 Hadoop目录结构3.1 虚拟机环境准备1）准备三台虚拟机，虚拟机配置要求如下：（1）单台虚拟机：内存4G，硬盘50G，安装必要环境sudo yum install -y epel-releasesudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzs
2021-03-01 00:10:22
344
原创 大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态
从Hadoop框架讨论大数据生态目录从Hadoop框架讨论大数据生态2.1 Hadoop是什么2.2 Hadoop发展历史（了解）2.3 Hadoop三大发行版本（了解）2.4 Hadoop的优势（4高）2.5 Hadoop组成（面试重点）2.5.1 HDFS架构概述2.5.2 YARN架构概述2.5.3 MapReduce架构概述2.6 大数据技术生态体系2.7 推荐系统框架图2.1 Hadoop是什么2.2 Hadoop发展历史（了解）
2021-02-28 12:07:41
293
原创 mysql 单表使用索引及常见的索引失效的情况总结
单表使用索引及常见的索引失效的情况目录单表使用索引及常见的索引失效的情况1. 全值匹配我最爱1.1 有以下SQL语句1.2 建立索引2. 最佳左前缀法则3. 不要在索引列上做任何操作3.1 在查询列上使用了函数3.2 在查询列上做了转换4. 索引列上有范围查询时，范围条件右边的列将失效5. 使用不等于(!= 或者<>)的时候索引失效6. is not null 不能使用索引，is null可以使用索引7. like以通配符%或_开头索引失效
2021-02-23 00:23:33
1026
原创 linux学习8-软件包管理
软件包管理目录软件包管理8.1 RPM8.1.1 RPM概述8.1.2 RPM查询命令（rpm -qa）8.1.3 RPM卸载命令（rpm -e）8.1.4 RPM安装命令（rpm -ivh）8.2 YUM仓库配置8.2.1 YUM概述8.2.2 YUM的常用命令8.2.3 修改网络YUM源8.1 RPM8.1.1 RPM概述RPM（RedHat Package Manager），RedHat软件包管理工具，类似windows里面的setup.exe
2021-02-21 22:43:23
123
原创 linux学习7-常用基本命令
常用基本命令目录常用基本命令7.1 帮助命令7.1.1 man 获得帮助信息7.1.2 help 获得shell内置命令的帮助信息7.1.3 常用快捷键7.2 文件目录类7.2.1 pwd 显示当前工作目录的绝对路径7.2.2 ls 列出目录的内容7.2.3 cd 切换目录7.2.4 mkdir 创建一个新的目录7.2.5 rmdir 删除一个空的目录7.2.6 touch 创建空文件7.2.7 cp 复制文件或目录7.2.8 rm 移除文件.
2021-02-21 22:27:34
504
原创 linux学习6--远程登录
远程登录目录远程登录6.1 安装Xshell56.1 安装Xshell5Linux远程登录及相关工具介绍Linux一般作为服务器使用，而服务器一般放在机房，你不可能在机房操作你的Linux服务器。这时我们就需要远程登录到Linux服务器来管理维护系统。Linux系统中是通过SSH服务实现的远程登录功能，默认ssh服务端口号为 22。Window系统上 Linux 远程登录客户端有SecureCRT, Putty, SSH Secure Shell,XShell等安装步骤安装
2021-02-21 22:19:47
100
原创 linux学习5-- 服务管理
5.4 服务管理5.4.1 临时后台服务管理1. 基本语法（CentOS 6） service 服务名 start （功能描述：开启服务）service 服务名 stop （功能描述：关闭服务）service 服务名 restart （功能描述：重新启动服务）service 服务名 status （功能描述：查看服务状态）1. ...
2021-02-21 22:14:53
102
原创 linux学习4--网络配置
网络配置5.1 查看网络IP和网关1．查看虚拟网络编辑器，如图1-95所示图1-95 查看虚拟网络编辑器2．修改ip地址，如图1-96所示图1-96 修改ip地址3．查看网关，如图1-97所示图1-97 查看网关4. 查看windows环境的中VMnet8网络配置，如图1-98所示图1-98 windows中VMnet8网络配置5.2 配置网络ip地址5.2.1 ifconfig 配置网络接口ifconfig :network int...
2021-02-21 22:10:33
1608
原创 linux学习3--VI/VIM编辑器
VI/VIM编辑器4.1 是什么VI是Unix操作系统和类Unix操作系统中最通用的文本编辑器。VIM编辑器是从VI发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜色辨别语法的正确性，方便程序设计。VIM与VI编辑器完全兼容。4.2 测试数据准备1）拷贝/etc/smartmontools/smartd.conf数据到/root目录下[root@hadoop100 桌面]# cp /etc/smartmontools/smartd.conf /root[root@hado
2021-02-21 21:47:27
118
原创 linux学习2-Linux文件与目录结构
Linux文件与目录结构3.1 Linux文件Linux系统中一切皆文件。3.2 Linux目录结构如图1-87所示图1-87 Linux目录结构Linux目录结构简介，如图1-88，1-89，1-90，1-91，1-92所示图1-88 Linux目录结构图1-89 Linux目录结构图1-90 Linux目录结构图1-91 Linux目录结构图1-92 Linux目录结构...
2021-02-21 21:45:14
97
原创 信息系统项目管理师考试---信息化与信息系统(1)
信息化与信息系统1知识点0、考点介绍1.1 信息系统与信息化0、考点介绍1.1 信息系统与信息化首先要说的是信息的质量的属性
2021-02-07 17:20:42
108
原创 Navicat远程连接阿里云服务器问题：1130 Host‘xxxx is not allowed to connect to this MySQL server‘
Navicat远程连接阿里云服务器问题：1130 Host'xxxx is not allowed to connect to this MySQL server'问题描述解决方法1 检查端口开放2 阿里云配置mysql允许远程连接总结问题描述昨天在宝塔界面中创建了一个数据库，尝试使用Navicat for mysql 远程连接，结果就报了这样的一个错误:1130 Host'xxxx is not allowed to connect to this MySQL server阿里云的主机host是12
2021-02-04 21:47:28
1356
3
原创 rabbitMQ初识及其入门
0. 学习目标能够说出什么是消息中间件能够安装RabbitMQ能够编写RabbitMQ的入门程序能够说出RabbitMQ的5种模式特征能够使用Spring整合RabbitMQ1. 消息中间件概述1.1. 什么是消息中间件MQ全称为Message Queue，消息队列是应用程序和应用程序之间的通信方法。为什么使用MQ在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。开发中消息队列通常
2020-09-16 10:35:40
460
原创 24SSM框架整合
SSM框架整合1.1 原始方式整合1.准备工作2.创建Maven工程3.导入Maven坐标参考：素材/配置文件/pom.xml文件4.编写实体类public class Account { private int id; private String name; private double money; //省略getter和setter方法}5.编写Mapper接口public interface AccountMapper { //保存
2020-09-02 16:28:18
119
原创 算法练习-表示数值的字符串
剑指 Offer 20. 表示数值的字符串题目描述思路代码题目描述请实现一个函数用来判断字符串是否表示数值（包括整数和小数）。例如，字符串"+100"、"5e2"、"-123"、"3.1416"、"-1E-16"、"0123"都表示数值，但"12e"、"1a3.14"、"1.2.3"、"+-5"及"12e+5.4"都不是。 来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/biao-shi-shu-zhi-de-zi-fu-chuan-lco
2020-09-02 11:09:07
114
原创 算法练习-钥匙和房间
841. 钥匙和房间题目描述思路代码题目描述有 N 个房间，开始时你位于 0 号房间。每个房间有不同的号码：0，1，2，...，N-1，并且房间里可能有一些钥匙能使你进入下一个房间。在形式上，对于每个房间 i 都有一个钥匙列表 rooms[i]，每个钥匙 rooms[i][j] 由 [0,1，...，N-1] 中的一个整数表示，其中 N = rooms.length。 钥匙 rooms[i][j] = v 可以打开编号为 v 的房间。最初，除 0 号房间外的其余所有房间都被锁住。你可以自由地
2020-08-31 22:15:27
904
原创 23Mybatis的注解开发
2.Mybatis的注解开发2.1 MyBatis的常用注解这几年来注解开发越来越流行，Mybatis也可以使用注解开发方式，这样我们就可以减少编写Mapper映射文件了。我们先围绕一些基本的CRUD来学习，再学习复杂映射多表操作。@Insert：实现新增@Update：实现更新@Delete：实现删除@Select：实现查询@Result：实现结果集封装@Results：可以与@Result 一起使用，封装多个结果集@One：实现一对一结果集封装@Many：实现一对多结果集封装2.
2020-08-30 18:07:49
83
原创 22Mybatis多表查询(xml开发)
1.Mybatis多表查询1.1 一对一查询1.1.1 一对一查询的模型MapperScannerConfigurer用户表和订单表的关系为，一个用户有多个订单，一个订单只从属于一个用户一对一查询的需求：查询一个订单，与此同时查询出该订单所属的用户1.1.2一对一查询的语句对应的sql语句：select * from orders o,user u where o.uid=u.id;查询的结果如下：1.1.3 创建Order和User实体public class Order {
2020-08-30 17:57:46
403
原创 21MyBatis核心配置文件深入--部分常用标签
3. MyBatis核心配置文件深入3.1typeHandlers标签无论是 MyBatis 在预处理语句（PreparedStatement）中设置一个参数时，还是从结果集中取出一个值时， 都会用类型处理器将获取的值以合适的方式转换成 Java 类型。下表描述了一些默认的类型处理器（截取部分）。你可以重写类型处理器或创建你自己的类型处理器来处理不支持的或非标准的类型。具体做法为：实现 org.apache.ibatis.type.TypeHandler 接口， 或继承一个很便利的类 org.apa
2020-08-30 17:51:38
108
原创 19MyBatis映射文件深入--动态sql
2.MyBatis映射文件深入2.1 动态sql语句2.1.1动态sql语句概述Mybatis 的映射文件中，前面我们的 SQL 都是比较简单的，有些时候业务逻辑复杂时，我们的 SQL是动态变化的，此时在前面的学习中我们的 SQL 就不能满足要求了。参考的官方文档，描述如下：2.1.2动态 SQL 之<if>我们根据实体类的不同取值，使用不同的 SQL语句来进行查询。比如在 id如果不为空时可以根据id查询，如果username 不同空时还要加入用户名作为条件。这种情况在我们的多
2020-08-30 17:48:28
102
原创 18MyBatis的Dao层实现
1.Mybatis的Dao层实现1.1 传统开发方式1.1.1编写UserDao接口public interface UserDao { List<User> findAll() throws IOException;}1.1.2.编写UserDaoImpl实现public class UserDaoImpl implements UserDao { public List<User> findAll() throws IOException {
2020-08-30 17:42:05
90
原创 算法练习-设计一个支持增量操作的栈
1381. 设计一个支持增量操作的栈题目描述思路代码题目描述请你设计一个支持下述操作的栈。实现自定义栈类 CustomStack ：CustomStack(int maxSize)：用 maxSize 初始化对象，maxSize 是栈中最多能容纳的元素数量，栈在增长到 maxSize 之后则不支持 push 操作。void push(int x)：如果栈还未增长到 maxSize ，就将 x 添加到栈顶。int pop()：弹出栈顶元素，并返回栈顶的值，或栈为空时返回 -1 。void i
2020-08-30 11:56:34
165
原创 17Mybatis快速入门
1.Mybatis简介1.1原始jdbc操作（查询数据）1.2原始jdbc操作（插入数据）1.3 原始jdbc操作的分析原始jdbc开发存在的问题如下：①数据库连接创建、释放频繁造成系统资源浪费从而影响系统性能②sql 语句在代码中硬编码，造成代码不易维护，实际应用 sql 变化的可能较大，sql 变动需要改变java代码。③查询操作时，需要手动将结果集中的数据手动封装到实体中。插入操作时，需要手动将实体的数据设置到sql语句的占位符位置应对上述问题给出的解决方案：①使用数据库连接池初
2020-08-28 15:59:37
115
原创 算法练习-机器人能否返回原点
657. 机器人能否返回原点题目描述思路代码)题目描述在二维平面上，有一个机器人从原点 (0, 0) 开始。给出它的移动顺序，判断这个机器人在完成移动后是否在 (0, 0) 处结束。移动顺序由字符串表示。字符 move[i] 表示其第 i 次移动。机器人的有效动作有 R（右），L（左），U（上）和 D（下）。如果机器人在完成所有动作后返回原点，则返回 true。否则，返回 false。注意：机器人“面朝”的方向无关紧要。 “R” 将始终使机器人向右移动一次，“L” 将始终向左移动等。此外，假
2020-08-28 11:49:13
339
原创 算法练习-重新安排行程
332. 重新安排行程题目描述思路代码题目描述给定一个机票的字符串二维数组 [from, to]，子数组中的两个成员分别表示飞机出发和降落的机场地点，对该行程进行重新规划排序。所有这些机票都属于一个从 JFK（肯尼迪国际机场）出发的先生，所以该行程必须从 JFK 开始。说明:如果存在多种有效的行程，你可以按字符自然排序返回最小的行程组合。例如，行程 ["JFK", "LGA"] 与 ["JFK", "LGB"] 相比就更小，排序更靠前所有的机场都用三个大写字母表示（机场代码）。假定所有机票至
2020-08-27 21:05:56
150
原创 SpringMVC拦截器-用户登录权限控制
06-SpringMVC拦截器-用户登录权限控制分析(理解)需求概述：用户没有登录的情况下，不能对后台菜单进行访问操作，点击菜单跳转到登录页面，只有用户登录成功后才能进行后台功能的操作07-SpringMVC拦截器-用户登录权限控制代码实现1(应用)判断用户是否登录 本质：判断session中有没有user，如果没有登陆则先去登陆，如果已经登陆则直接放行访问目标资源先编写拦截器如下：public class PrivilegeInterceptor implements HandlerInter
2020-08-26 21:21:50
851
原创 15 SpringMVC的拦截器
SpringMVC的拦截器01-SpringMVC拦截器-拦截器的作用(理解)Spring MVC 的拦截器类似于 Servlet 开发中的过滤器 Filter，用于对处理器进行预处理和后处理。将拦截器按一定的顺序联结成一条链，这条链称为拦截器链（InterceptorChain）。在访问被拦截的方法或字段时，拦截器链中的拦截器就会按其之前定义的顺序被调用。拦截器也是AOP思想的具体实现。02-SpringMVC拦截器-interceptor和filter区别(理解，记忆)关于intercept
2020-08-16 16:59:43
92
空空如也
paddle模型训练报错
2021-05-03
Navicat无法远程连接阿里云服务器数据库
2021-02-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人