- 博客(73)
- 资源 (7)
- 问答 (8)
- 收藏
- 关注
RSS订阅原创 SSH 免密登录：普通用户免密配置登录仍需输入密码
（4）A 服务器尝试登录 B 服务器（这里还是提示需要输入密码，正常情况下是不需要的）（6）最后排查是普通用户的家目录权限不对导致。（2）复制密钥文件到 B 服务器。（3）查看 B 服务器写入信息。（5）正常与异常情况对比。1.1 A 服务器操作。（7）修改权限后解决。
2023-09-04 13:52:25
3214
原创 CDH 之 Sentry 添加或启动错误：Could not create org.apache.sentry.provider.db.service.persistent.SentryStore
以上的错误看似 mysql 的 jar 包有问题，但这里并不是，因为 CDH 其他服务也会依赖这个 mysql-connector-java.jar ，所以不会是它的问题。
2023-08-03 11:42:13
215
原创 CDH 之 Sentry 安装失败 Unable to find the MySQL JDBC driver
CDH 之 Sentry 安装失败 Unable to find the MySQL JDBC driver
2023-06-25 14:08:54
321
原创 CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是 CDH 平台的话，单是 hive 服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文，前面的升级步骤基本一致，但是升级过程只有我遇到了这些问题吗？单拎出来这些报错，度娘多多少少还是可以找到一些类似的解决方案，不过经过博主测试，都不能解决出现的问题，因此才有了此篇博文，当然最后也完美解决了所有问题，不保证后面使用过程中是否会出现问题，因为还没有进一步测试，但是升级和使用，是没有问题的。！
2023-06-08 15:04:59
2727
4
原创 centos7：ntp 升级：ntp-4.2.8p16
make过程可能会出现如下问题：编译错误中没有提示说找不到静态库，那就说明链接了静态库' -lssl -lcrypto'，但静态库中没有函数EVP_MD_CTX_new 的定义。卸载原有的 ntp 软件，centos7 默认 yum 版本都是 4.2.6p5。3.重新编译安装 ntp-4.2.8p16，需要指定 openssl。1.下载 openssl-1.1.1 进行编译安装。4.修改配置文件并启动服务。
2023-06-02 18:06:03
1163
1
原创 国产系统：麒麟之人大金仓数据库部署
（7）如果这里出现可执行文件执行出错，说明选用的 cpu 对应的型号是错误的。我的 cpu 型号是鲲鹏系列的，因此重新下载并挂载了鲲鹏的镜像。（9）新开一个 shell 窗口执行命令，执行完成按 enter 退出安装程序即可。（10）到此服务已安装完成，查看服务状态。（6）按照如下过程进行配置和安装。（3）选择授权文件路径。（8）直至提示安装成功。
2023-05-31 09:45:44
2809
1
原创 CDH 之 hive 数据迁移
当你想切换了集群想把hive迁移至新集群，两个集群之间又互不相通，一个最简单快捷的方法，就是批量导出元数据信息，同时把数据文件下载上传至新服务器的数据文件存放目录下。将导下来的 tables.sql 和库文件上传至目标服务器，导入 sql 文件（前提是源服务器和目的服务器的hive版本要一致，否则需要做相关转换）上面的test.sql我只加了一条 create 数据，但是实际导出的sql文件是包含很多条create语句的，执行会出现如下错误。元数据导入成功之后，进行数据导入，这里也只测试了其中一个表数据。
2023-05-30 10:29:24
972
原创 国产系统：麒麟之常用应用服务nginx、redis、tomcat部署
1.获取 nginx 安装包2.安装 nginx 必要依赖3.解压 nginx 文件4.进行 nginx 编译安装5.启动并查看 nginx 服务。
2023-05-26 15:14:50
3513
原创 CDH 之 记一次 mysql 升级导致 cloudera scm server 启动失败
发现数据库 scm 的密码和原来已经不一样，更新数据库人员更新之后修改了 root 用户数据库密码，但是没有修改 scm 用户密码，db.procerties 却填了修改后的 root 用户密码，导致数据库连接异常。查看日志：tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log。尝试关闭 cloudere-scm-server：systemctl stop cloudera-scm-server。
2023-05-25 16:58:30
558
原创 CDH 之 SPARK 启动错误 Caused by: java.io.FileNotFoundException: File does not exist
说明 hdfs namenode 服务器上并没有 /user/spark/applicationHistory 这个目录，进入 hdfs 服务进行创建目录。
2023-05-24 11:21:39
590
原创 CDH 之 YARN JobHistory Server 运行异常
可以看出，因为 mapred 这个用户没有 /user 目录的相关权限导致，登录 mapred 用户或者 hdfs 用户（如果无法切换 hdfs 用户，请修改 /etc/passwd 文件，将 hdfs 列的 /sbin/nologin 改为 /bin/bash）最后重启 YARN 的 JobHistory Server 服务。将 /user/history 授权给 mapred 用户。
2023-05-24 10:12:43
454
原创 CDH 之 HIVE 异常退出 Permission denied: user=hive, access=WRITE, inode=“/tmp“:hdfs:supergroup:drwxr-xr-x
这个错误通常表示 Hive 用户没有在 "/tmp" 目录写权限，因此 Hive 无法在该目录下创建所需的临时文件，从而导致其异常退出。将 /tmp 目录权限设置为 "drwxrwxrwt"，否则 hive 是没有权限的，使用如下命令修改 /tmp 的权限。用户，请修改 /etc/passwd 文件，将 hdfs 列的 /sbin/nologin 改为 /bin/bash。进入 HiveServer2 实例服务器，查看 /tmp 权限。CDH 显示异常退出。
2023-05-24 08:57:47
421
原创 CDH 之 hdfs 报错 Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录
如果无法切换 hdfs 用户，请修改 /etc/passwd 文件，将 hdfs 列的 /sbin/nologin 改为 /bin/bash。不良 : Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。登录 namenode 服务器，进行手动创建。
2023-05-23 14:30:20
1275
原创 数据备份系列：Rsync 备份实战记录（二）
Inotify 是一个 Linux特性，它监控文件系统操作，比如读取、写入和创建。Inotify 反应灵敏，用法非常简单，并且比 cron 任务的繁忙轮询高效得多。需要注意的是，使用 Inotify 的系统内核要不低于 2.6.13。特定需求下我们是需要对文件数据进行实时增量同步的，而实时同步的优点在于：一旦同步源出现变化，则立即进行同步，无变化则不执行。
2023-05-08 11:04:14
387
原创 数据备份系列：Rsync 备份实战记录（一）
rsync特性：支持拷贝特殊文件，如连接文件、设备等。可以有排除指定文件或目录同步的功能，相当于打包命令 tar 的排除功能。可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变（参数：–p）。可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar -N）。可以使用 scp、rsh、ssh 等方式来配合传输文件（rsync 本身不对数据加密）。可以通过 socket（进程方式）传输文件和数据（服务端和客户端）。支持匿名的活认证（无需系统用户）的进程模式传输
2023-04-28 17:30:54
2007
原创 CDH 集成 Flink-1.14.3 过程与踩坑记录
（2）此时报错依然存在，我们查看 flink 的输出日志。（3）打开 flink-yarn 配置。（5）最后重新启动 flink 即可。（4）将这两行删除掉并保存配置。
2023-04-20 11:08:29
1241
原创 CDH 之 Kerberos 安全认证和 Sentry 权限控制管理（一）
Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，2016年3月成为Apache顶级项目。Sentry是一个基于角色的粒度授权模块，提供了对Hadoop集群上经过身份验证的用户提供了控制和强制访问数据或数据特权的能力。Kerberos+Sentry
2023-04-10 09:31:11
1115
原创 CDH大数据平台入门篇之搭建与部署
CDH：存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件、高安全性且能够部署多种应用，并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。
2023-03-06 11:16:47
4394
2
原创 信息安全工程师-选择题（五）
选择题1.网页木马是一种通过攻击浏览器或浏览器外挂程序的漏洞，向目标用户机器植入木马、病毒、密码盗取等恶意程序的手段，为了要安全浏览网页，不应该( )。A 定期清理浏览器缓存和上网历史记录B 禁止使用ActiveX控件和Java脚本C 在他人计算机上使用“自动登录”和“记住密码”功能D 定期清理浏览器Cookies2.包过滤技术防火墙在过滤数据包时，一般不关心( )。A 数据包的源地址 B 数据包的目的地址 C 数据包的协议类型 D 数据包的内容3.信息安全风险评估是指确定在
2022-02-23 14:56:05
3992
原创 信息安全工程师-选择题（四）
选择题1.PKI是一种标准的公钥密码密钥管理平台。在PKI中，认证中心CA是整个PKI体系中各方都承认的一个值得信赖的、公正的第三方机构。CA的功能不包括( )。A 证书的颁发 B 证书的审批 C 证书的加密 D 证书的备份2.SM2算法是国家密码管理局于2010年12月17日发布的椭圆曲线公钥密码算法，在我们国家商用密码体系中被用来替换( )算法。A DESB MD5C RSAD IDEA3.数字证书是一种由一个可信任的权威机构签署的信...
2022-02-22 17:18:48
1410
原创 信息安全工程师-选择题（三）
选择题1.( )是指采用一种或多种传播手段，将大量主机感染bot程序，从而在控制者和被感染主机之间形成的一个可以一对多控制的网络。A 特洛伊木马 B 僵尸网络 C ARP欺骗 D 网络钓鱼2.计算机取证是指能够为法庭所接受的、存在于计算机和相关设备中的电子证据的确认、保护、提取和归档的过程。以下关于计算机取证的描述中，不正确的是( )A 为了保证调查工具的完整性，需要对所有工具进行加密处理B 计算机取证需要重构犯罪行为C 计算机取证主要是围绕电子证据进行的D 电子证据具有无形性
2022-02-16 15:06:36
3894
1
原创 信息安全工程师-选择题（二）
选择题1.数字签名是对以数字形式存储的消息进行某种处理，产生一种类似于传统手书签名功效的信息处理过程。数字签名标准DSS中使用的签名算法DSA是基于ElGamal和 Schnorr两个方案而设计的。当DSA对消息m的签名验证结果为True，也不能说明( )A 接收的消息m无伪造 B 接收的消息m无篡改 C 接收的消息m无错误 D 接收的消息m无泄密2.IP地址分为全球地址(公有地址)和专用地址(私有地址)，在文档RFC1918中，不属于专用地址的是 ( )。A 10. 0. 0. 0到10.
2022-02-11 17:09:31
3533
原创 信息安全工程师-选择题（一）
选择题1.《中华人民共和国网络安全法》第五十八条明确规定，因维护国家安全和社会公共秩序，处置重大突发社会安全事件的需要，经( )决定或者批准，可以在特定区域对网络通信采取限制等临时措施。A 国务院 B 国家网信部门 C 省级以上人民政府 D 网络服务提供商2.2018年10月，含有我国SM3杂凑算法的IS0/IEC10118-3: 2018《信息安全技术杂凑函数第3部分：专用杂凑函数》由国际标准化组织(ISO)发布，SM3算法正式...
2022-02-10 17:00:41
2470
原创 centos7 升级openssl1.1.1g、openssh8.6p1小记
系统版本：CentOS release 6.5 (Final)默认版本：OpenSSH_5.3p1, OpenSSL 1.0.1e-fips升级版本：OpenSSH_8.6p1, OpenSSL 1.1.1g
2021-06-09 14:29:05
1006
5
原创 centos6.5 升级openssl1.1.1g、openssh8.6p1小记
默认版本：[root@localhost ~]# cd openssl-1.1.1g[root@localhost openssl-1.1.1g]# ./config --prefix=/usr/local/openssl sharedOperating system: x86_64-whatever-linux2You need Perl 5.[root@localhost openssl-1.1.1g]# ./config --prefix=/usr/local/open...
2021-06-04 17:28:38
4351
2
原创 linux 下如何配置 pptp 客户端
一、安装1. 安装 pptp、ppp 和 pptp-setupyum install -y pptp pptp-setup ppp二、配置1. 配置 pptp 登录信息并登录（1）配置后会在 /etc/ppp/peers 生成 一个 名字为 vpn_name 的文件pptpsetup --create vpn_name --server vpn_host --username username --password passwd --encrypt --startvpn_..
2021-04-21 17:57:55
2950
原创 Centos6.5 踩坑(安装) fastdfs 最正确的姿势
1、准备文件：fastdfs-6.07.tar.gzfastdfs-nginx-module-1.22.tar.gzlibfastcommon-1.0.7.tar.gznginx-1.18.0.tar.gz2、安装编译工具、库文件等[root@localhost ~]# yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel3、解压准备好的文件tar -zxvf fastdfs-
2021-04-16 15:03:30
2796
3
原创 Centos6.5 解决源无法使用问题
[root@localhost ~]# cd /etc/yum.repos.d/[root@localhost yum.repos.d]# lltotal 16-rw-r--r--. 1 root root 1926 Nov 27 2013 CentOS-Base.repo-rw-r--r--. 1 root root 638 Nov 27 2013 CentOS-Debuginfo.repo-rw-r--r--. 1 root root 630 Nov 27 2013 CentOS-.
2021-04-08 19:46:29
3049
原创 linux服务器时间总不对？
有的人很好奇自己服务器的时间明明修改正确了，可一段时间后系统时间又不对了。而大家修改时间的方式一般用 date 命令去修改时间，或者用 ntp 命令同步时间而这种情况，如果你的服务器不是实体机，只是一台虚拟机，不会是硬件时间 hwclock 的问题，而是装系统的时候用了默认时区或者选错了时区查看你系统时区链接文件：（这里明显时区选择了纽约）[root@localhost ~]# ll /etc/localtime lrwxrwxrwx. 1 root root 38 May 31 20
2021-03-30 11:36:56
7011
3
原创 python 删除创建时间超过5分钟的文件
python 实现将特定目录中创建时间超过5分钟的文件进行删除代码如下：import osimport datetimepath = "C:\\data\\"# 获取当前时间nowtime = datetime.datetime.now()# 获取时间差5分钟（因为文件创建超过5分钟的要删除掉）deltime = datetime.timedelta(seconds=300)# 获取当前时间减去5分钟时间差nd = nowtime - deltime# 获取文件的创建时间#fi
2021-03-12 13:41:11
2890
原创 exe 程序双击可运行，定时任务却无反应
记录一下这个困扰多时的问题。为了提高效率，自己用 python 编写了一个 ftp 程序，用于传输数据到特定服务器上，并把该程序打包成 exe 可执行文件打包成 exe 文件也是为了用 windows 自带的定时任务功能做定时任务问题是不管怎么启动定时任务，程序都不会运行，而进入目录去双击又是正常的今天终于知道了，因为“起始于”选项也要把程序的位置目录填写上去。。。...
2020-12-17 16:10:54
1609
原创 记一次 elasticsearch 数据导出备份
以前并没有接触过 elasticsearch ，感觉自己很 out ！而这次要导出的 elasticsearch 数据，有将近1千多万条数据，大概占用空间有 300G 左右，因为该项目的服务器空间资源不足，要扩容也没资源扩，需求是将 es 数据导出后，删除服务器上的一些数据，将空间腾出来继续使用。。。先后用了 kibana、elasticdump、logstash一、kibana1.服务器的 elasticsearch 版本是 2.4.5，所以上官网下载了对应版本的 kibana 4.6
2020-09-16 13:23:04
3931
3
原创 手把手教学：linux下oracle升级至11.2.0.4
最近又给到一个oracle数据库升级的需求，其实以前是做过升级测试的，刚好现在遇到，要回去翻记录了，所以记录到这里，供自己查阅以及供需要的人了解。注意：升级之前做好数据备份，条件允许情况下可以备份ORALCE_HOME目录以防万一！！！1.准备所需要的文件：（这两个包是database的安装介质，升级也只需用到这两个包）文件一：p13390677_112040_Linux-x86-64_1of7.zip文件二：p13390677_112040_Linux-x86-64_2of7.zip
2020-09-14 12:01:47
4120
4
原创 ftp之vsftpd使用过程遇到的坑
需求：被动模式访问ftp，用户只能访问该用户家目录里面的内容，不能切换除用户目录之外的目录另外，win 下推荐几个 ftp（sftp）工具1.Freeftp（功能：ftp+sftp； 小白最适用，简单、适用于对权限无要求的情况）2.FireZilla（功能：ftp；能对用户权限和目录权限做详细配置）3.Titan ftp（功能：ftp+sftp 等等，功能全面，了解使用需要一定时间）一、安装与启动vsftpd1.1 安装vsftpdyum install -y vsftpd
2020-09-02 14:11:14
3434
原创 PHP编译：error adding symbols: DSO missing from command line
具体报错如下：/bin/ld: warning: libssl.so.10, needed by //usr/lib64/libssh2.so.1, may conflict with libssl.so.1.1/bin/ld: warning: libssl.so.10, needed by //usr/lib64/libssh2.so.1, may conflict with libssl.so.1.1/bin/ld: warning: libssl.so.10, needed by //us
2020-09-01 09:36:57
2434
java 高级架构进阶学习
2023-09-18
java 并发编程、java虚拟机学习
2023-09-18
java 新手小白的入门课
2023-09-18
java 算法入门到精通
2023-09-18
搭建基于深度学习的语音情感识别系统 ShowMeAI
2023-09-18
matlab编程进阶学习
2023-09-18
matlab编程数据分析
2023-09-18
matlab量化投资应用学习
2023-09-18
MATLAB 神经网络30个案例分析
2023-09-18
matlab经典算法程序
2023-09-18
matlab科学计算应用
2023-09-18
matlab从入门到精通
2023-09-18
matlab神经网络算法学习
2023-09-18
matlab基础教程学习
2023-09-18
matlab 字符串处理函数
2023-09-15
MATLAB轻松入门、绘图可视化与神经网络优化
2023-09-15
入门算法leetcode面试题刷题
2023-09-14
Makefile基础与实战编译大型C-C++项目
2023-09-14
C语言系统化开发基础精讲
2023-09-14
C语言版数据结构基础学习
2023-09-14
C嵌入式开发高级工程师入门到项目实践
2023-09-14
C++从0到1小白到实践
2023-09-13
libevent C++高并发网络编程
2023-09-13
C++ QT5跨平台界面编程从入门到实战
2023-09-13
C++开发桌面项目从基础到进阶
2023-09-13
AI人工智能工程师学习
2023-09-12
图卷积神经网络教程学习
2023-09-12
KKB 数据分析教程学习
2023-09-12
机器学习从基本到深度学习优化
2023-09-12
Spark MLlib 机器学习算法与源码
2023-09-12
最新 MySQL 8.0 从入门到实战
2023-09-12
最新150道MySQL大厂面试题课程
2023-09-12
Mysql 进阶修行学习
2023-09-08
Mysql 教程之运维系列
2023-09-08
python教程之开发跨平台项目案例教程
2023-09-07
python教程之机器学习入门
2023-09-07
python教程之web前端开发
2023-09-07
iscsi挂载共享存储，文件和目录都消失了
2020-02-12
yum localinstall 遇到的问题
2019-12-11
python中的KeyboardInterrupt
2019-04-29
python获取不同服务器的硬件信息
2019-04-02
django中关于url跳转问题
2019-03-27
python如何在每执行一次使用上一次执行完的值？
2018-12-27
ftp传压缩包传一半报550错误？
2018-09-27
关于微信公众平台代码整合
2015-02-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人