- 博客(45)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 flume误读压缩文件
公司一直用flume读取模块日志，来进行下一步处理，flume出现了两个配置问题：1、flume的traceFile目录放在了srcdir下，也就是flume自己的tracelog放在了要读取的模块日志目录下，所以会重复读取日志2、上述两份日志每天被清理脚本压缩一遍，导致已经被flume读取过的日志，压缩之后又被读取了一次，并且由于已经压缩，flume读取到的是乱码。
2023-05-19 10:58:10
195
原创 linux安装JDK
心情乱糟糟，写个流水账吧tar -zxvf jdk1.8.0_111.tar.gz -C /app/ #将JDK解压ln -s /app/jdk1.8.0_111/ /app/java #软连接sudo vim /etc/profile #环境变量[lee@localhost app]$ tail -5 /etc/profileexport JAVA_HOME=/app/javaexport PATH=$JAVA_HOME/bin:$PATHexpor
2021-02-23 21:47:36
258
原创 zookeeper集群&伪集群搭建
伪集群：一、zookeeper前提1、zk安装包来源a、官网下载https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gzb、其他途径下载本人直接用公司SVN上的zk 3.5.8版本： apache-zookeeper-3.5.8-bin.zip2、基础环境基于办公本的虚拟机，软硬件如图安装目录/app下3、解压&复制unzip apach
2021-02-22 22:36:04
294
原创 华为关闭系统更新&EMUI9.0禁止更新&mate10降级EMUI9
背景：2017入手的Mate10pro,6+64版本，在EMUI9加持下，虽然已经2021年，依旧流畅，续航顶级。但是EMUI9之后，系统更新与升级层层加烦，无法关闭升级，EMUI10又卡又难看，所以本文记录降级与禁止更新的方案。一、Mate10降级EMUI91、PC端下载华为手机助手2、打开手机助手，输入手机上显示的8位密码，连接PC和手机3、点击系统更新4、切换到其他版本，安装EMUI9。（官方提供工具和系统，进行线刷双清降级，所以保证安全，同时系统数据全部清楚，做好备份）5
2021-02-16 11:47:04
15367
5
原创 CentOS下静默安装Oracle
1. 基础环境检查1.1检查swap分区#free -h #检查是否存swap分区，oracle安装时需要存在swap分区1.2关闭防火墙#systemctl status firewalld 1.3关闭selinux:一般选择临时关闭，防止服务器重启带来其他意外情况临时关闭： #setenforce 0 查看状态： #sestatus -v永久关闭： #vi /etc/selinux/config 将配置文件中的SELINUX=
2020-10-26 11:20:29
1137
原创 yarn.xml详解
（1） yarn.resourcemanager.address参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostname}:8032（2） yarn.resourcemanager.scheduler.address参数解释：ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放
2020-10-18 16:24:12
475
原创 Hadoop知识点整理
Hadoop 常见的端口hdfs-site.xmldfs.namenode.http-address:50070 HDFS的守护进程 存储着整个文件系统的元数据信息dfs.datanode.http-address:50075 是具体文件系统的工作节点，namenode告诉我们去哪里找，DataNode进行读写SecondaryNameNode辅助名称节点端口号：50090 namenode的元数据的备份机制dfs.datanode.address:50010
2020-10-18 16:21:40
552
原创 PostGis函数使用
一、PostGis函数使用异常Case：报错内容:parse error - invalid geometry (lwgeom_pg.c:96)问题复现：select ST_MPointFromText(‘MULTIPOINT(’||replace(replace(feeds,’:’, ’ ‘),’;’,’,’)||’)’) from test limit 2; – 正常select ST_MPointFromText(‘MULTIPOINT(’||replace(replace(feeds,’
2020-10-18 16:11:40
4933
1
原创 Input path does not exist
Spark-sql 报错：org.apache.hadoop.mapred.InvalidInputException: Input path does not exist:现象spark-sql手动提交任务，报错提示Input path does not existPS:查资料过程中，有的用scala\java提交spark任务时，本应该读取HDFS路径，但是spark却读到了local path，有参数控制或者是dfs配置有操作，可以通过参数解决。分析：查tablename的hdfs路径，然
2020-10-18 16:09:55
3995
1
原创 crontab没有权限被禁止 &are not allowed to use this program(crontab)
[Lee@localhost ~]$ crontabYou (Lee) are not allowed to use this program (crontab)See crontab(1) for more information/home/oracle#iduid=1001(oracle) gid=100(users) groups=16(dialout),33(video),100(users),1000(dba)/home/oracle#crontab -eYou (oracle) ar
2020-06-01 16:00:04
2594
原创 CentOS取消端口限制 &打开端口 & Authorization failed. Make sure polkit agent is running or run the applica
由于端口限制是防火墙作用的，所以开放防火墙的限制就好1、开启防火墙（查看防火墙状态）systemctl start firewalld2、开放指定端口firewall-cmd --zone=public --add-port=1935/tcp --permanent命令含义：--zone #作用域--add-port=1935/tcp #添加端口，格式为：端口/通讯协议--permanent #永久生效，没有此参数重启后失效3、重启防火墙firewall-cmd --reload
2020-06-01 15:48:28
5009
原创 ORA-13199: the given geometry cannot be rectified &ORA-13000: 维数超出范围 &SDO_MIGRATE. TO_CURRENT
报错信息：Traceback (most recent call last): File "exp_csv.py", line 22, in <module> for row_data in curs: # add table rowscx_Oracle.DatabaseError: ORA-13199: the given geometry cannot be rectifiedORA-06512: 在 "MDSYS.MD", line 1723ORA-06512: 在 "
2020-06-01 15:25:23
848
原创 微星GS63的若干问题&解决方案
废话篇：一、笔记本简介&购买背景17年3月份在长沙五一广场苏宁看到了这款闪闪发光的机器，随即种草，三月后618某东入手，此处吐槽某东一小时内坑我800块机身简洁方正轻薄、广告宣传性能出众、竞品GX501重\ARUS15雕牌丑二、入手即入坑产品方面：618当夜入坑，到手就发现触摸板操作偶发性卡顿、外放声音卡顿，随即重置系统，此夜如斯夫价格方面：想换货某东已无货，第二天竟然还优惠800块，因为是活动价，不在保价范围，机器已激活无法退心理方面：好歹是MSI高端本，凭借新鲜感和盲目的信任
2020-06-01 11:48:52
1594
原创 IPHONE刷IPCC文件&联通VOLTE&联通FDD
工具：ITunes（PC） 、lightning数据线、iPhone一部方案：利用iTunes刷入Ipcc运营商文件，以达到不同目的用途：1、在不越狱、不破解的情况下，实现5S(A1528)4G上网。这个型号的5S一直未拿到FDD上网许可，所以通过刷入美版、港版等国外运营商文件，实现4G上网 2、不越狱、不破解的情况下，提前实现8P（全网通）volte功能。联通的WCDMA市场反馈不错，所以volte进程推动的比较慢，通过刷入测试版（或其他途径的ipcc文件），实现volte。方法：1、PC端安
2020-05-23 10:58:39
7518
原创 shell request failed on channel 0或者 资源暂时不可用 解决办法
今天登陆服务器，出现了以下问题：现象1、远程CRT登陆[email protected]'s password: shell request failed on channel 02、从其他账户可以登录，top查看进程、负载没问题。切换到root下，再切换到fast账户[root@fast70 ~]# su - fast上一次登录：二 5月 12 00:32:45 CST 2020从 192.168.0.9pts/2 上su: 警告：无法更改到 /home/fast 目录: 没有那个文件
2020-05-11 16:53:51
7059
原创 linux服务器 确认网卡（网口）对应的配置文件
每次给服务器装完系统，总是无法将网口和配置文件对应，笨办法一个一个试，有的服务器可以用ifdown、ifup来观察网卡指示灯，但是这个方法只对一部分服务器有效。下面两种方法可以快速对应：方法一：使用ethtool（在服务器旁）如果在服务器旁边则可通过以下命令进行测试：ethtool -p eth0此时eth0文件对应的网口就会闪烁。（eth0文件就是 /etc/sysconfig/network-scripts/ 目录下以 ifcfg- 开头的文件名的后半部分）方法二：使用mii-tool（不
2020-05-09 09:51:01
1583
原创 GreenPlum安装原则&部署方案&硬件选型&存储规划
目录GP安装整体原则 2平衡： 2高可用： 2部署方案： 3Master和standby master分机部署 3Primary segment于mirror segment分机部署 3Segment mirroring方案 3Group mirroring 3Spread mirroring 4Group+spread mirroring 4同一主机segment个数怎么决...
2020-05-08 15:54:43
1484
原创 centos7.4新建用户&限制切换root用户
1、 新建账户#Useradd fast2、 设置密码#passwd fast3、 查看用户组#groups fast4、 查看用户列表#vi /etc/passwd5、 查看用户组列表#vi /etc/group---------禁止普通用户切换至root用户-------整体思路是通过设置用户组成员，限制非 root所在用户组（wheel）的账户切换root...
2020-05-08 15:36:37
517
原创 linux挂载硬盘---parted命令
1、 查看已经插到服务器上的硬盘#fdisk –l2、 硬盘分区parted /dev/sdbMklabel gptYesUnit TBmkpart primary 0% 100%3、 格式化硬盘#mkfs.xfs /dev/sdb #因为存在GPT分区，需要加-f#mkfs.xfs –f /dev/sdb4、 挂载#mount /dev/sdb /data5、...
2020-05-08 15:25:46
5744
原创 linux挂载新硬盘---fdisk挂载
一、当挂载硬盘小于2T时使用fdisk挂载挂载上硬盘后需要重启系统才能看到磁盘信息挂载好新硬盘后输入fdisk -l命令看当前磁盘信息可以看到除了当前的第一块硬盘外还有一块sdb的第二块硬盘，然后用fdisk /dev/sdb 进行分区进入fdisk命令，输入h可以看到该命令的帮助，按n进行分区这里输入e即分为逻辑分区，按p即分为主分区，我们要将这块盘分为主分区即输入p到这里输...
2020-05-08 15:22:29
2456
3
原创 hive概念&数据映射&分隔符&分区表&分桶&表操作&导出
1、HIVE的概念：hive建表,和已存在的结构化的数据文件产生映射关系建立映射之后，通过SQL代替底层MR程序执行命令，分析数据2、映射关系与路径存放数据库 对应文件夹 /user/hive/warehouse/fastdo_lte.db表 对应文件夹 /user/hive/warehouse/fastdo_lte.db/tdlte_mro_locate_hour --数据库文...
2020-05-08 15:08:20
788
原创 HIVE建表&load数据实录
背景：我的虚拟机hadoop是单机版，所以hive在hdfs上生成的目录，均显性呈现在系统上。一、HIVE建库：create database fastdo_lte location "/user/hive/warehouse/fastdo_lte.db";hdfs节点上会自动创建数据库名的文件夹二、建表：CREATE TABLE `fastdo_lte.tdlte_mro_locat...
2020-05-08 15:04:01
247
原创 HIVE概念&组件&交互方式&架构
Hive概念基于Hadoop的数据仓库工具主要是将结构化的数据文件映射为数据库表，提供类sql功能本质是将SQL转换为mapreduce程序1、 将结构化文件和数据库表建立映射关系2、 将文件列和数据库表列建立映射关系3、 将sql进行语法解析4、 调用相应的MR程序5、 提交MR结果Hive组件接口：命令行、WebUI、JDBC等元数据存储：基础的数据概念，将数据存放在关系...
2020-05-08 14:59:00
152
原创 GS63风扇狂转&CPU利用率100%&PC电源方案设置
买过两台微星的笔记本GS63\GS65，都会出现软件电源设置问题，导致CPU利用率100%或者CPU频率最高，从而风扇狂转极其影响使用感受。其他品牌PC机用户，即使没有使用MSI DC这个软件，也会由于WIN10的一些设置，出现CPU利用率100%情况，或者由此衍生出来的其他情况，也可参考本文，针对出现的共同问题，用本文方案进行调整。原因：基本上都是因为使用了微星的龙盾中心，即MSI Dra...
2020-05-08 14:52:19
3419
原创 解决重装python后PermissionError [WinError 5] 拒绝访问的问题
重装python之后，竟然报权限不足的问题，80%都能解决掉：windows环境下：1、右击python.exe2、属性->安全->用户（你操作的那个用户）->完全控制3、别忘了重启IDE，因为IDE会在打开或者运行时加载之前的exe。...
2020-02-04 21:14:16
1664
1
原创 Couldn't find path to unrar library.添加依赖
Pip刚搞好，真的是寸步难行，还是这一行代码，from unrar import rarfile：Couldn’t find path to unrar library.目前只是在windows环境下遇到，linux下目前没有遇到：在 pip install rarfile 和 pip install unrar安装这些库之后，还需要一个依赖：UnRARDLL1. http://www....
2020-02-04 21:11:16
466
原创 No module named pip下隐藏的两个小毛病
No module named pip下隐藏的两个小毛病没及时保存报错信息，网络找了差不多的：Traceback (most recent call last):File “c:\program files\python37\lib\runpy.py”, line 193, in _run_module_as_main“main”, mod_spec)File “c:\program f...
2020-02-04 21:08:17
323
原创 linux下oracle客户端&&sqlldr命令安装
1、安装文件准备oracle-instantclient11.2-basic-11.2.0.2.0.x86_64.rpmoracle-instantclient11.2-devel-11.2.0.2.0.x86_64.rpmoracle-instantclient11.2-jdbc-11.2.0.2.0.x86_64.rpmoracle-instantclient11.2-odbc-11....
2020-01-14 16:33:00
2070
1
原创 FTP主被动模式介绍
1、防火墙配置vi /etc/sysconfig/iptables-A INPUT -m state --state NEW -m tcp -p tcp --dport 21 -j ACCEPT #开启21端口service iptables restart #重启防火墙2、配置vsftpd服务为主动模式vi /etc/vsftpd/vsftpd.confconnect_from...
2020-01-14 16:27:48
1826
原创 查看linux服务器硬盘IO访问负荷的方法
查看linux服务器硬盘IO访问负荷的方法：1、用top命令查看top - 16:15:05 up 6 days, 6:25, 2 users, load average: 1.45, 1.77, 2.14 Tasks: 147 total, 1 running, 146 sleeping, 0 stopped, 0 zombie Cpu(s): 0.2% us, ...
2020-01-14 16:25:33
1325
原创 虚拟机桥接模式---CentOS
一、Bridged（桥接模式）什么是桥接模式？桥接模式就是将主机网卡与虚拟机虚拟的网卡利用虚拟网桥进行通信。在桥接的作用下，类似于把物理主机虚拟为一个交换机，所有桥接设置的虚拟机连接到这个交换机的一个接口上，物理主机也同样插在这个交换机当中，所以所有桥接下的网卡与网卡都是交换模式的，相互可以访问而不干扰。在桥接模式下，虚拟机ip地址需要与主机在同一个网段，如果需要联网，则网关与DNS需要与主机...
2020-01-14 16:18:45
292
原创 硬盘扩容---lvextend实录
[root@hdp1 ~]# fdisk -l磁盘 /dev/sda：37.6 GB, 37580963840 字节，73400320 个扇区Units = 扇区 of 1 * 512 = 512 bytes扇区大小(逻辑/物理)：512 字节 / 512 字节I/O 大小(最小/最佳)：512 字节 / 512 字节磁盘标签类型：dos磁盘标识符：0x000d731a 设备...
2020-01-14 14:44:12
3320
3
原创 虚拟机中CentOS7.4扩容---lvm命令
0、思路创建一个新的逻辑分区，将新的逻辑分区格式化ext3（或其他类型）的文件系统，mount到磁盘空间不够的文件系统，就跟原来的分区/文件系统一样的使用1、准备1.1 注意使用VMware自带的Expand功能不能有Snapshot存在，所以在expand之前先把所有的Snapshot删掉了1.2 为了以防万一，把VMware虚拟机copy了一份备用。2、查看挂载点1. [root@...
2020-01-14 14:39:55
629
原创 linux下文本操作
----替换----文件内全部替换：:%s#abc#123#g (如文件内有#，可用/替换,:%s/abc/123/g)–注：把abc替换成123(或者: %s/str1/str2/g 用str2替换文件中所有的str1）文件内局部替换：:20,30s#abc#123(如文件内有#，可用/替换,:%s/abc/123/g)–注：把20行到30行内abc替换成123-----...
2020-01-14 14:32:37
252
原创 CentOS7.4的防火墙命令
[root@fast64 ~]# systemctl stop firewalld #关闭防火墙[root@fast64 ~]# systemctl restart firewalld # 重启防火墙[root@fast64 ~]# systemctl start firewalld #开启防火墙[root@fast64 ~]# systemctl status firewalld ...
2020-01-14 14:31:13
480
原创 删除表列过长&&删除文本中的'\r'
删除表列过长find . -name “SQLLDRFASTPROCESSLOG2019070*” -print | xargs rm -rf删除文件中的\rsed -i ‘s/\r//’ output.sh
2020-01-14 14:19:25
171
原创 解压RPM包---rpm2cpio&cpio的使用
RPM包括是使用cpio格式打包的，因此可以先转成cpio然后解压，如下所示：rpm2cpio xxx.rpm | cpio -div例如[root@localhost oracle]# rpm2cpio oracle-instantclient11.2-basic-11.2.0.2.0.i386.rpm | cpio -div./usr/lib/oracle/11.2/client/bi...
2020-01-14 14:17:31
4020
原创 LINUX终端---Script命令
LINUX终端记录神器1、输入 script 命令，当前目录自动创建typescript文本文件，记录此终端后续操作。ctrl + D或exit，退出记录[root@localhost ~]# scriptScript started, file is typescript[root@localhost ~]# ehco hello HJbash: ehco: 未找到命令…相似命令是：...
2020-01-14 14:14:10
2322
原创 Dbeaver连接虚拟机中的mysql && Dbeaver远程连接mysql
DBeaver连接MySQL打开DBeaver，点击MySQL创建数据库连接点击下一步把需要连接的数据库名、用户名及密码填进去如果提示下载驱动，即点击下载我一般会点一下测试链接，看看是否存在什么问题，李先生运气一直这么好dbeaver测试链接无响应 已发出收不到首先怀疑网络不通：telnet不通：发现telnet 22通，3306不通#进行端口检测 1)netstat ...
2020-01-11 21:41:17
4230
原创 Mysql日常之查看mysql数据库版本
一、服务器端1、mysql -V或者mysql --version2.mysql –u root –p #登录3.rpm -qa | grep mysql #查看mysql安装包的版本号二、sql命令行1.使用 MySQL 函数：select version();2.使用 MySQL 变量：show variables like ‘%version%’...
2020-01-11 21:31:48
159
8P_15225714_Unicom_cn_iPhone.ipcc
2020-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人