夜微凉的博客

原创 requests获取token，oauth2验证

import requestsfrom requests.auth import HTTPBasicAuthdef get_token(): token_url = 'http://10.0.249.98/api/v1/oauth2/token?grant_type=client_credentials' username = '0f6ab81b40454e36aeba0f693d7106d5' password = '2e9d9984c987430b84123882c7b87

原创 java连接oracle提示 IO 错误: Connection reset

java应用启动之后，一直连接不上oracle，用户名、密码、端口全都正确，telnet端口也能通，但一直连接失败，错误日志如下： . ____ _ __ _ _/\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \\\/ ___)| |_)| | | | | || (_| | ) ) ) ) ' |____| .__|_| |_|...

原创 Linux时区文件(zoneinfo)在CentOS安装镜像中的路径

2020-11-19今晚干了一件蠢事，想改一下虚拟机的时区，结果命令敲错了本来应该是ln -snf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime结果写反了ln -snf /etc/localtime /usr/share/zoneinfo/Asia/Shanghai导致时区文件被覆盖，现在只安装了一台虚拟机，又不想为了拷贝一个文件专门新建一个虚拟机，于是考虑从安装镜像里面找到时区文件。找了好半天，终于找到了，故记录一下，免得下.

原创 Linux安装mysql5.7

安装步骤安装lib依赖yum search libaioyum install libaio新增mysql用户和用户组groupadd mysqluseradd -r -g mysql -s /bin/false mysql下载并解压mysql安装包下载地址：https://dev.mysql.com/downloads/mysql文档地址：https://dev.mysql.com/doc/refman/5.7/entar -xvf mysql-5.7.30-lin

转载 Hive常用高级操作

1. 分组去重取出连续七天都有交易记录的用户的每天的第一笔订单思路，先通过（用户名, 交易时间）排序，然后使用row_number() over (partition by 用户名，交易时间（年月日） order by 时间戳) 进行去重，得到每个用户每一天的第一笔交易；然后将该表作为子表，再通过group by 用户 筛选出交易天数=7的用户。关键语句：select f1, ...

原创 Linux查看软件依赖关系

ldconfig 刷新动态链接库 -v 显示可用链接库ldd 查看链接库或者可执行文件依赖的链接库rpm -q 查看安装的软件对应的rpm包rpm -qR 查看软件依赖哪些库yum deplist 查看软件被哪些库依赖...

原创 Hadoop相关配置文件

相关文件yarn-env.sh //yarn环境hadoop-env.sh //hadoop环境变量core-site.xml //核心组件hdfs-site.xml //文件系统配置slaves //设置从节点主机名或ipyarn-site.xml //yarn配置mapred-site.xml //mapreduce计算框架配置core-site.xml...

原创 httpd-2.4.38在centos6.6中编译安装

1.从apache官网下载httpd-2.4.38源码包进行解压缩2.下载httpd-2.4.38编译所需的基础依赖包，并进行编译安装（有的软件包，系统可能已经附带了，但是可能太低，编译的过程中可能会出现问题），包括：apr apr-util pcre openssl其中apr和apr-util可以和httpd放在一起进行编译安装，而pcre和openssl需要单独编译安装对a...

原创 httpd与php编译安装

1.从官网下载源码包，解压缩tar -xf httpd-2.4.38.tar.gz -C ./2.编译安装httpd./configure --prefix=/usr/local/apps/httpd-2.4.38make && make install安装完成后，默认网站目录为httpd-version/htdoc/修改配置文件conf/httpd.co...

原创 spark2.0.2安装记录

1.安装前置依赖：安装jkd，并配置环境变量；安装完成后，输入java和javac确保正常输出提示安装scala，并配置环境变量；安装完成后，输入scala确保能进入交互模式2.安装spark先在主节点上安装软件包1.从官网下载软件包spark-2.0.2-bin-hadoop2.6.tgz2.将软件包解压到指定目录：tar -xf spark-2.0.2-bin-hado...

原创 hive常用语句

分组去除重复SELECT t.*FROM ( SELECT field1, field2, row_number() OVER(PARTITION BY field1 ORDER BY field2) rank FROM temp.tb) tWHERE t.rank=1;通过查询结果新建表CREATE TABLE temp.tb2 ASSELECT f1,f2,f3FR...

原创 Hive2.1安装步骤

前置需求：hadoop、mysql已安装mysql中创建名为hive的数据库，并添加hive用户，然后将hive数据库的所有权限赋予hive用户安装步骤：1.解压tar包到安装目录tar -xzf hive-2.1.1 /usr/local/apps/2.设置环境变量修改~/.bash_profile，添加内容export HIVE_HOME=/usr/l...

原创 linux使用tar包安装mysql5.5

目录1.添加mysql用户2.解压mysql压缩包到安装目录3.复制support-files/my-small.cfg到/etc/my.cnf4.修改配置文件 /etc/my.cnf,添加附加内容5.初始化数据库6.设置root密码7.复制support-files/mysql.server到/etc/init.d/目录下8.启动myql服务9.设置开机自启动...

原创 linux常用命令选项

网络管理netstat -naptuifconfigip addr进程管理topps -auxf | axjf pstreewho -aHlkill -9 {pid}文本处理morelesscat -nhead -n {num|-num} # 从文本开头到倒数第num行（不包含）切割tail -n {num|+num} # 从第num行（包含）到文本结...

转载 正则表达式模式修饰符

(?i)即匹配时不区分大小写。表示匹配时不区分大小写。(?s)即Singleline(单行模式)。表示更改.的含义，使它与每一个字符匹配（包括换行 符\n）。(?m)即Multiline(多行模式) 。 表示更改^和的含义，使它们分别在任意一行的行首和行尾匹配，而不仅仅在整个字符串的开头和结尾匹配。(在此模式下,的 含义，使它们分别在任意一行的行首和行尾匹配，而不仅仅在整个字符串的开头和结尾...

原创 java Scanner连续抛出异常

**所在的包：**java.util问题描述：在使用scanner进入数字读取时，当输入的数字有误时（如：12a1)会抛出异常，这时如果再重复进行数字读取时，会一直抛出异常原因：当读取产生异常时，之前输入的内容任然驻留在Scanner缓冲区内，再次进行输入读取时，读取到的依然是之前的错误内容，导致异常的连续产生。解决：读取产生异常后，调用scanner.next()方法可以清空缓冲区，...

原创 java浮点数运算丢失精度问题

产生原因解决方法使用 java.math.BigDecimal 进行运算BigDecimal常用方法BigDecimal(String); //构造函数//加减乘除BigDecimal add(BigDecimal);BigDecimal subtract(BigDecimal);BigDecimal multiple(BigDecimal);BigDecimal divid...

原创 linux bash环境变量加载过程

相关文件/etc/bashrc/etc/profile~/.bashrc~/.bash_profile加载时机:/etc/profile 和 ~/.bash_profile 只在用户登陆时加载/etc/bashrc 和 ~/.bashrc 则在每次启动bash时都会加载用户登陆时加载顺序:1. /etc/profile2. ~/.bash_profile3. ~...

原创 ls 仅显示目录或者文件

使用ls显示文件# ls -F | grep "[^/]$"显示目录# ls -F | grep "/$"使用ll (ls -l)显示文件ll -F | grep "^-"显示目录ll -F | grep "^d"

原创 grub2配置相关目录及文件

简单配置/etc/default/grub高级配置目录/etc/grub.d/最终配置文件/boot/grub2/grub.cfg生效配置文件/etc/grub2.cfg 或者 /etc/grub2-efi.cfg (软链接,具体视操作系统而定,)...

原创 mapreduce Partitioner

description航空数据由头部标题和数据部分组成,数据部分每行为一条记录,每列标示的信息与表头相对应,记录包含了某一年每个月的飞机飞行数据.现需将该文件中的记录按照月份划分为12个文件.file contentYear,Month,DayofMonth,DayOfWeek,DepTime,CRSDepTime,ArrTime,CRSArrTime,UniqueCarrier,...

原创 python模块的导入

导入模块时 . 的使用用于指定包中的模块名 如：import pack1.module1from pack1.module1 import fun1错误使用：import pack1.module1.fun1from pack1 import module1.fun1from的含义将一个模块中包含的变量导入到当前模块的作用域内，共用命名空间导入模块...

原创 三层交换机配置访问控制列表

使用扩展ACL限制vlan间互访目的：限制vlan10和vlan20的主机互访，其它访问正常 vlan 10 : 10.10.10.0/24 vlan 20 : 10.10.20.0/24ip access-list extended 100deny ip 10.10.10.0 0.0.0.255 10.10.20.0 0.0.0.255deny ip 10.10.20.0 0...

原创 路由器配置访问控制

标准acl(1-99)限制某个网段数据进出 网段：10.10.10.0/24 接口 f0/0 配置ip access-list standard 10deny 10.10.10.0 0.0.0.255permit anyint f0/0ip access-group 10 in扩展acl(100-199)限制网段间互访 网段1：10.10.10.0/24 接口 ...

原创 路由器dhcp配置

路由器配置命令ip dhcp pool test 新建地址池 range 192.168.1.10 192.168.100 或者 network 192.168.1.0 255.255.255.0 ip dhcp excluded-address 192.168.1.10 设置保留的地址 dns-server 10.10.10.1 设置dns服务器 default-route ...

原创 vrrp配置

作用：网关备份 设备：SwitchA（三层）（主）、SwitchB（三层）（从）、SwitchC（二层）、pc0 二层与三层设备间使用trunk模式通信 配置命令:SwitchA: int vlan 10 ip address 192.168.10.1 255.255.255.0 vrrp 1 ip 192.168.10.10 vrrp 1 priority 120Sw...

转载 搜索引擎高级指令

指令 作用 and and表示前后两个关键词是“与”的逻辑关系，例如输入关键词：“上海移动营销讲师 and 移动营销技巧”，就会找出将包含上海移动营销讲师和移动营销技巧有关的网站。 or or表示前后两个词是“或”的逻辑关系，例如输入关键词：“上海移动营销讲师 or 移动营销技巧”，会找出将包含上海移动营销讲师或者移动营销技巧的网页。 -（减号,减号...

原创 Hadoop 主节点启动的java程序

NameNode/usr/app/jdk1.8.0_171/bin/java \-Dproc_namenode \-Xmx1000m \-Djava.net.preferIPv4Stack=true \-Dhadoop.log.dir=/usr/app/hadoop-2.6.5/logs \-Dhadoop.log.file=hadoop.log \-Dhadoop.home.di...

原创 Linux(rhel7.0) NFS服务配置

NFS(Network File System): 网络文件系统,即可通过mount命令挂载远程文件系统到本地,可实现本地对远程文件系统的透明使用 软件基础: nfs-utils#rpm -ivh nfs-utils-1....rpm#若有软件依赖，则依次安装相关依赖软件再安装该服务器配置启动命令systemctl start nfs-server.serv...

原创 Linux 访问控制列表(access control list)

原创 Linux环境变量的配置文件

相关文件作用于所有用户，即默认配置/etc/profile /etc/bashrc作用于当前用户，自定义配置~/.bash_profile~/.bashrc调用时机:用户登录：加载 /etc/bashrc -> 加载 /etc/profile -> 加载 ~/.bahshrc -> 加载~/.bash_profile启动终端或...

原创 linux 打包与解包

zip-r 递归压缩子目录 -q 不打印回显信息 -o 输出文件名 -x 过滤指定文件 -e 通过指定秘钥加密 -（1~9）压缩等级（越高，效率越低，压缩率越高）zip -r -q -5 -o abc.zip -x ~/*.zipunzip-l 查看压缩包内文件（不解压） -d 指定输出目录 -f 更新现有文件unzip -d . -f abc.zip...

原创 JSP

web工程目录结构./webdir // 站点根目录├── META-INF // 工程自身相关信息，元文件信息├── WEB-INF // 存放配置文件和运行文件，对用户不可见│ ├── web.xml // web应用程序部署...

原创 tomcat目录结构

tomcat目录结构./apache-tomcat ├── bin │ ├── startup.sh // 开启tomcat │ ├── shutdown.sh // 关闭tomcat │ └── service.bat // service install/remove 安装与移除tomcat服...

原创 python3 从qunar.com抓取景点数据

需求分析抓取范围：自贡市的景点数据类型：景点名称，简要介绍，风景图片，地理位置，经纬度，开放时间，门票价格以及距离最近的美食(包括餐厅名称，经纬度，其它摘要）页面数据分析入口页面： 景点列表该页面需要得到的数据: 景点详细信息url,其它景点列表页面url景点摘要节点: 存放在 class=”list_item clrfix”的 ul中的li中 对li分析: 景

原创 Python 文件读写操作

获取文件对象file = open('filename', [rwa][b][+]) 默认为只读file.close() 关闭文件所有对文件的操作都是从当前指针开始文件内容读取open('filename', r) 指针初始位置为0file.read() 将所有内容读取到字符串file.read(n) 读取指定个数字符file.readline() 读一行 f

原创 Linux 实训笔记

Linux 版本数字含义7.2 -第一个数字为大版本 -第二个数字为小版本，偶数代表企业稳定版，奇数代表测试版用户的管理useradd 添加用户userdel 删除用户usermod 更改账户信息

原创 现代化信息查询实验报告

检索题目 : 计算机网络安全相关学位论文文献类型 : 学位论文检索词 （题目或关键词）: 计算机 网络安全检索工具 : 万方数据知识平台检索策略检索结果[学位论文]计算机网络安全防护的研究作者：戎册摘要： 随着网络在我国的迅速普及，针对我国境内信息系统的攻击正在呈现快速增长的趋势。计算机网络安全从本质上来讲是防御网络攻击、保障系统