- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 brew 切换国内的源
将官方的源切到国内源：# 替换brew.git:cd "$(brew --repo)"# 中国科大:git remote set-url origin https://mirrors.ustc.edu.cn/brew.git# 清华大学:git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git# 替换homebrew-core.git:cd "$(brew --rep...
2020-09-19 18:31:38
614
原创 springboot打成jar后获取classpath下文件失败
问题：ClassPathResource resource = new ClassPathResource("application.yml");File file = resource.getFile();FileUtils.readLines(file).forEach(System.out::println);未打包时可以获取到文件，打包后报错Caused by: java....
2019-03-15 10:25:45
1637
原创 Mac下打开/usr/local目录
Mac下/usr/local目录默认是对于Finder是隐藏，如果需要到/usr/local下去，打开Finder，然后使用command+shift+G，在弹出的目录中填写/usr/local就可以了。
2019-03-12 17:01:26
3106
原创 dbeaver 操作时提示：还没有设置连接地址
使用dbeaver 操作执行脚本时提示：还没有设置连接地址：解决方案：在连接编辑中设置你的mysql客户端安装的目录即可。
2019-03-12 16:57:28
11213
6
原创 解决MacOS升级后出现xcrun: error: invalid active developer path, missing xcrun的问题
报错信息xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun解决方法，重装xcode command line：xcode-select...
2019-01-11 16:51:10
435
原创 致命错误：Python.h：没有那个文件或目录
在使用pip安装scrapy时发现以下错误：原因是没有安装python 的dev包查看python 的dev包。由于我的python3使用yum安装的包为python36u查看对应的开发包：【查询后根据自己安装的python版本来选择】yum search python3 | grep dev安装：【查询后根据自己安装的python来选择安装 python-dev】su...
2018-11-30 10:31:34
10671
1
原创 scrapy发布并通过web接口调用
接着上一篇：windows下搭建scrapy开发环境使用webf发布可以进行：1、版本管理2、通过API来控制调度爬虫3、web查看日志和爬虫状态1、发布爬虫1、在工程中requirements.txt加入：scrapydscrapyd-client2、按照提示安装这两个包。3、将scrapy.cfg修改如下：[settings]defa...
2018-11-21 16:14:13
3504
原创 windows下搭建scrapy开发环境
python：python3.6开发工具：intellij1、安装scrapy 模块pip3 install scrapy2、创建项目目录和虚拟机E:\work\proc>d:\Python\Python36\python.exe -m scrapy startproject compass3、安装虚拟机E:\work\proc>d:\Python\Py...
2018-11-21 15:12:10
420
原创 scrapy设置每个爬虫自己的pipline
1：全局设置scrapy的pipline，相当于拦截器；他的设置可以在settings.py文件里设置，设置后对所有的spider都起作用如图：1表示执行的顺序2：为单个spider设置如果摸个pipline这是需要某些spider起作用可以个性化设置如图：这样只有这个spider会使用此pipline。此时不要再在settings.py文件里设置...
2018-11-21 15:01:20
694
原创 msyql text的长度问题
text的长度并不是很大，只能存64k。如果要把用户传的文件存储到mysql里，需要根据需求使用其他的text类型。否则报错！3种text类型的最大长度如下：TEXT 65,535 bytes ~64kbMEDIUMTEXT 16,777,215 bytes ~16MbLONGTEXT 4,294,967,295 bytes ~4Gb 修改表的字段语句：ALTER TA...
2018-11-16 10:50:21
351
原创 ifconfig、netstat、route、vconfig命令找不到
ifconfig、netstat、route、vconfig命令是net-tools里的功能，如果linux默认没有，则会提示命令找不到； 1、在线安装yum install net-tools或者apt-get install net-tools 2、离线安装登录 http://rpm.pbone.net/ 搜索net-tools的rpm包来下载安装...
2018-11-16 09:27:07
2113
原创 centos 下 yum安装python3
yum 源准备1、更新一下yum：sudo yum -y update该 -y 标志用于提醒系统我们知道我们正在进行更改，免去终端提示我们要确认再继续2、安装yum-utils 【一组扩展和补充yum的实用程序和插件】sudo yum -y install yum-utils3、安装CentOS开发工具 【用于允许您从源代码构建和编译软件】sudo yum -y groupins...
2018-11-15 13:20:09
33117
2
原创 hbase shell 操作 、表空间、授权
1、进入shell界面：hbase shell2、namespaceHBase中没有database的概念，这里的namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database；HBase系统默认定义了两个缺省的namespacehbase：系统内建表，包括namespace和meta表default：用户建表时未指定namespace的表都创建在此1...
2018-11-14 11:48:39
7374
原创 查看linux服务器的内存和CPU信息
内存信息：查看内存信息# cat /proc/meminfoCPU：注释：1、总核数 = 物理CPU个数 X 每颗物理CPU的核数 2、总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU...
2018-11-07 09:12:06
17981
原创 python虚拟机的跨机器复用【widnow机器为例】
python的虚拟机环境可以使各个项目中的类库独立，当然也可以做项目移植使用，比如在本机的机器上开发，想一直到另外的一台机器上，这是不能直接使用的，以为激活脚本中有写死的变量。方式如下：以window为例：1、本地安装依赖包和虚拟环境首先使用pip安装virtualenvpip install virtualenv然后使用命令初始化虚拟机环境：virtualenv ...
2018-11-05 18:11:05
376
原创 查看端口被哪个进程占用
windows：一、 使用window+R 输入cmd打开cmd命令窗口，用该命令 netstat –ano|findstr [指定端口号]如：查询占用了8080端口的进程：netstat -ano|findstr "8080"pid二、通过任务管理器杀死相关的进程方法一：使用任务管理器杀死进程打开任务管理器->查看->选择列->然后勾选PID选项，回到任务管...
2018-11-05 09:46:48
5211
原创 python3 提示错误'urllib' has no attribute 'urlretrieve'
python2写法：url = "http://i.863jp.com.cn:86/ioms/app/getEmployeeList"req = urllib.Request(url)res_data = urllib.urlopen(req)data = json.loads(res_data.read())urllib.urlretrieve(img_src, os.path.j...
2018-11-02 17:46:59
3216
原创 python 调用dll 报错 WindowsError: [Error 126]
调用代码 注意：C++文件（cpp）：（在函数声明上加上extern "C" 的修饰）否则方法名不会被python识别加载的时候要根据你将要调用的函数是符合什么调用约定的。 windll和cdll分别是WinDLL类和CDll类的对象stdcall调用约定：Objdll = ctypes.windll.LoadLibrary("dllpath")Objdll = ctypes....
2018-10-29 11:17:02
21128
1
原创 window下g++' 不是内部或外部命令
下载安装 MinGW 与系统变量设置 安装MinGW本文使用的C/C++编译器是gcc/g++，所以需要下载安装MinGW（下载地址：http://sourceforge.net/projects/mingw/）软件安装界面：安装完成后会让用户选择需要下载的Package选择要下载的Package：如图所示，选择 MinGW Compiler Suite之后，添加 Th...
2018-10-26 14:17:01
25654
9
原创 linux find 命令
简介使用 find 配合 -name 或者 -regex 完成匹配 name是不能使用正则 ，复杂的用regex完成正则-name 和 -regex "" 满足表达式的筛选! -name 和 ! -regex "" 不满足表达式的筛选 上述两种可以多个联合使用文件名匹配：1、在/opt/zimbra/下查找文件名以java为后缀的文件并打印出来 find...
2018-10-26 10:36:18
412
原创 RHEL\CentOS 7 下 MySQL 连接数被限制
问题项目中，由于连接数过多，提示“Too many connections”，需要增加连接数。我在 /etc/my.cnf中修改了max_connections = 2000但是， 实际连接数一直被限制在 214mysql> show variables like "max_connections";+-----------------+-------+| Varia...
2018-10-25 23:23:45
275
原创 RabbitMQ CentOS yum 安装
rabbitMQ安装：1、下载：Install zero-dependency Erlang from RabbitMQ：https://bintray.com/rabbitmq/rpm/download_file?file_path=erlang%2F20%2Fel%2F7%2Fx86_64%2Ferlang-20.1.7-1.el7.centos.x86_64.rpm下载后：e...
2018-10-25 23:20:23
751
原创 cdh_集群spark2_中_kafka_版本配置问题
CDH 5.14.2 集群中安装spark2.3.0 后的默认安装的 Kafka 依赖包有两个版本，分别是 kafka 0.9 以及 kafka 0.10 集群默认选中的是使用 kafka 0.9。当使用 kafka 0.10 时需进入 spark 配置页面进行修改，否则报错如下： Exception in thread “streaming-start” java.lang.NoSu...
2018-10-25 23:08:11
1156
原创 spark streaming 每10s打印出前20s的所有记录
使用spark streaming基本入门demo 代码如下： package com.xj365.bdpimport org.apache.spark.SparkConfimport org.apache.spark.streaming._import org.apache.spark.streaming.kafka010._ object DirectKafkaWo...
2018-10-25 23:05:47
690
原创 CentOS 7.x 防火墙操作
防火墙端口永久的开放需要的端口sudo firewall-cmd --zone=public --add-port=22/tcp --permanentsudo firewall-cmd --reload检查新的防火墙规则firewall-cmd --statefirewall-cmd --list-all防火墙服务//开启防火墙systemctl start fir...
2018-10-24 19:11:14
170
原创 CentOS 7.x编译安装Nginx ，设为开机启动项
1、安装1、安装nginx的依赖yum -y install openssl openssl-develyum -y install pcre-devel2、下载nginx-1.10.3.tar.gz源码并解压至/root/ http://nginx.org/download/nginx-1.10.3.tar.gztar zvxf /root/nginx-1.10.3.t...
2018-10-24 14:03:15
1337
原创 hadoop 二次排序
MapReduce做排序还需要理解一下MapReduce过程中，非常magic的过程Shuffle and Sort. Shuffle and Sort过程解析 如上图，Shuffle的过程包括了Map端和Reduce端。Map端Input Split分配给MapMap进行计算，输出[key, value]形式的outputMap的输出结果缓存在内存里内...
2018-10-23 22:25:54
420
原创 Windows下本地调试 hadoop 的 mapreduce
1、准备工作本地模式下调试hadoop：下载winutils.exe和hadoop.dll hadoop.lib等windows的hadoop依赖文件放在D:\proc\hadoop\bin目录下并设置环境变量：HADOOP_HOME=D:\proc\hadoop添加PATH=%HADOOP_HOME%\bin关闭eclipse再重新启动来获取新的环境变量。2、创建程序Ma...
2018-10-22 21:27:39
861
原创 msyql数据备份和还原
场景： 将host1中的test数据库备份迁移到host2数据库：1、数据备份：在host1中执行：mysqldump -u root -p test > /root/test.sql然后再输入密码则会将test的所有表结构和数据备份到test.sql中。2、拷贝备份文件：scp host1://root/test.sql host2://root/t...
2018-10-18 09:18:42
185
原创 Linux配置Supervisor管理进程
Supervisor是由python语言编写，基于linux操作系统的一款服务器管理工具，用以监控服务器的运行，发现问题能立即自动预警及自动重启等功能。1、软件安装supervisormeld(python html模版引擎)1、通过pip直接安装。[前提是已经安装了pip的python工具包]pip2 install meld3pip2 install superviso...
2018-10-16 22:34:51
1783
原创 hadoop yarn Job提交和Shuffle
hadoop yarn Job提交和Shuffle 1.Job提交我们开发mr程序然后通过命令来提交jar包：hadoop jar a.jar FullClassName inputpath outputpath然后进行MapReduce处理，整个运行过程分为3个阶段：1、Client端使用命令提交MapReduce job到Resourcemanager；2、Reso...
2018-10-15 22:55:09
577
原创 HDFS的读取和写入原理
HDFS的读取和写入原理数据读取请求将由 HDFS、NameNode和DataNode来服务。让我们把读取器叫 “客户端”。1.HDFS读操作1、客户端启动通过调用文件系统对象的 open() 方法读取请求;它是DistributedFileSystem 类型的对象。2、此对象使用 RPC 连接到 namenode 并获取的元数据信息，如该文件的块的位置。 请注意，这些地址...
2018-10-15 22:50:02
3452
原创 《跟着小吴哥学python》之 14 Python http请求
python 模拟get和post请求：get请求：import httplib,jsonurl = "http://192.168.1.162:34343/metrics"conn = httplib.HTTPConnection("192.168.1.162","34343")conn.request("GET",url)response = conn.getresponse...
2018-10-12 22:44:50
244
原创 python的编码设置
对于 Python 2.X：import sysreload(sys)sys.setdefaultencoding("utf-8")对于 <= Python 3.3：import impimp.reload(sys)注意： 1. Python 3 与 Python 2 有很大的区别，其中Python 3 系统默认使用的就是utf-8编码。 2. 所以，对于使用的是Pyt...
2018-10-11 16:46:21
388
原创 《跟着小吴哥学python》之 13 Python访问mysql数据库
1、安装mysql-python驱动模块1、pip install mysql-python2、如果你使用的默认安装的python也可以使用 yum 安装 MySQL-pythonyum install MySQL-python如果你要在linux 下开发python程序要安装一下开发包。否则可以忽略。yum install python-devel mysql-devel zlib-...
2018-10-10 21:48:38
112
原创 《跟着小吴哥学python》之 12 Python发送邮件
利用python发送每日邮件，或者警告信息。以下实例就是简单的发送邮件代码：1、需要申请一个邮箱2、开启邮箱的smtp的发送服务#!/usr/bin/env python#coding: utf-8 import smtplibfrom email.mime.text import MIMETextsender = '[email protected]'recei...
2018-10-10 21:42:11
232
原创 《跟着小吴哥学python》之 11 Python执行shell命令
语法引用模块包：import os, commands1、os.system('cat /proc/cpuinfo')返回执行结果。0或者其它。0为正常，其余为非正常。2、output = os.popen('cat /proc/cpuinfo') print output.read()output为file read 的对象，对其进行读取 read() 的操作...
2018-10-10 21:37:31
122
原创 yarn中的capacity scheduler 分两个队列的配置
下面的配置的是分为两个队列default,services，其中资源的比例为：default队列80% ，services队列20%<property> <name>yarn.scheduler.capacity.root.queues</name> <value>default,services</value> <...
2018-10-09 23:05:29
1306
原创 永久注册和临时注册hiveudf
临时udf：add file /test/wuzhanwei/17monipdb.datx;add jar /test/wuzhanwei/b_hive_udf-1.0-SNAPSHOT.jar;create temporary function ip2cc as “com.xj365.bdp.IPToCC”;永久udf：先把开发好的jar包上传到hdfs上hadoop f...
2018-10-09 22:59:05
706
原创 《跟着小吴哥学python》之 10 python中操作文件
1、操作普通文件读文件file=open("D:\\data.txt",'r')#输出全部内容#print(file.read())#读出所有行然后一行一行输出# for line in file.readlines():# print(line.strip())##读一行输出一行 推荐for line in file: print(line.strip()...
2018-10-09 22:05:02
263
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人