- 博客(82)
- 收藏
- 关注
RSS订阅原创 mongo查询总结
对foo 添加元素： for(i=1;i<=10;i++){ db.foo.insert({name:'wxz'+i,age:i}); } 查看数据： db.foo.find() { "_id" : ObjectId("5deaa110b636150f1bc3e7cf"), "name" : "wxz1", "age" : 1 }{ "_id" : ObjectId("5...
2019-12-08 09:17:46
139
原创 ping www.baidu.com Unknow host
Linux中可以ping同IP，但是ping www.baidu.com就会出现以下问题ping: unknown host www.baidu.com可以断定：应该是dns服务器 配置文件缺少nameserver解决方法一：vi /etc/resolv.conf然后添加以下内容： nameserver 8.8.8.8 nameserver 8.8.4.4......
2019-05-21 19:08:48
70
原创 python lambda 的使用
参数 T=5,F1=依赖因子（1）,F2=依赖因子（2）1 截取过去T个月的数据2 对第t个月的日收益率做 F2_t=a+b*F1_t+sigma(t),t=1,…T3 计算 分子=sum{ [ (sigma(t) +simgma(t-1) +simgma(t-3) ]^2 ,t=3,…,T}4 计算 分母=sum{ (sigma(t)^2+simgma(t-1)^2+sim...
2019-01-14 13:42:30
1119
原创 Python DataFrame
可以参考下这个， 对ann date分组后 取 report date 最大的记录D=pd.DataFrame([(1,'a','a'),(2,'a','b'),(3,'b','a'),(4,'b','b')],columns=['F','Ann','Report'])G=D.groupby('Ann')G.apply(lambda x:x.sort_values(by='Report...
2018-11-14 11:32:17
521
原创 Python根据已知Y值求斜率和截距
from sklearn import linear_modelimport numpy as npreg = linear_model.LinearRegression()#假设数据是datadata=[1.71490784773981,2.71490784773981,3.71490784773981,4.71490784773981]#对应序号是 range(len(data))...
2018-10-26 09:55:05
14146
原创 python 模块发布与安装
创建一个包目录结构如下： first.py对应的内容为： 1 def error(): 2 print("it is error")second.py 对应的内容为： 1 def sendText(): 2 print("i am ok") 3 def success(): 4 print("success") 在和tes...
2018-09-15 20:55:08
486
1
原创 partial函数(偏函数)
import functoolsdef showarg(*args, **kw): print(args) print(kw)p1=functools.partial(showarg, 1,2,3)p1()p1(4,5,6)p1(a='python', b='haha')p2=functools.partial(showarg, a=3,b='linux')p...
2018-09-02 16:10:25
1153
原创 生成器
1. 什么是生成器通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不断推算出后续的元素呢？这样就不必创建完整的list，从而节省大量的空间。在Pyt...
2018-09-02 15:59:18
114
原创 python操作Mysql
创建MysqlHelper.py文件，定义类#encoding=utf8import MySQLdbclass MysqlHelper(): def __init__(self,host,port,db,user,passwd,charset='utf8'): self.host=host self.port=port self....
2018-09-02 09:27:35
196
原创 windows 下python安装mysqldb模块 python2.7
exe下载地址: http://www.codegood.com/archives/129 分为32位和64位,下载对应的exe即可2.下载完后,双击exe安装3.检查是否安装成功:如果安装成功,将没有任何提示,如下>>> import MySQLdb>>>安装不成功的提示:>>> import MyS...
2018-09-02 08:58:13
363
转载 Aviator表达式计算
1、使用Aviator 需要导入包<dependency> <groupId>com.googlecode.aviator</groupId> <artifactId>aviator</artifactId> <version>3.3.0</version></depen
2018-08-29 20:58:35
4445
原创 使用gitBash在本地使用shell脚本对CSV数据排序
shell 代码如下#!/bin/sh list_alldir(){ for file2 in `ls -a $1` do if [ x"$file2" != x"." -a x"$file2" != x".." ];then if [ -d "$1/$file2" ];then ...
2018-08-15 20:58:36
1054
原创 mysql触发器，存储过程，预处理语句
创建t1表 create table t1(id varchar(10),name varchar(10),age varchar(20)); 创建t2表 create table t2(id varchar(10),name varchar(10),age varchar(20)); //当对t1表进行添加时自动对t2表也添加 先设置结束符，因为在创建触发器的过程中要使用分号...
2018-05-06 13:04:51
656
原创 常用的hive语句
创建分区表create table one(id int comment 'the id',name string comment 'the name',age int comment 'the age') partitioned by(part string)row format delimited fields terminated by ','stored as textfile;往...
2018-05-05 19:32:37
691
原创 zkServer.sh status查看状态是报Error contacting service. It is probably not running.
1，当我启动zookeeper集群的时候使用jps可以看到所有的机器上都出现QuorumPeerMain，但当我使用zkServer.sh status查看状态是报Error contacting service. It is probably not running.解决方法：使用netstat -ntp| grep 2181可以看到如下：[root@shizhan bin]# netstat ...
2018-04-29 16:25:33
815
原创 mysql的慢查询
① 首先我们了解mysql数据库的一些运行状态如何查询(比如想知道当前mysql运行的时间/一共执行了多少次select/update/delete.. / 当前连接)show status常用的:show status like ‘uptime’ ; show stauts like ‘com_select’ showstauts like ‘com_insert’ ...类推 upd...
2018-04-23 13:10:16
2378
原创 手动备份数据库(表的)方法
cmd控制台:（切换到mysql安装的bin目录，我的Mysql安装在d盘如下图）现在，我的数据库中的的templ库下有emp表中有数据，现在需要把这张表备份到d盘下的temp.bak如下我的数据库密码是123456mysqldump –u root –p temp1 emp > d:\temp.bak在我的d盘下能看到已经备份好了 2，把备份数据库的指令，写入到 bat文件, 然后通过任...
2018-04-22 12:54:54
1955
原创 mysql的增量备份
1，在mysql 的my.ini文件中2在我的D盘下创建binlog文件夹3重启mysql服务可以看到我的D盘下的binlog下生成如下文件4，在默认的test数据库中创建t_one1这张表 create table t_one1(id varchar(10),name varchar(2));4.1插入几条数据，然后能看到wxzlog.000001这个文件的修改日期变化了，这个文件就是我们对数据...
2018-04-20 14:29:40
1058
原创 nginx日志切割以及备份
下面是我在nginx的conf/nginx.conf 添加的 一段代码 server{ listen 80; server_name z.com; #charset koi8-r; #access_log logs/host.access.log main; location / { ...
2018-04-11 12:55:20
1235
原创 使用hive报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法
当我使用hive进行如下查询时 select * from t_t inner join t_te on t_t.id=t_te.id;出现如下错误：Query ID = root_20180410193117_e9d36b57-54ce-4ad5-a48c-df876f449de1Total jobs = 118/04/10 19:31:20 WARN conf.Configuration:...
2018-04-10 17:07:57
14660
原创 hadoop集群搭建
1.准备Linux环境我这里准备了4台虚拟机，根据路由查看相关的网段以及网关的信息，这个要看你 自己的虚拟机，这里我的如下选择编辑下的虚拟网络编辑器，得到如下图这里选择下面NAT模式下，如下图然后再选择NAT设置，相关信息如下图这里的子网ip确定了ip的网段，我这里设置了4台虚拟机分别为hadoop1,hadoop2,hadoop3,hadoop4,ip 分别为192.168.150.110,19...
2018-04-06 13:05:13
253
原创 装zookeeper集群的时候修改了etc/profile的export Path后导致命令行不能使用了问题解决
Linux修改profile文件改错了，恢复的方法 在改profile的时候，改出问题了，除了cd以外的命令基本都不能用了， 连vi都不能用了 用export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin 然后就可以用命令了，速度用vi把profile改回来，恢复正常。 shell命令基本都在/usr/bin，/usr/sbin，/bin，/...
2018-03-31 15:06:09
387
原创 linux 下mysql安装 步骤
查看mysql的状态如下图开启mysql如下图 接下来 运行我截图中的2指令进行设置密码 如下图我设置的mysql密码是root然后 进行登陆 如下图安装成功
2018-03-24 14:04:59
277
原创 cut 与 sort 的 结合使用
sortsort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin]选项与参数：-f ：忽略大小写的差异，例如 A 与 a 视为编码相同；-b ：忽略最前面的...
2018-03-24 09:03:13
782
转载 shell脚本入门
获取字符串长度str="wxz"echo ${#str} #输出 3提取子字符串以下实例从字符串第 2 个字符开始截取 4 个字符：string="The shell script is great"echo ${string:1:4} # 输出 he s 查找子字符串查找字符 "i 或 s" 的位置：string="runoob is a great company"ech...
2018-02-12 14:46:50
208
原创 hive安装
下载Hive安装包http://hive.apache.org/downloads.html2、将hive文件上传到HADOOP集群，并解压 将文件上传到：/export/softwaretar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/cd /export/servers/ln -s ap
2017-10-06 21:06:16
478
转载 azkaban-2.5.0 启动报错Invalid maximum heap size: -Xmx4G 解决
启动azkaban后报错信息为:Invalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable size.Could not create the Java virtual machine.解决方法:请修改文件azkaban\azkaban-web-2.
2017-10-06 21:03:53
1536
原创 Azkaban安装
Azkaban安装部署准备工作Azkaban Web服务器azkaban-web-server-2.5.0.tar.gzAzkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码 root
2017-10-06 10:27:57
508
原创 hbase命令及相应java API
命1. 命令habase命令名称命令表达式创建表create '表名', '列族名1','列族名2','列族名N'查看所有表list描述表describe ‘表名’判断表存在exists '表名'判断是否禁用启用
2017-09-13 13:39:43
363
转载 项目导入时报错：The import javax.servlet.http.HttpServletRequest cannot be resolved
Error：The import javax.servlet cannot be resolvedThe import javax.servlet.http.HttpServletRequest cannot be resolvedDescription:我们经常会把别人的项目copy到自己这里进行二次开发或者参考，有的时候会发生上面的错误， 即ec
2017-09-10 22:43:13
561
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人