- 博客(50)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 语音识别，标注数据
切割音频文件from pydub import AudioSegmentfrom pydub.silence import split_on_silenceimport ossound = AudioSegment.from_mp3("E:/data/AcsData/zfBX/hw202003301111246_23401.wav")loudness = sound.dBFSoutputPath = "E:/data/AcsData/zfBX/output/"chunks = split_o
2020-05-19 20:22:23
1775
原创 MyBatis-Plus 逻辑表实现
MyBatis-Plus 逻辑表实现首先设计Entity对象/** * 此Entity对象，专门设计为找到 user 比 user_temp 表多的数据 * @TableName 参数里面的可以为一张物理表，也可以是一个逻辑表 */@Data@TableName(" (select u1.* from user u1 where not exists (select 1 from...
2020-04-22 10:40:44
654
1
原创 云服务器搭建Kafaka集群环境
从京东云上面购买了三台服务器，作为kafka集群搭建环境。下面的不是本人真实ip地址服务器简介：服务器名称 服务器ip地址 服务器角色 备注Jd1 190.168.161.26 节点 Jd2 190.168.161.25 节点 Jd3 190.168.161.24 节点云服务器开通端口：一、安装java环境选择java1.8+ 及以上版本，我使用的是jdk...
2020-04-16 12:12:11
524
原创 简单使用matplotlib绘图
创建空白画板创建空白画板，暂时没有数据：import matplotlib.pyplot as pltimport numpy as np# 绘制子图fig = plt.figure(figsize=(10,6.18))plt.plot()plt.show()图示：绘制一条线的图创建画板，然后生成1到10之间的10个数字，然后取3的余数。import matplotlib...
2020-04-07 22:09:12
350
原创 使用statsmodels实现线性回归
使用statsmodels实现线性回归statsmodels简介关于统计模型主要特点线性回归模型：离散模型:RLM: 鲁棒的线性模型，支持多个 M 估计器。马尔可夫切换模型（MSAR），也称为隐马尔可夫模型（HMM）生存分析:多变量:非参数统计：单变量和多变量核密度估计其他模型什么是线性回归？简单线性回归案例数据集说明导入需要的工具包使用pandas生成数据数据整理回归模型建模关于自变量的线性回归...
2020-04-04 22:47:02
9157
原创 seaborn结合pandas的数据展示
五分钟快速掌握pandas，请看这篇博客：https://blog.csdn.net/zhangfengBX/article/details/104978323seaborn快速了解案例散点图：散点图是统计可视化的重要组成部分。它使用点云来描述两个变量的联合分布，其中每个点代表数据集中的一个观察。这种描绘可以推断出大量关于它们之间是否有任何有意义的关系的信息。更多散点图介绍，请访...
2020-03-26 00:11:39
607
原创 快速了解Pandas
可以直接按照官网的中文文档学习：https://www.pypandas.cn/docs/getting_started/basics.html下面只写出其中我觉得以后可能会用到的几点。目前给我的感觉就像在代码中操作关系型数据库一样。1、显示数据pd.data_range：periods参数为，取这个日期后的六天pd.DataFrame:rand参数，前面一个为行数，后面一个参数为...
2020-03-19 23:10:36
172
原创 Python数据可视化之绘制词云图
需要使用到的两个Python类库jieba:中文分词分词工具wordcloud:Python下的词云生成工具jieba 类库使用介绍支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。可以在...
2020-03-17 10:39:44
1590
原创 hive语句实现列转行
hive语句实现列转行建表语句Oracle中列转行语法，使用 unpivot函数hive中列转行语法，使用explode函数最近将解释字段添加上的语句建表语句CREATE TABLE XXXX表( evel_id string DEFAULT NULL COMMENT 'xxxxid', object_id string DEFAULT NULL COMMENT '所属对象', ...
2018-10-22 21:51:16
4324
原创 Oracle种几种常用的行转列方法
一、首先让我们来看看这个神奇的函数wm_concat(列名),该函数可以把列值以","号分隔起来,并显示成一行,接下来上例子,看看这个神奇的函数如何应用select table_name,WMSYS.WM_CONCAT(column_name) B from user_tab_columns得到结果效果：table_name Btmp 1...
2018-07-05 22:12:42
1753
原创 PLSQL链接oracle报错--ORA-12154: TNS: 无法解析指定的连接标识符
PLSQL链接oracle报错--ORA-12154: TNS: 无法解析指定的连接标识符D:\oracle\product\10.2.0\client_1\ 今天重新安装了oracle 11g客户端，plsql远程连接oracle时发生报错：ORA-12154: TNS: 无法解析指定的连接标识符。在网上粗略查了一下，错误比较常见，主要是是连接配置发生了问题。我运行SQLPLUS能正常连接，而...
2018-07-03 17:39:23
8394
原创 Oracle存储过程语法
Oracle存储过程语法Oracle存储过程基本语法 存储过程 1 CREATE OR REPLACE PROCEDURE 存储过程名 2 IS 3 BEGIN 4 NULL; 5 END; 行1: CREATE OR REPLACE PROCEDURE 是一个SQL语句通知Oracle数据库去创建一个叫做skeleton存储过程, 如果存在就覆盖它; 行2:...
2018-07-03 16:13:19
434
原创 NVL函数
1.NVL函数NVL函数的格式如下：NVL(expr1,expr2)含义是：如果oracle第一个参数为空那么显示第二个参数的值，如果第一个参数的值不为空，则显示第一个参数本来的值。例如：SQL> select ename,NVL(comm, -1) from emp; ENAME NVL(COMM,-1)------- ----SMITH -1ALLEN 300WARD 500JONES ...
2018-07-03 16:11:17
6939
转载 数据库的分区与分桶和分表
1.Hive分区表Hive使用select语句进行查询的时候一般会扫描整个表内容，会消耗很多时间做没必要的工作。Hive可以在创建表的时候指定分区空间，这样在做查询的时候就可以很好的提高查询的效率。创建分区表的语法：create table tablename( name string)partitioned by(key,type...);示例drop table if exists...
2018-07-03 15:52:46
6996
原创 spark窗口函数简单实现
Window函数，可以统计最近一段时间的数据，使用Window函数加载成DStream：DStream.window("窗口长度","滑动间隔")reduceByKeyAndWindow窗口长度：必须是BathInterval的整数倍滑动间隔：必须是BatchInterval的整数倍/** * 1、local的模拟线程数必须大于等于2 因为一条线程被receiver(接受数据的线程)占用，另外一个...
2018-06-11 23:59:57
3629
原创 zookeeper 之It is probably not running
今天在启动zookeeper集群的单个zookeeper节点时总是报如下错误[html] view plain copy[root@zookeeper1 zookeeper-3.4.5]# bin/zkServer.sh status JMX enabled by default Using config: /usr/local/zookeeper-3.4.5/bin/../conf/zoo...
2018-06-11 23:54:34
1786
原创 SparkStreaming算子
SparkStreaming算子分为两类：transformation算子和outputOperator算子transformation算子：flatMap、count、mapToPair、map、countByValue、repartition、filter、join、union、Reduce、reduceByKey、updataStateByKey、Window、transformoutput...
2018-06-11 23:53:59
3559
2
转载 linux下rtnetlink answers file exists的解决方案
之前也遇到过这种情况，克隆的虚拟机在网卡一直有问题，也没有太担心，无非是两种方案：第一种： 和 NetworkManager 服务有冲突，这个好解决，直接关闭 NetworkManger 服务就好了， service NetworkManager stop，并且禁止开机启动 chkconfig NetworkManager off 。之后重启就好了。第二种：和配置文件的MAC地址不匹配，这个也好解...
2018-06-10 10:22:27
1152
转载 为什么分布式一定要有redis
分析:博主觉得在项目中使用redis，主要是从两个角度去考虑:性能和并发。当然，redis还具备可以做分布式锁等其他功能，但是如果只是为了分布式锁这些其他功能，完全还有其他中间件(如zookpeer等)代替，并不是非要使用redis。因此，这个问题主要从性能和并发两个角度去答。回答:如下所示，分为两点（一）性能如下图所示，我们在碰到需要执行耗时特别久，且结果不频繁变动的SQL，就特别适合将运行结果...
2018-06-04 11:17:55
366
转载 eclipse使用git提交项目
准备工作：目的：eclipse使用git提交本地项目，提交至远程github上eclipse版本：eclipse4.5 64位jdk版本：jdk-1.7 64位项目类型：maven web项目备注：eclipse高版本自带git插件，而低版本则需自己安装git插件，这里使用eclipse高版本，低版本安装git插件这里不进行介绍。eclipse使用git提交项目有2种方式：一种是git命令窗口，...
2018-06-04 11:10:55
1439
原创 Linux中ping不通外网
在linux中ping www.baidu.com 无法ping通，可能原因是DNS没配置好方法一：修改vi /etc/resolv.conf 增加如下内容: nameserver 114.114.114.114 (电信的DNS) nameserver 8.8.8.8（googel的DNS） 就可以实现ping通外网了方法二：ip a 或者 ifconfig 查看使...
2018-06-04 11:06:46
2891
原创 搭建HA storm集群
各节点分配： Nimbus Supervisor Zookeeper CentOS15 1 1 CentOS19 1 1 CentOS20
2017-12-23 15:14:41
311
原创 kafka的安装
1、解压kafka软件，到config目录下vi server.properties2、配置机器序号，比如CentOS16节点borker.id=0 CentOS17节点上面borker.id=1 CentOS18节点上面borker.id=23、然后启动每台节点上面的zookeeper。zkServer.sh start4、每个节点上面执行bin/kafka-server-start.sh
2017-12-23 15:12:05
194
原创 把Hive操作的spark代码丢到yarn上面运行找不到数据库
SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/hadoop/nm-local-dir/usercache/root/filecache/19/spark-assembly-1.6.0-hadoop2.6.0.jar!/org/slf4j/impl/StaticLo
2017-12-03 17:00:36
1674
原创 scala基本语法
/** * 1.object 相当于java中单例，相当于java中工具类。object中定义的全部是静态的。 * 2.scala中一行语句后面可以省略分号，scala中会有分号推断机制。如果scala中一行中有多个语句，那么分号不能省略。 * 3.scala中定义变量和常量时，可以省略返回类型。val定义的是常量，var定义的是变量。 * 4.scala中定义类、方法、变量建议要
2017-11-19 17:53:10
500
原创 配置yarn集群
yarn源配置：单台yarn源配置，使用资源较少，速度快core.site.xml文件：<configuration><!-- 指定hadoop的hdfs的namenode的访问路径. --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </pro
2017-11-19 17:49:54
950
原创 MapReduce使用Java代码实现
MR执行环境有两种：本地测试环境，服务器环境第一种执行方式：服务器端运行直接在服务器上，使用命令的方式调用，执行过程也在服务器上 a、把MR程序打包（jar），传送到服务器上 b、通过： hadoop jar jar路径 类的全限定名MapperWordCountMapper .javapackage com.mr;import java.io.IOException;import o
2017-11-12 15:18:25
10627
原创 Hadoop之HDFS
搭建hdfs集群配置文件首先拷贝文件到家目录下面解压zookeeper-3.4.6文件，然后进入到里面的conf目录下，把zooXXXX.cfg文件改名为zoo.cfgvi zoo.cfg编辑文件，dataDir为文件目录，dataDir=/tmp/zookeeper # the port at which the clients will connectclientPort=2181 # th
2017-11-12 15:11:41
1509
原创 HBase安装及操作
单机版： （hbase内嵌有zookeeper） 解压hbase软件，到达conf目录下 配置hbase-site.xml文件<configuration> <property> <name>hbase.rootdir</name> 配置hbase存在位置 <value>file:///home/testuser/hbase</value> </property
2017-11-12 14:35:17
11732
原创 Hibernate中QBC查询
Criteria是Hibernate提供的一组纯面向对象的查询API. 其功能类似Query, 但完全以面向对象的形式管理查询逻辑. 更符合ORM的设计思想.用到特定于数据库的SQL 语句，程序本身会依赖于特定的数据库，不了解SQL 语句，恐怕对使用HQL带来困难。Hibernate提供的Criteria查询帮助我们解决了这种问题。/** * 采用critical查询 */@Testpubl
2017-10-15 17:07:39
430
原创 Hibernate中HQL语句
HQL: Hibernate Query Language, 一个纯面向对象的查询语言. 其语法中对语法关键字大小写不敏感, 这种特性与SQL语言类似.其整体结构也与SQL语言类似. 基本规则 1. HQL语法类似于SQL，也是一种select from结构的语句。但是他后面跟的不是表名和字段名，而是类名和属性名。 2. HQL基本查询语法跟SQL很类似 3. HQL大小写不敏感。但是
2017-10-15 14:49:16
465
原创 Hibernate对象关联映射
对象关系映射（Object Relational Mapping，简称ORM）是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。多对一单向关系映射：student-classespublic class Classes implements Serializable{ private Integer cid; private String cname; priva
2017-10-15 14:32:29
808
原创 使用Struts进行文件上传
对于单个文件进行上传 在jsp页面设置<s:form action="upload/benxi_upload.sxt" enctype="multipart/form-data"> <s:textfield name="title" label="主题"/> <s:file name="img"/> <s:submit value="上传"/></s:form>xml文件
2017-10-11 16:10:17
295
原创 Struts2中的拦截器
系统自定义拦截器Interceptor拦截器类似于我们前面学过的过滤器,是可以在action执行前后执行的代码。是我们做web开发时经常用的技术。比如：权限控制、日志等。我们也可以将多个Interceptor连在一起组成Interceptor栈。 Struts2拦截器，每个拦截器类只有一个对象实例，即采用单例模式，所有引用这个拦截器的Action都共享这一拦截器类的实例，因此，在拦截器中如果使用类
2017-10-11 16:05:23
303
原创 ognl表达式
OGNL全称是Object-Graph Navigation Language(对象图形导航语言)，相对于EL语言，除了保持EL语言的优点外，他的其他优点如下：能够访问对象的普通方法能够访问类的静态属性和静态方法强大的操作集合类对象的能力支持赋值操作和表达式串联访问OGNL上下文和ActionContext使用ognl表达式还能获取其他值，这些值并不需要存放进作用域中，而是
2017-10-11 15:55:10
374
原创 ActionContext对象的使用
Struts1的Action必须依赖于web容器，他的extecute方法会自动获得HttpServletRequest、HttpServletResponse对象，从而可以跟web容器进行交互。Struts2的Action不用依赖于web容器，本身只是一个普通的java类而已。但是，在web开发中我们往往需要获得request、session、application等对象。这时候，可以通过Acti
2017-10-11 15:50:33
1927
原创 Struts2校验器
使用Validator配置文件校验数据我们在提交表单数据时，通常都需要增加数据的校验处理。数据校验分为：客户端校验、服务器端校验。Struts2给我们提供了丰富的支持！ Struts2提供了很多数据校验器，常用的有： 校验器 ——-> 用法 required ——-> 验证被校验表单域是否为null requiredstring ——-> 验证被校验Stri
2017-10-08 21:17:34
730
原创 Struts2中的属性驱动和模型驱动
属性驱动和模型驱动的选取： · 属性驱动: 属性驱动方便简洁。表单域较少时可用。 · 模型驱动: 表单域较多且定义了相应的pojo(简单java对象)，可以使用模型驱动属性驱动： 自定义一个User类public class User implements Serializable{ private String name; private String passwor
2017-10-08 14:54:25
343
原创 使用struts2需要导入的包
这里以struts-2.3.4为例struts2.3.4,jar包必须添加完整，类容如下： asm-3.3.jar Java字节码操纵框架。它可以直接以二进制形式动态地生成stub类或其他代理类，或者在装载时动态地修改类 commons-fileupload-1.2.2.jar struts的上传下载 commons-io-2.0.1.jar 针对java.io
2017-10-08 14:43:35
2805
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人