liuwei423210896的专栏

原创 2.maven打包方式的不同

maven安装命令：(1)打包snapshot和正式版本号是不一样的，发布到私服中的命令也不一样，不需要snapshot方式时，各个依赖包下都需要去除(2)打包过程中可能会遇到的编码错误，可能需要设置打包时的项目编码(3)spring.maven.plugin和maven.plugin的打包方式，后者会要求需要填入主类信息(4)mvn -DskipTests -Drat.skip=...

原创 1.测试类自动生成

private List<Goods> generateGoods() { List<Goods> result = new ArrayList<>(); Random r = new Random(); for (int i = 0; i < r.nextInt(20) + 10; i++) { Goods g...

原创 1.es的查询几种查询方式

@Overridepublic List<SearchEntity> new_recommend(String userId){ String REDIS_PREFIX = "com.miyuan.scrollCache::"; List<SearchEntity> rankList = new ArrayList<SearchEntity>...

原创 sklearn之XGBoost

xgboost需要理解：（1）梯度提升树和xgboost的区别：梯度提升树，是y^n+1 = y^n + h(x)通过前面n颗树的结果，得出平均值；xgboost则是通过前面n棵树y^n+1 = y^n + f(x) 的预测分数，来得到新树（2）决策树通过梯度下降方法类比的迭代训练新树，只要弱分类器的概率比瞎猜好，肯定提升后的树效果会训练效果更好对于xgboost的模型训练后的指标主...

原创 sklearn之SVM支持向量机

支持向量机需要注意的地方：1. 三个理解步骤： (1) 理解svm的损失函数，min ||w||^2/2并且y(wx+b)>=k的限制条件的推导 (2) 拉格朗日定理求最小值，以及推导过程2. 关于核函数的作用： 可以通过升维度的方式将无法线性可分的数据可分，但升维的代价太大，所以通过核函数可以达到类似的效果并且计算量也不是那么大，核函数相当于增加了一维，...

原创 sklearn之逻辑回归LR

对于线性回归，由于都是求线性参数；逻辑回归，由于其呈S型，具有在坐标轴两个左右边进行急剧上升下降的趋近1或者0，因此具有分类特性。 决策树是天生的过拟合，而线性回归是天生的欠拟合； L1范式可以完成 损失函数只针对于【有参数求解的模型】，损失函数越小则模型拟合的越好; Kmean对于total inertial（簇内平方和），虽然不是损失函数，并不是为了求解参数，但是...

原创 sklearn之降维算法PCA

import matplotlib.pyplot as pltfrom sklearn.datasets import load_irisfrom sklearn.decomposition import PCAiris = load_iris()y = iris.targetX = iris.dataX.shapeimport pandas as pdpd.DataFram...

原创 7.numpy的矩阵操作

# 1.准备array数组，为构造矩阵做准备data_mat = numpy.arange().reshape()# 2.通过数组，构造矩阵data_mat = mat(data_mat)# 3. 获取矩阵的行和列shape(data_mat)4.矩阵的转置data_mat.transpose()5.构造0矩阵zeros((3,1))...

原创 6.numpy的数组矩阵操作

numpy的数组，可以组成矩阵形式，但大部分主要是通过arrage和array方式官方文档称max = asmatrix,并且asmatrix不会从存在的matrix或者ndarray进行拷贝一份：Unlike `matrix`, `asmatrix` does not make a copy if the input is alreadya matrix or an ndarray. ...

原创 5.dataframe的取值的不同

# dataframe通过列表方式获取到的是Series类型，而指明列名则不同# 1.通过列名来取值print(type(data['score'].iloc[1]))data['score'] = data['score'].astype(float)print(type(data['score'].iloc[1]))输出：<class 'numpy.float64'>...

原创 4.dataframe的groupby函数使用

# 创建一个dataframe的过程df = pd.DataFrame({"user_id": [1, 2, 3, 1, 1, 3], "item_id": [2, 2, 2, 3, 3, 3], "price": [1, 1, 1, 4, 4, 4]})# 输出后会有些缺失字段print(df.groupby(['user_id', 'item_id'])['price'].sum())...

转载 dataframe的set_index和reset_index

#drop的使用：import pandas as pddf = pd.DataFrame({ 'A': ['A0', 'A1', 'A2', 'A3','A4', 'A5', 'A6', 'A7','A8', 'A9', 'A10', 'A11'], 'B': ['B0', 'B1', 'B2', 'B3','B4', 'B5', 'B6', 'B7...

原创 3.dataframe的lamda表达式以及函数运用

import pandas as pd# 考察padans的一些位置上的基本操作，以及lambda对于单列和多列的操作# 1.lambda表达式# 1.1 dataframe对【单列操作】data['label'] = data['score'].apply(lambda x: 1 if x>=1.0 else 0)# 1.2 dataframe操作某列，对【多列操作】da...

原创 2. dataFrame的操作

# 2.dataframe的创建，列读取import pandas as pdimport numpy as npprint(" ---------------- 1 ------------------ ")df1 = pd.DataFrame(data=[['liuwei', 'little brother'], ['xiong', 'older brother']], ind...

原创 1.dataFrame的几种遍历方式

from recall import configfrom sklearn.model_selection import train_test_split# 1.dataframe的遍历import pandas as pdimport os# 设置pandas的全部列数pd.set_option('display.max_columns', None)data_path='....

原创 5.mysql表设计

1. 订单表和商品类，一般都要设计订单主表，和订单关联的商品详细-表，用户详细表 对于gmi小程序中设计到【用户发送短信的记录】 与 【记录详情表】: 结构如下：---------------------------------------------------------------------------------------表A:（短信记录表） 用户id...

原创 4.常见的一些处理技巧(mysql/hive)

1. create table A as select * from B2. create table A like B 4. rename table A to B (这种方式在线上系统小时级别更新替换数据时，将影响降低，而不是先删除存在的表再sqoop拉取数 据，而是拉取数据到临时...

原创 1.gmi小程序用户发送信息

# 查询总数(表合并前)select * from gmi_message_user_his where userid = '1187887' 190# 查询发送信息详细表(code + user_detail)select * from gmi_message_code_his where userid = '1187887'select distinct code,sub_...

原创 2.程序sql中bug优化

考察left join和where ... and ...# 查看数据是否补全，主要查看userid = 1356823用户select tt1.userid,ifnull(tt3.totalSend,0) as totalSend,ifnull(tt1.tot,0) as total,ifnull(tt2.succ,0) as success,tt3.time as datetime...

原创 3. sql优化update表

1.考察主要是根据一张表的字段更新另一张的字段UPDATE gmi_message_user_his_new t1LEFT JOIN (SELECT userId,CODE,createTime FROM gmi_consumer_info WHERE userId = '1356823') t2ON t1.userId = t2.useridAND t1.code = t2.co...

转载 python_anaconda安装tensorflow （windows10环境）

已有环境：python3.6.1anaconda隔离管理多个环境，互不影响。这里，在anaconda中安装最新的python3.6.5 版本。linux环境下使用anaconda安装tensorflow步骤见：https://blog.csdn.net/ebzxw/article/details/80693152一. 安装anaconda1. 下载地址：https://www.a...

转载 Spark在Windows下的环境搭建

由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。　　一．JDK的安装与环境变...

原创 破百记录笔记《一》之重要代码

import javax.swing.JFileChooser;import java.io.File;import javax.swing.JFrame;import javax.swing.JLabel;import javax.swing.JTextField;import javax.swing.Box;/*该函数重点在于对内部类方法实现的三种访问方式*

原创 破百记录笔记《一》

1、class.getResourceAsStream//读取资源文件, 设置输入流private static InputStream is = PropertiesUtil.class.getResourceAsStream(CONFIG);2、static private static String JDBC_USER;//连接密码private static S

原创 javaSE笔记

（1）位treeNode节点添加鼠标监听器task.add(downing);task.add(downfail);task.add(downfinish);JTree tree = new JTree(task);model = (DefaultTreeModel) tree.getModel();tree.setShowsRootHandles(true);tree

原创 CSDN学习杂记（二）

两个在线前段资料查询网站：http://www.runoob.com/http://www.w3school.com.cn

原创 CSDN学习杂记

(2016.7.19)：

原创 SQL Server 2005安装笔记

安装过程使用管理员权限运行。。。。。。。。。。。。。

原创 6.10linux驱动笔记

原创 7th_drv.c

7th_drv.c驱动层： static struct timer_list buttons_timer; static struct pin_desc *irq_pd;/*  * 确定按键值  */static irqreturn_t buttons_irq(int irq, void *dev_id){/* 10ms后启动定时器 */irq_pd

原创 first_drv/second_drv/third_drv.c/forth_drv.c/fifth_drv.c

(1)first_drv.c(2)second_drv.c    //使用查询法  在第二个驱动程序中，使用查询法：  1.内核的 key_vals[i]=gpfdat 进行读值  2.copy_to_user(buf,key_vals,sizeof(key_vals));将key_vals赋给buf(内核层传递数据到用户层)  3.read(fd,key_vals,sizeo

原创 c++学习笔记十七

43、44、虚析构函数#includeclass A{public:A() { cout~A() { cout};class B:public A{public:B() { coutB(int i) { buf=new char[i]; cout~B(){delete buf;cout}private:char *bu

原创 c++学习笔记十六

40、虚函数#includeclass A{public:A() { coutvirtual void f() { cout};class B:public A{public:B() { f(); coutvoid g() { f(); }};class C:public B{public:C() { coutvirtual

原创 c++学习笔记十五

38、静态束定   #includeclass Point{public: Point(double i,double j) { x = i;y = j; }double Area() const { return 0; } private:double x,y;};class Rectangle:public Point{public:Rect

原创 c++学习笔记十四

32、运算符重载为友元函数  #includeclass complex {public:complex(double i=0,double j=0);friend complex operator -(const complex & c1,const complex & c2);friend complex operator +(const complex & c1,

原创 c++学习笔记十三

31、多态性和虚函数  多态性：发出同样的消息被不同类型的对象接受导致完全不同的行为；  多态可分为：静态多态性与动态多态性；  动态多态性必须存在于继承的环境中；  在类中，构造函数可以重载，普通成员函数也可以重载；构造函数重载给初始化带来了多种方式，为用户提供了更大的灵活性。#include#includeclass string{public:st

原创 c++学习笔记十一

27、构造函数#includeclass B{public:B();B(int);~B();void Print() const;private:int b;};B::B(){b = 0;cout}B::B(int i){b = i;cout}B::~B(){cout}void B::Print

原创 c++学习笔记十二

28、多继承 #includeclass B1{public:B1(int i) { b1 = i; coutvoid Print() { coutprivate:int b1;};class B2{public:B2(int i) { b2 = i; coutvoid Print() { coutprivate:int b2;}

原创 c++学习笔记十

26、a.公有类继承  继承方式的作用：控制基类中声明的成员在多大的范围内能被派生类的用户访问。#includeclass Location{public:void InitL(int xx,int yy);void Move(int xOff,int yOff);int GetX() { return X; }int GetY() { return Y

原创 c++学习笔记九

25、堆对象a.在程序中运行过程中根据需要可以随时建立或删除的对象。b.堆对象运算符：new、deletec.new运算符    new创建数组：      new  []例如： A *ptr;ptr = new A[5];  1.使用new创建对象数组或一般数组时，不能为该数组指定【初始值】，  其初始值为【缺省值】。  2.使用new[]创建对象数