- 博客(14)
- 收藏
- 关注
RSS订阅原创 运用python进行相关性统计检验
本文主要记录了python对数据进行相关性统计检验的实现方法。主要是：1、连续变量VS连续变量：皮尔逊相关系数2、分类变量VS分类变量：卡方检验3、连续变量VS多分类变量：F检验4、连续变量VS二分类变量：若连续变量满足正态分布，则用t检验，否则应用曼-惠特尼U检验主要的python脚本如下：from sklearn.feature_selection import SelectKBest,chi2from scipy import statsfrom scipy.sta
2020-12-14 15:56:27
2539
原创 交叉特征的处理算法学习理解(FM-xDeepFM)
FM算法公式：其中其中利用上三角矩阵=(对称矩阵-对角矩阵)/2的思想，将其化简为再利用梯度下降法求出V，即得到每个特征的隐含向量(能反映交叉信息)，同时训练即可得到分类或回归模型。注：V的维度为，的维度为，为超参，表示向量维度。FFM算法在FM的基础上引入了类别(field)的概念，n个特征(已one-hot编码)属于f个field。此时相对于FM中的，FFM中的维度为，中有f个向量是不相同的，同一fiield下的向量是相同的。DeepFM算法
2020-10-19 16:31:55
1020
原创 python实现stacking
stacking是模型融合的一种方法，参考https://www.sohu.com/a/302683886_787107def evaluation(model,test_x,test_y,model_type = 'other_model'): predict = model.predict(test_x) if model_type == 'lgb': y_score = np.array(predict) predict = [1 if x >
2020-09-07 19:23:48
542
原创 python得到地址的经纬度，并将经纬度转成详细地址
import pandas as pdimport jsonfrom urllib.request import urlopen, quoteimport requestsimport reimport pandas as pdfrom geopy.geocoders import Nominatim,GoogleV3from geopy.exc import GeocoderTimedOutfirst_aid = pd.read_pickle('t_first_aid.pkl')# .
2020-08-14 15:52:00
1821
原创 python技巧积累
#从dataframe中将两列符合条件的行取出来def info_duplicates(base_info): base_info['miss'] = base_info.isnull().sum(axis = 1) tmp_miss_df = base_info['miss'].groupby(base_info['patient_id']).min() zip_list = list(zip(tmp_miss_df.index,list(tmp_miss_df))) .
2020-08-11 18:28:00
169
原创 python连接mysql读取数据(总读取与分批读取)
import pymysqlimport pandas as pdimport gcimport timeimport threadingclass Sql_df(object): def __init__(self,input_db): self.host = 'ip_xxx' self.port = 3306 self.username = 'root' self.password = 'xxx' se.
2020-08-11 18:25:21
1568
原创 python学习—数据处理
import pandas as pdimport numpy as npdf = pd.read_csv('C:\\Users\\len\\Desktop\\statistic_race\\pinganchanxian\\user_data.csv')label = df.labeldf = df.drop(['user_id','label'],axis = 1)#删除列，axis=1...
2018-06-21 11:18:08
355
原创 python学习—collections模块学习
tuple的功能：1.tuple是不可变的，具有迭代(iterable)性2.拆包用法：name,age,height = ('kang',22,179)3.元组不是绝对不可变的，可对tuple中的列表等进行操作4.tuple的immutable的重要性，即不可变性地重要性,可将元组整体作为字典的键from collections import namedtuple*other,address ...
2018-06-21 11:08:04
148
原创 python学习—scipy知识点
1.1 integral积分运算import numpy as npfrom scipy.integrate import quad,dblquad,nquad #quad是一元积分，dblquad是二元积分,nquad表示n维的积分print(quad(lambda x:np.exp(-x),0,np.inf))#在进行一元积分时此处0是x的下界，np.inf是x的上界print(dblq...
2018-06-21 11:00:54
790
原创 python学习—装饰器
1.闭包的相关知识点def func_150(val): passline = 90 if val >= passline: print('pass') else: print('failed')def func_100(val): passline = 60 if val >= passline: ...
2018-06-21 10:52:30
118
原创 python学习—正则表达式
1.字符串中startswith的用法txt = ['mooc yuwen','mooc shuxue mooc','mooc yingyu','wuli','huaxue','shengwu']for item in txt: if item.startswith('mooc'):#字符串中的startswith的用法 print(item)for item in t...
2018-06-07 11:36:28
239
原创 Tensorflow基础知识梳理
Tensorflow实现神经网络1.TensorFlow的基本介绍：查看链接：http://python.jobbole.com/87513/2.TensorFlow相关函数包的调用理解点：(1)math包支持一些数学运算(2)h5py包支持对一些h5py格式的数据进行读取，本次实验是将手指的数字数据储存为h5py格式文件中。(3)ops是operations的缩写，指的是TensorFlow中的...
2018-05-03 22:13:59
4113
3
原创 吴恩达老师课程：CNN的numpy和tensorflow实现
基础篇1.导入相关的库理解点：(1)plt.rcParams['figure.figsize'] = (5,4)是设置显示图像的最大范围。(2)plt.rcParams['image.interpolation'] = 'nearest'是设置差值方式为'nearest'，按照英文意思应该指图像是以距离最近的方式进行插补。(3)plt.rcParams['image.cmap'] = 'gray'...
2018-05-01 22:34:31
739
原创 AlexNet模型python实现与应用
AlexNet模型实现流程该模型总共应用五个卷积层和3个完全连接层进行卷积模型构建，其中第一和第二卷积层后有局部相应归一化处理（LRN），第一二五层后进行了最大池化处理，后三个完全连接层均进行了dropout防过拟合处理。以下为网络模型的参数维度、经过处理后训练集样本维度和参数数量等相关信息。另外在第二第四第五层分成了两个GPU进行模型训练，此时参数中的channel(第三个维度)要对半分，标红部...
2018-04-05 22:08:39
6416
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人