qq_42907167的博客

原创 endnote 关于中文文献出现et al的完美解决

1 ，首先打开 edit Preferences modify peference Types选择 UNused2 或者3 （你不经常用的格式，可以用来修改） 双击更改为 中文文献，按上图更改参数，点击OK 。点击应用。点击 edit edit outputstyles edit 编辑你要用的那个格式Author lists 不更改，更改 editor lists .Templates 中 Perference Types 点击你设置的中文文献，并

原创 python 找出数组中第k大的数，迭代器和生成器的区别

import numpy as np x=np.array ([ 11,8,9,6,2,9])x=x.to_list() 将一维数组转化为列表x=set(x)将列表排序，返回是一个集合list(x) 将集合转化为列表list[k] 可以找到第k 个大的数 ，只能找到一个python生成器 一边循环，一遍生成(x for x in range (10))相当于 for x in range (10): print(x)迭代器，不但能够作用于fo

原创 python,工作表根据对应点取出对应数据

import numpy as npimport pandas as pdimport osimport matplotlib.pyplot as pltimport xlrdall_data = "./" #获取数据的目标文件夹path_list = os.listdir(all_data) #获取文件夹中的所有文件save_wav_file = "./wav_data" # 提取数据后保存的文件夹save_co_file = "./co_data" # 提取数据后保

原创 将爬虫爬取到的内容写入excel

import requests,openpyxl#在上一关的代码上再导入openpyxl模块。wb = openpyxl.Workbook()#创建工作簿sheet = wb.active#获取工作簿的活动表sheet.title = 'song'#工作表重命名为song。sheet['A1'] ='歌曲名'sheet['B1'] ='所属专辑'sheet['C1'] ='播放时长'sheet['D1'] ='播放链接'import requests,openpyxlwb=op.

原创 python 将csv 表格中的一列数据，重复10个周期后写入 csv 的 某一列

import pandas as pdimport numpy as npimport glob,osimport matplotlib.pylab as pltfrom scipy import interpolateimport operatorfrom functools import reducesave_wav_file = "E:\\new_CO\\WAV"path = r'E:\\new_CO\\wav_data'file = glob.glob(os.path.join(

原创 python 绘制多个折线图，横轴显示为时间

import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport pandas as pdimport osimport numpy as npfrom matplotlib import pyplot as pltimport pylab as plimport datetime as dtimport matplotlib as mplimport matplotlib.dates as mdate

原创 问题解决：FileNotFoundError:[WinError 2] 系统找不到指定的文件。

import osimport matplotlib.pyplot as pltall_data=" E:\\new_CO\\WAV"path_list = os.listdir(all_data)print(path_list)其实就是 双引号后面加了个空格。 吧空格删掉后就可以运行了。

原创 python 对原有csv文件数据差值后，另存为新的文件，文件名保持不变。

import pandas as pdimport numpy as npimport glob,osimport matplotlib.pylab as pltfrom scipy import interpolatesave_wav_file = "E:\\new_CO\\WAV" # 存入csv 的文件地址path = r'E:\\new_CO\\wav_data'# 读取原csv的文件地址file = glob.glob(os.path.join(path, "*.csv"))#

原创 Python 绘图

plt.figure(figsize=(12, 7))x= list(range(1,51))plt.plot(x,train_loss_all,'b--',label='Train_loss',linewidth=3)# plt.plot(val_loss_all,'g--',label='val_loss',linewidth=3)# plt.plot(x, train_loss_all,'b^-', x, val_loss_all, 'g+-')plt.plot(x, train_loss_

原创 python分割字符串后判断不重复的csv 文件 有多少个

#递归获取.csv文件存入到list1import os,re #将所有文件的路径放入到listcsv列表中def list_dir(file_dir): # list_csv = [] dir_list = os.listdir(file_dir) for cur_file in dir_list: path = os.path.join(file_dir,cur_file) #判断是文件夹还是文件 if os.path.is

原创 Python 使用writerow 写入csv文件，将原有数据删除

f = open('D:\\Mrs XIAO\\annotation1.csv', 'w', encoding='utf-8') # 2. 基于文件对象构建 csv写入对象 csv_writer = csv.writer(f) # 3. 构建列表头 csv_writer.writerow(["weight", "height", ]) # 4. 写入csv文件内容 .

原创 使用python在一个图中显示多个图形

import pandas as pdimport matplotlib.pyplot as plt#f1 = pd.read_csv('data_info.csv')age =f1['age'].valuessex = f1['sex'].valuesheight= f1 ['height'].valuesweight= f1['weight'].valuesplt.figure(1) # 创建图形ax1 = plt

原创 python 绘制 直方图

import pandas as pdimport randomimport csvimport matplotlib.pyplot as plt#f1 = pd.read_csv('data_info.csv')age =f1['height'].valuessex = f1['sex'].valuesheight= f1 ['height'].valuesweight= f1['weight'].valuesplt.hist(sex,bins=30,color='bl

原创 python绘制bland 图

def bland(data1,data2, *args, **kwargs): data1=np.asarray(data1.reshape(-1)) data2=np.asarray(data2.reshape(-1)) mean=np.mean([data1,data2],axis = 0) diff=data1-data2# print(diff) md=np.mean(diff) sd=np.std(diff,axis = 0)#

原创 使用Python将csv 文件中批量写入数据

import csvfor i in range (0,50): f1 = open(r"E:\biye\label\s00151_3695588_0015_"+str(i)+".csv", "w") csv_writer = csv.writer(f1) csv_writer.writerow(["0"])# 5. 关闭文件f1.close()

原创 使用Python 批量生成csv文件

import csvpath='D:\Mrs XIAO\wave_all'for i in range(4,101): f1 = open("D:\\Mrs XIAO\\wave_all\\"+str(i)+"_info.csv", "w") f2 = open ("D:\\Mrs XIAO\\wave_all\\"+str(i)+"_wavAll.csv", "w") f1.close()f2.close

原创 python 绘制bland -autumn 图形

python 绘制bland 图def bland(data1,data2, *args, **kwargs): data1=np.asarray(data1.reshape(-1)) data2=np.asarray(data2.reshape(-1)) mean=np.mean([data1,data2],axis = 0) diff=data1-data2# print(diff) md=np.mean(diff) sd=np.std(di

原创 DataFrame某一列根据布尔值筛选，另一列赋值，并且进行频数统计

offline_train.loc[(index3|index2),'label']=0 将 label 这一列，符合条件的值赋值为0offline_train.loc[index1,'label']=1 将label 这一列，符合条件的赋值为1offline_train['label'].value_counts() # 对标签进行频数统计--Date列为空值，Date_received列不为空值，的数据， label值设置为1 --判断条件无论大小一定要用括

原创 pandas 学习笔记。判断是否有缺失值。

pd.isnull(df) # 判断df是否为空，返回布尔值pd.notnull(df) #判断df是否不为空，返回布尔值。df = df[df[Date_received].isnull()] # 筛选出df中，列Date_receuved为空的部分index1=df['Date'].notnull() #帅选出date 列中，值不为空的部分...

原创 使用 sqlalchemy 库从 sql 数据库中抓取数据。

确保使用你自己的 ServerName, Database, TableName （服务器名，数据库和表名）。# ParametersTableName = "data"DB = {'drivername': 'mssql+pyodbc','servername': 'DAVID-THINK',#'port': '5432',#'username': 'lynn',#'password': '',08 - Lesson197'database': 'BizIntel','driver

原创 python中的 np.argwhere()的返回值、

A=np.arange(6).reshape(2,3)np.argwhere(A>0)其返回值为，第0行的第2个数‘第一行的第0个，1 个，2个’

原创 python 绘制散点图，添加中文图例。设置标题，等

import matplotlib.pyplot as pltimport matplotlibimport randoma = range(5,25,1)b = random.sample(a, 5)c = random.sample(a, 5)d = [i/1000.0 for i in range(7065, 7090,6)]# print(d)# print(b,c)#设置中文标题chinese = matplotlib.font_manager.FontPropertie

原创 python sorted的用法

a=[('b',4),('a',0),('c',2),('d',3)]print(sorted(a,key=lambda x:x[0]))print(sorted(a,key=lambda x:x[1]))结果x[0] 是按第一个数据进行排序x[1]是按第二个数据进行排序

原创 python 中json 的用法，将字典转化为字符串，或者将字符串转化为字典

import jsonparams={ 'symbol':'12356', 'type':'limit', 'price':123.4, 'amount':23}params_str=json.dumps( params)print( 'after json serialization')print('type of params_str={},params_str={}'.format (type(params_str),params))

原创 收藏一下

https://blog.csdn.net/u014162133/article/details/81181194https://blog.csdn.net/jiangpeng59/article/details/79609392https://codeload.github.com/mlmed/torchxrayvision/zip/masterhttps://edu.aliyun.com/roadmap/ai?spm=5176.13944111.1409070.1.271d28fc9ZLSdjh

原创 终端写入python 后没有反应和matplotlib模块出错

在系统环境变量中加入 anconda 的三个路径，如上图所示的最后三个from . import _imaging as core ImportError: DLL load failed: 找不到指定的模块。在终端写入```pythonpip uninstall pillowpip install pillow

原创 简单的非线性回归，基于tensorflow实现

# -*- coding: utf-8 -*-import tensorflow as tfimport timeimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn import svmfrom sklearn.preprocessing import StandardScalerimport matplotlib.pyplot as pltimport numpy as

原创 python 数据分析，表格处理的一些基础语法

data.columns #求表中的所有列的索引#输出结果Index([‘id’, ‘diagnosis’, ‘radius_mean’, ‘texture_mean’, ‘perimeter_mean’,‘area_mean’, ‘smoothness_mean’, ‘compactness_mean’, ‘concavity_mean’,‘concave points_mean’, ‘symmetry_mean’, ‘fractal_dimension_mean’,‘radius_se’,

原创 极客时间笔记之K-means聚类的一些要点和KNN之间的区别，利用K-means分割

如果从功能上来划分，sklearn 可以实现分类、聚类、回归、降维、模型选择和预处理等功能。这里我们使用的是 sklearn 的聚类函数库，因此需要引用工具包，具KMeans(n_clusters=8, init='k-means++', n_init=10, max_iter=300, tol=0.0001, precompute_distances='auto', verbose=0, random_state=None, copy_x=True, n_jobs=1, algorithm='auto'

原创 KNN的基本工作原理，以及其与支持向量机，cart决策树和贝叶斯的一个效果区分

近朱者赤，近墨者黑”可以说是 KNN 的工作原理。整个计算过程分为三步：计算待分类物体与其他物体之间的距离；统计距离最近的 K 个邻居；对于 K 个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类。在 KNN 算法中，还有一个重要的计算就是关于距离的度量。两个样本点之间的距离代表了这两个样本之间的相似度。距离越大，差异性越大；距离越小，相似度越大。关于距离的计算方式有下面五种方式：欧氏距离；曼哈顿距离；闵可夫斯基距离；切比雪夫距离；余弦距离。这里，我们使用构造函数 KNeigh

原创 极客时间笔记，python数据分析清洗时删除无用列和替换某些值

# ID列没有用，删除该列data.drop("id",axis=1,inplace=True)# 将B良性替换为0，M恶性替换为1data['diagnosis']=data['diagnosis'].map({'M':1,'B':0})

原创 支持向量机原理以及其中所用的核函数，sigmod函数解决二分类问题

所以在非线性 SVM 中，核函数的选择就是影响 SVM 最大的变量。最常用的核函数有线性核、多项式核、高斯核、拉普拉斯核、sigmoid 核，或者是这些核函数的组合这些函数的区别在于映射方式的不同。通过这些核函数，我们就可以把样本空间投射到新的高维空间中。当然软间隔和核函数的提出，都是为了方便我们对上面超平面公式中的 w* 和 b* 进行求解，从而得到最大分类间隔的超平面。sigmoid函数表示为：sigmoid函数图像为：sigmoid的输入为实数，输出在0和1之间，对一定范围内的数...

原创 使用决策树来预测心输出量，决策树的基本原理及 最后附有代码

决策树的核心就是寻找纯净的划分，因此引入了纯度的概念。在属性选择上，我们是通过统计“不纯度”来做判断的，ID3 是基于信息增益做判断，C4.5 在 ID3 的基础上做了改进，提出了信息增益率的概念。实际上 CART 分类树与 C4.5 算法类似，只是属性选择的指标采用的是基尼系数。你可能在经济学中听过说基尼系数，它是用来衡量一个国家收入差距的常用指标。当基尼系数大于 0.4 的时候，说明财富差异悬殊。基尼系数在 0.2-0.4 之间说明分配合理，财富差距不大。基尼系数本身反应了样本的不确定度。当基尼系数越

原创 python字符串转换为字典的json .loads用法

原创 X_path 爬虫

xpath(‘node’) 选取了 node 节点的所有子节点；xpath(’/div’) 从根节点上选取 div 节点；xpath(’//div’) 选取所有的 div 节点；xpath(’./div’) 选取当前节点下的 div 节点；xpath(’…’) 回到上一个节点；xpath(’//@id’) 选取所有的 id 属性；xpath(’//book[@id]’) 选取所有拥有名为 id 的属性的 book 元素；xpath(’//book[@id=“abc”]’) 选取所有 book .

原创 python 生成词云

#-*- coding:utf-8 -*-from wordcloud import WordCloudimport matplotlib.pyplot as pltimport jiebafrom PIL import Imageimport numpy as np# 生成词云def create_word_cloud(f): print('根据词频计算词云') text = " ".join(jieba.cut(f,cut_all=False, HMM=True)).

原创 爬虫scrapy 建立初始项目出错，File not founderror

FileNotFoundError: [Errno 2] No such file or directory: ‘douban\Itcast\settings.py.tmpl’方法：直接卸载原有scrapy ，用pip uninstall scrapy#重装scrapypip install scrapy 即可成功

原创 爬虫（1）

在Network，有非常重要的一类请求是XHR（或Fetch），因为有它的存在，人们不必刷新/跳转网页，即可加载新的内容。随着技术发展，XHR的应用频率越来越高，我们常常需要在这里找我们想要的数据。XHR的功能是传输数据，其中有非常重要的一种数据是用json格式写成的，和html一样，这种数据能够有组织地存储大量内容。json的数据类型是“文本”，在Python语言当中，我们把它称为字符串。我们能够非常轻易地将json格式的数据转化为列表/字典，也能将列表/字典转为json格式的数据。Network的功

原创 Python OSError: cannot open resource

-*- coding: utf-8 -*-from wordcloud import WordCloudimport matplotlib.pyplot as pltimport jiebafrom PIL import Imageimport numpy as npdef create_word_cloud(f): print('根据词频计算词云') text = " ".join(jieba.cut(f,cut_all=False, HMM=True)) wc .

原创 决策树的构造

我们该如何构造一个判断是否去打篮球的决策树呢？再回顾一下决策树的构造原理，在决策过程中有三个重要的问题：将哪个属性作为根节点？选择哪些属性作为后继节点？什么时候停止并得到目标值？显然将哪个属性（天气、温度、湿度、刮风）作为根节点是个关键问题，在这里我们先介绍两个指标：纯度和信息熵。先来说一下纯度。你可以把决策树的构造过程理解成为寻找纯净划分的过程。数学上，我们可以用纯度来表示，纯度换一种方式来解释就是让目标变量的分歧最小。我在这里举个例子，假设有 3 个集合：集合 1：6 次都去打篮球；集合 2：4 次