- 博客(45)
- 收藏
- 关注
RSS订阅原创 python 根据文本内容反查所属标签
应该是网页问题，后来发现做错代码方向了，就没继续研究。目标：获取标签"新闻发布“所对应的href标签。
2023-04-09 17:47:38
229
1
原创 GPU服务器可租用列表
姓名 价格 优缺点 备注 AutoDL-品质GPU租用平台-租GPU就上AutoDL 北京超级云计算中心 Running Kaggle Kernels with a GPU 智星云 AI Galaxy | GPU云服务器 GPU服务器租用 远程GPU租用 深度学习服务器 | 免费GPU 便宜GPU 九天•毕昇 目前注册就送500金 GOOGLE
2023-04-06 13:44:55
1155
1
原创 【常用代码段系列】判断元素是否是数字，可验证nan，整数，浮点数
def is_number(s): try: # 判断是否是nan值，返回False np.isnan(s) return False except ValueError: # ValueError为Python的一种标准异常，表示"传入无效的参数" pass # 如果引发了ValueError这种异常，不做任何事情（pass：不做任何事情，一般用做占位语句） try: # 如果能运行float(s)语句，返回True（字符串s.
2021-04-19 11:26:25
322
原创 pd.merge左连接，右连接，内连接的区别
import pandas as pdleft = pd.read_excel("left.xlsx")leftright = pd.read_excel("right.xlsx")rightpd.merge(left,right,left_on="name",right_on="name",how="left")left （左连接）：返回包括左表中的所有记录和右表中连接字段相等的记录。pd.merge(left,right,left_on="name",...
2021-04-19 01:23:15
8835
原创 Jupyter Lab：使用小技艺+插件[安装步骤详解+功能说明]
【声明】本文非推荐文，只是博主自用的插件的安装和功能等总结。不定期更新。一、运行环境从ANACONDA中起动JupyterLab。本文用到的是2.2.6版本，运行在windows 64bit。1.2单击进入Extension Manager。 想要安装的插件都可以在[SEARCH]中输入插件名，并搜索。 找到相应的插件后，点击插件下方的Install按钮，会自动完成安装。 插件完成后，会要求reload。 重新加载后，插件会出现在Home...
2020-09-19 01:39:28
2131
2
原创 【数据科学与机器学习导论】【笔记】2.4 训练数据，再训练，和交叉验证
课程链接：https://stepik.org/course/4852/syllabus 语言：俄语文中使用数据：链接: https://pan.baidu.com/s/1PYqtZWdxr8k-_lTGvhgqKQ 提取码: j6imfrom sklearn import treeimport pandas as pdimport numpy as npimport seaborn as snsimport matplotlib.pyplot as plt%matplotlib in.
2020-08-09 16:34:49
205
原创 【Python专题】pandas.melt函数
大家经常把melt函数和透视表pivot_table函数放在一起对比。同时，这里有一篇不错的对比的文章。Pandas melt和pivot_table比excel透视表好用多了以及pandas行转列，列转行操作一、作用pandas.melt函数是为了将数据转换为对计算机友好的函数，当然，也是为了更加便于计算。它主要是可以将在宽度上的表现形式转换为在长度上的表现形式。（Pandas.melt() unpivots a DataFrame from wide format to long f
2020-08-04 00:14:33
12446
原创 【Python专题】合并函数merge、append、concat
merge()是将两个表合并在一起，横向合并。纵向合并用的是append()函数。一、纵向合并append()dbms_lob.append(dest_lob in out nocopy blob,src_lob in blob);dbms_lob.append(dest_lob in out nocopy clob/noclob character set any_cs,src_lob in clob/noclob character set dest_lob%charset);参数详
2020-08-02 00:37:55
1104
原创 【Python专题】常用库及插件安装
声明：本文为记录博主在日常使用中，需要安装的库或插件的安装方法。环境：WIN10 64bit1.下载python包官网下载2.下载Anaconda官网下载3.代码自动补全工具写-针对jupyter notebook参考安装指南：jupyter notebook 写代码自动补全4.常用库安装4.15.6.7.8.9.10....
2020-08-01 21:51:49
245
原创 【Python专题】去重和选择唯一值的函数drop_duplicates、unique
声明：不定期更新添加新的方法。去重有很多种方法，这里只是列举博主用过的几种。一、函数.drop_duplicatesDataFrame.drop_duplicates(subset=None, keep='first', inplace=False)这个函数是对DataFrame格式的数据，去除特定列下面的重复行。返回DataFrame格式的数据。[1]参数 意义 subset 用来指定特定的列，默认所有列。认值为subset=None表示考虑所有列。 keep
2020-08-01 21:16:03
972
原创 【Python专题】透视表pivot_table
Python提供的透视表函数pivot_table有点类似于在Excel中使用数据透视表功能。透视表是一种可以对数据动态排布并且分类汇总的表格格式。一、所需模块import pandas as pdimport numpy as npimport seaborn as sns%matplotlib inlineimport matplotlib.pyplot as plt二、读入数据注意：读入数据格式为DataFrameevents_data = pd.read_csv(
2020-08-01 18:08:58
1434
原创 【数据科学与机器学习导论】【笔记】1.7可视化，seaborn，几乎和ggplot2一样酷。
课程链接：https://stepik.org/course/4852/syllabus 语言：俄语文中使用数据：链接: https://pan.baidu.com/s/1PYqtZWdxr8k-_lTGvhgqKQ 提取码: j6imimport pandas as pdimport numpy as npimport urllibfrom bs4 import BeautifulSoup from requests import requestimport requestsimp.
2020-07-25 22:59:18
321
原创 【数据科学与机器学习导论】【笔记】1.6数据分组和汇总
课程链接：https://stepik.org/course/4852/syllabus 语言：俄语文中使用数据：链接: https://pan.baidu.com/s/1PYqtZWdxr8k-_lTGvhgqKQ 提取码: j6imimport pandas as pdimport numpy as npfile = pd.read_csv("StudentsPerformance.csv")#将列名中的空格修改为下划线_file = file.rename(columns = .
2020-07-24 00:46:36
242
原创 Python之最佳化程序【仅供参考】
用Python解决优化难题优化任务的一般表述优化的目标是从广泛的可能的解中找到问题的最佳解。这里是一个典型的源头优化任务。假设一家航运公司使用船队向客户运送货物。每天公司必须将货物分配到各船，然后为每艘船选择运送货物的路线。每种可能的货物和航线目的都有自己的价值，基于船队的总移动距离，以及可能的其他因素。问题是要选择价值最低的货物和路线的分布。和所有的优化任务一样，这个任务也有以下内容。目标是你要优化的数量。在上面的例子中，目标是最小化成本。为了配置优化任务，你需要定义一个函数，计算任何可能
2020-06-23 00:59:28
366
原创 Python图像处理之线路提取
#导入所需库和模块import numpy as npimport mathimport cv2from sklearn.cluster import from skimage.morphology import skeletonizeKMeansfrom scipy.signal import convolve2dfrom simplification.cutil import simplify_coordsimport webcolorsimport matplotlib.pyplo.
2020-06-23 00:58:54
2239
原创 Python 之 图像转换(ImageTransformations)【终稿】
使用库OpenCV-Pythonimport cv2import numpy as npimport matplotlib.pyplot as plt%matplotlib inline色彩空间的变化opencv的颜色转换方法flags = [i for i in dir(cv2) if i.startswith('COLOR_')]print(flags[35:50]) # some of color-space conversion methods['COLOR.
2020-06-23 00:58:22
867
2
原创 Python 之 图像预处理（是一篇综合帖子）
用于图像管理的Python库skimage是一个开源的Python包，它可以和NumPy数组一起工作。它实现了用于研究、教育和工业应用的算法和实用程序。numpy提供了对数组的支持。图像，其实就是一个标准的NumPy数组，包含数据点的像素。因此，使用基本的NumPy操作，如切片、蒙版和索引，你可以改变图像像素的值。图像可以使用skimage加载，并使用Matplotlib显示。scipy是Python的另一个主要科学模块(和NumPy一样)，可以用于图像处理的主要任务。特别是scipy.n...
2020-06-22 16:07:35
2640
原创 Python 之 图像特征
导入所需模块import numpy as npimport cv2import pywtfrom sklearn.preprocessing import MinMaxScalerimport torchfrom torch import nnfrom torch.utils.data import DataLoaderfrom torchvision import transformsfrom torch.nn import functional as Fimport
2020-06-22 15:47:56
892
1
原创 Python 之 平滑与过滤
平滑/过滤操作我们对数据应用一些运算符，改变源点，以消除高频波动。操作符的例子：scipy.signal.convolve、scipy.signal.medfilt、scipy.signal.savgol_filter等。平滑算子是分布理论中具有特殊性质的平稳函数，用来建立一个平稳函数序列，用卷积来逼近一个平稳（广义）函数。直观地讲，拥有一个具有特殊特征的函数，并将其与一个平稳函数进行卷积，我们就会得到一个 "平稳函数"，在这个函数中，初始函数的特征被平滑化了，但函数仍然接近初始函数。为了理
2020-06-22 13:00:37
9903
1
原创 Python之输入数据的预处理
我就先写个题目……后续再写……1.视觉分析（探索性分析）2.数据清理2.1. 噪声(滤波器、平均、随机)2.2. 异常值（5 sigma+贝叶斯变化点分析+异常值检测）。2.3. 缺失值(填补空白)2.3.1. 一维插值（1D）：前补、后补、花键、多项式。2.3.2. 单一插值法：均值插值法、热插值法、冷插值法。2.3.3. 多重归纳法。MICE--通过链式方程。2.3.4. LSTM / Autoencoder /......。3.数据减少。重采样。数据聚合。...
2020-06-22 12:14:35
252
原创 Python 之 异常值/离群值的处理
离群值离群值是指与集合中其他观测值差异较大的任何数据点。例如：当一个学生的平均成绩在90%以上，而其他小组的成绩在70%，就会出现明显的离群现象。通过分析某个客户的购买模式，突然出现了一个非常高价值的购买（如10万）。虽然某客户的交易额大多在1万左右波动。不管是什么原因，10万的购买量在整体数据中都是一个异数。乌塞恩-博尔特--记录短跑绝对是排放当大多数运动员被考虑。异常值存在的原因有很多。有可能是分析人员在输入数据时出错，也有可能是设备产生了测量误差，甚至有可能是故意离群。如果有
2020-06-22 12:09:06
24918
2
原创 Python之填充数据槽（二）
在之前的ipynb中，我们研究了这样的数据槽的填充方法，如：1. Imputation methods - mean, median imputation2. Interpolation methods - basic (linear, cubic, polynomial, spline)3. Smoothing and filtering methods - moving average链式方程的多重推定（MICE）。MICE是在对数据遗漏产生机制有一定假设的情况下，用于替换数据集缺失值的
2020-06-22 02:05:44
1298
原创 Python之填充数据槽
填充数据槽对数据遗漏的处理（填充）与时间序列特别相关，并与读/写数据时的问题相关。输入数据的质量决定了建立在其基础上的模型的质量。因此，数据的遗漏会威胁到效率的损失和研究结果的扭曲，以及根据数据分析做出的管理决策。并非所有的算法和方法都能对有遗漏值的数据起作用。最简单的解决方法是删除遗漏值。显然，它扭曲了数据的统计属性。其他变体的解决方法是应用恢复遗漏值的方法，以及应用机器学习方法，即所谓的多任务学习方法，在解决的过程中，利用这些方法对有遗漏值的数据进行处理，例如，分类或预测任务。
2020-06-22 01:43:05
1266
原创 Python之探索式数据分析
探究数据分析的目的是为了找到有助于清理/准备/转换数据的思路，这些数据最终将用于机器学习算法/模型的建立。我们将采取以下行动：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns%matplotlib inlineplt.style.use('bmh')Seaborn是一个基于matplotlib的Python数据可视化库。它提供了一个绘制信息统计图形的高
2020-06-22 01:24:18
1344
原创 Python 之 降低数据的维度，实现可视化
1.导入相关模块import numpy as npfrom sklearn.datasets import fetch_openml2.MNIST Datasetmnist = fetch_openml("mnist_784")X = mnist.data / 255.0y = mnist.targetX.shape, y.shape数据转换为Pandas数据框架import pandas as pdfeat_cols = ['pixel' + str(i)...
2020-06-22 00:22:40
1478
原创 Python 之 数据转换
数据转换操作在这个实验室里，我们将考虑2种类型的变换：傅里叶变换和小波变换，应用于数据平滑。这些变换的主要应用是信号处理、图像处理。在图像处理的实验室工作中，我们还将看到卷积（来自前面的实验室工作）和小波变换是如何使用的。1.傅里叶变换大家都熟悉傅立叶行连续周期函数的分解。对于不熟悉参考维基百科的人来说，最简单的例子就是三角函数傅里叶数列中函数分解系数的计算。可以通过一组正交多项式和其他正交函数的系统（例如，Haar、Walsh和Kotelnikov的函数）将一个函数分解成一个系列。...
2020-06-21 22:09:50
1424
原创 Python 之 异常检测/异常点搜索
异常点搜索继续话题：对离群值的处理。已经开发了一套Python工具，用于检测数据中的排放和搜索异常点--Python异常点检测(PyOD)PyOD是一个全面的、可扩展的Python工具包，用于检测多维数据中的外部对象（排放）。PyOD的优势。1. 统一的API，详细的文档和不同算法的交互式例子。2. 高级模型，包括神经网络/深度训练和发射集合。3.使用JIT优化性能，并在可能的情况下使用numba进行并行。和joblib。4. 同时兼容Python 2和Python 3。...
2020-06-21 18:56:41
4142
原创 Python之导入文件
1.导入txt文件文件内容1.1方法一#与工作路径在同一目录下file = open("daily-total-female-births.txt", "r",newline="\n")data=file.read().splitlines() #data.remove(data[0])length=int(len(data))for i in range(length): data[i]=list(eval(data[i]))#eval函数将读取时带有的引号去掉,l
2020-06-20 12:57:18
404
2
原创 Python 之 时间序列测试(TimeSeriesTests)
时间序列时间序列是一个随机变量的序列。时间序列是描述一个在时间上发生的过程的数值序列，在连续的时间点上测量，通常是以相等的时间间隔。时间结构给观察结果增加了一定的秩序。这个顺序意味着，关于现有观测结果一致性的重要假设需要单独处理。例如，检查一行的静止性。在时间序列中，通过加入趋势性、季节性等与时间相关的结构，可以很容易地打破对时间序列分布参数的恒定性（静止性）的假设。如果我们想保证一个固定模型，我们假设我们的数据是一个固定过程的实现。因此，我们分析的第一步应该是检查数据中是否有趋势或季
2020-06-19 21:34:52
2644
原创 Python之 【模型建立和测试-模型测试模板】
1.线性回归1.1导入所需模块import warningswarnings.filterwarnings("ignore")import matplotlib.pyplot as plt%matplotlib inlineimport math# importsimport pandas as pdimport numpy as np# from sklearn.linear_model import LinearRegression # for ml...
2020-06-19 19:13:56
3566
原创 Pandas初识
1.导入所需模块%matplotlib inlineimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltpd.options.display.max_rows = 82.应用示例2.1泰坦尼克号乘客数据#导入数据df = pd.read_csv("titanic.csv")#查看前5列数据df.head()#按年龄分列的乘客分布情况df['Age'].hist()...
2020-06-19 01:38:12
341
1
原创 Numpy - 多维数据数组
numpy包(模块)几乎总是用于Python中的数值计算。这个软件包为Python提供了高性能的向量、矩阵、张量数据类型。它是在C和Fortran中创建的，因此当计算被矢量化（用矩阵和矢量表示操作）时，性能很高。1.模块的导入：%matplotlib inlineimport matplotlib.pyplot as pltfrom numpy import *2.数组创建numpy有几种初始化numpy数组的方法，例如：使用Python的list或tuple。使用旨...
2020-06-18 01:33:41
1987
原创 matplotlib - 用Python生成2D和3D图形
Matplotlib是一个优秀的2D和3D图形库，用于生成科学图形。以下是它的优势：很容易开始使用支持LaTeX配置图表所有元素的好机会。高质量输出各种格式的图像（PNG、PDF、SVG、EPS、PGF）。图形界面，支持无界面图形生成。1.# 这一行允许matplotlib在jupyter笔记本中显示图形。而不是为每个图表打开一个新窗口。%matplotlib inline2.所用相关库：import matplotlibimport matplotlib.pyplot a
2020-06-17 14:43:39
2368
原创 R： 导入XLSX文件并转换成CSV文件
导入XLSX文件并转换成CSV文件此处要先导入EXCEL文件，再转换成CSV文件。其中，最后一条FOR语句是为了在有多个Sheet时，可以导入多个。若需要导入多个Sheet的内容，需要先读入总共的Sheet个数和名称，再使(i in lengh(Sheet个数))，然后，将‘Cars.csv’修改为sheetnames[i],'.csv'setwd("E:/XXXX")data<-read_excel("Cars.xlsx")for(i in 1){write.table(read_ex
2020-06-16 21:17:34
5503
3
原创 Python个人无法理解的程序BUG
声明：以下代码都是在写程序中遇到的一些运行出错的代码，并不明白为什么会出错。 希望有大佬可以解释！不胜感激！1、场景：函数中调用其他函数#运行错误的代码def secondfuction(i): i=i+1 print(i)def firstfuction(i): i=1 print("i is") while i<=10: secondfuction(i)firstfuction(i=1...
2020-06-08 01:20:21
141
原创 应用实例---泊松到达过程模拟应用在客户到达
本文是自己研究的，#!/usr/bin/env python# -*- coding:utf-8 -*-import numpy as npimport pandas as pdimport seaborn as snsimport matplotlib.pyplot as pltimport warningsimport randomimport mathimport timefrom datetime import datetimeimport PyQt5from tki
2020-05-13 14:10:12
1367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人