水木小僧

原创 Python3爬取百度图片

# 根据搜索关键词爬取百度图片import reimport requestsimport urllibfrom bs4 import BeautifulSoupimport osimport socketimport sslssl._create_default_https_context = ssl._create_unverified_contextsocket.setd...

原创 CMakeList配置darknet, cuda, opencv笔记

cmake_minimum_required(VERSION 3.14)project(Testopencv)set(CMAKE_CXX_STANDARD 11)# 指定头文件目录include_directories(./)include_directories(/root/darknet/include/)include_directories(/usr/local/incl...

原创 xml格式的图像标注标注文件转换成YOLO所需的txt格式

import osimport xml.etree.ElementTree as ETdirpath = 'G:aug_label_xml/' #原来存放xml文件的目录newdir = 'G:aug_label_yolo/' #修改label后形成的txt目录if not os.path.exists(newdir): os.makedirs(newdir)f...

原创 Win10本地连接Linux服务器上的jupyter notebook

Linux服务器上没有图形界面，调试程序只能vim编辑，很痛苦！暂时没找到合适的编辑器，于是就想着用本地连接到服务器上的jupyter book.1.如果没安装jupyter notebook，先安装，最好直接安装anaconda。安装完之后，先生成配置文件，在xshell里面输入：jupyter notebook --generate-config2.生成密码在xshell...

原创 自适应分段常数近似（ Adaptive Piecewise Constant Approximation，APCA）

Reference：李俊奎. 时间序列相似性问题研究[D]. 华中科技大学. Chakrabarti K , Keogh E , Mehrotra S , et al. Locally adaptive dimensionality reduction for indexing large time series databas...

原创 下界（lower bounding）定理和下界紧密性比较

原创 SAX（Symbolic Aggregate Approximation ）：时间序列的符号化表示（附Python3代码，包括距离计算）

SAX全称 Symbolic Aggregate Approximation， 中文意思是符号近似聚合，简单的说是一种把时间序列进行符号化表示的方法。SAX的基本步骤如下：（1）将原始时间序列规格化，转换成均值为0，标准差为1 的的序列，原论文中解释的原因如下： （2）通过PAA(Piecewise Aggregate Approximatio...

原创 数据清洗总结笔记

1.删除多列def drop_multiple_col(col_names_list, df): ''' AIM -> Drop multiple columns based on their column names INPUT -> List of column names, df OUTPUT -> updated df...

原创 谷歌Colab使用过程遇到的问题总结

1. AttributeError: module ‘PIL.Image’ has no attribute ‘register_extensions搜了一晚上，可能是因为pillow的版本问题，改过来就好了！pip install pillow==4.1.1 

原创 滑动t检验代码（Python）

     最近在做时间序列突变点检测，找了好久发现没有Python的代码，于是跟着公式写了一个，如果有不对的地方，欢迎大家批评指正。代码如下：import numpy as npimport matplotlib.pyplot as pltdef huaT(inputdata): inputdata = np.array(inputdata) n = inputda...

原创 python分块读取大数据，避免内存不足

import pandas as pddef read_data(file_name): ''' file_name:文件地址 ''' inputfile = open(file_name, 'rb') #可打开含有中文的地址 data = pd.read_csv(inputfile, iterator=True) loop = True ...

原创 python list中的元素类型转换与字符串拼接且拼接后保持元素间相对顺序不变

 引子：   今天碰上了个问题：数据中的时间被分开了。我们常见的时间格式是时间列为一列，比如：2018-07-30 14:54。这是一个数据，在excel / csv中占一个单元格。但是今天遇到的数据是年月日和时分秒是分开的，如下图所示，第一列是年月日，第二列是时分秒，最可恶的是时分秒还是int型的。需要把时分秒补全然后转换成时间格式。正文：有一个int型的list，需要按顺序拼接...

原创 机器学习系统模型调优实战--所有调优技术都附相应的scikit-learn实现

https://blog.csdn.net/xlinsist/article/details/51344449机器学习系统模型调优实战--所有调优技术都附相应的scikit-learn实现 

原创 朴素贝叶斯小结

  朴素贝叶斯的思想基础：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。（注：此段来源于：朴素贝叶...

原创 隐马尔可夫模型

这两篇博客讲的比较透彻：隐马尔可夫简单理解下雨天到底要不要打仗？极简图解入门隐马尔可夫模型侵删。

原创 神经网络小结

转载地址：笔记更新网址(视频下载地址公布)：  https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes  DeepLearning.ai 笔记： https://github.com/fengdu78/deeplearning_ai_books  知乎： https://www.zhihu.com/people/fengdu78/activit...

原创 神经网络的反向传播

转载：一文弄懂神经网络中的反向传播转载： 均方误差(MSE)和均方根误差(RMSE)和平均绝对误差(MAE)侵删。

原创 机器学习模型融合

记录几篇模型融合的好文：模型融合方法https://blog.csdn.net/sinat_29819401/article/details/71191219笔记︱集成学习Ensemble Learning与树模型、Bagging 和 Boosting、模型融合https://blog.csdn.net/sinat_26917383/article/details/54667077https://...

转载 正确率、召回率和F值

正确率、召回率和F值是目标的重要评价指标。  正确率 = 正确识别的个体总数 / 识别出的个体总数 召回率 = 正确识别的个体总数 / 测试集中存在的个体总数 F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率)不妨举这样一个例子：某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。Seaeagle撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别...

原创 sklearn中的random_state

很多人都把random_state解释为随机数种子。是不是很懵逼？什么是随机数种子？我也不知道什么是随机数种子。但是，随机数种子是为了保证每次随机的结果都是一样的Example：sklarn可以随机分割训练集和测试集（交叉验证），只需要在代码中引入model_selection.train_test_split就可以了代码：from sklearn import model_selectionx...

原创 python中的axis=0，axis=1

最近关于axis=0，axis=1到底指代是行还是列很困惑。然后搜到了知乎上关于axis的指代问题：https://www.zhihu.com/question/58993137高票回答很棒！  总的来说：   axis的 0轴匹配的是index， 涉及上下运算，跨行；1轴匹配的是columns, 涉及左右运算，跨列。要是理解不了还是悄悄记下来吧：TensorFlow里面的函数tf.nn.soft...

转载 一起读懂传说中的经典：受限玻尔兹曼机

本文摘自机器之心公众号，原文地址：一起读懂传说中的经典：受限玻尔兹曼机    侵删一起读懂传说中的经典：受限玻尔兹曼机2018-05-07 机器之心选自DL4J机器之心编译参与：Nurhachu Null、思源尽管性能没有流行的生成模型好，但受限玻尔兹曼机还是很多读者都希望了解的内容。这不仅是因为深度学习的复兴很大程度上是以它为前锋，同时它那种逐层训练与重构的思想也非常有意思。本文介绍了什么是受限...

原创 TensorFlow的layer层搭建卷积神经网络（CNN），实现手写体数字识别

   目前正在学习使用TensorFlow，看到TensorFlow官方API上有一个调用layer层来搭建卷积神经网络（CNN）的例子，和我们之前调用的nn层的搭建卷积神经网络稍微有点不同。感觉layer层封装性更强，直接输入参数就可以是实现。TensorFlow官方API: TensorFlow官方API参考博客地址：Tensorflow and CNNs 使用tensorflow构建卷积神经...

原创 python3读取图片并灰度化图片的四种方法(OpenCV、PIL.Image、TensorFlow方法)总结

在处理图像的时候经常是读取图片以后把图片转换为灰度图。作为一个刚入坑的小白，我在这篇博客记录了四种处理的方法。首先导入包：import numpy as npimport cv2import tensorflow as tffrom PIL import Image方法一：在使用OpenCV读取图片的同时将图片转换为灰度图： img = cv2.imread(imgfile, cv2....

原创 灰度值总结

灰度是指黑白图像中点的颜色的深度。范围一般在0~255，白色为255，黑色为0，故黑白图像也是灰度图像灰度就是没有色彩，RGB色彩分量全部相等。eg:  一个256级灰度的图象，RGB(100,100,100)就代表灰度为100,RGB(50,50,50)代表灰度为50。 彩色图象的灰度其实在转化为黑白图像后的像素值（是一种广义的提法），转化的方法看应用的领域而定，一般按加权的方法转换，R， G，...

原创 TPOT自动选择机器学习模型和参数--回归示例

前两篇博客写了在anacoda下安装tpot库和使用tpot做分类的例子，这篇是写做回归的例子anacoda下安装tpot库 使用TPOT自动选择scikit-learn机器学习模型和参数--分类示例环境：win10+pycharm+anacoda数据集：sklearn自带的波士顿房价数据集代码：''' 回归，预测波士顿房价 ''' from tpot import TPO...

原创 anacoda下免编译直接通过pip安装xgboost

首先需要去下载xgboost对应的版本，地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost我的是Python3.6+anacoda4，我下载的是：xgboost-0.7-cp36-cp36m-win_amd64.whl。下载完之后打开Anacoda Prompt，输入命令：pip install D:\xgboost-0.7-cp36-cp...

原创 使用TPOT自动选择scikit-learn机器学习模型和参数

声明：原文地址：使用TPOT自动选择scikit-learn机器学习模型和参数，此文是本人学习原文的结果，略有改动。侵删。在上一篇博客中我们在anacoda中安装了tpot: anacoda下安装TPOT库。有需要的可以去看一下。正文：scikit-learn是抽象层次很高的机器学习库，它提供了许多机器学习模型，而每个模型还有很多参数。那么问题来了，我们该怎么选择某个问题最适合使用哪个模型呢？当然...

原创 anacoda下安装TPOT库

tpot主要是用于选择sklearn中的机器学习的模型。sklearn中有许多机器学习的模型，当我们需要选择某一个合适的模型的时候，就可以用tpot帮助我们自动选择合适的模型。更多信息请百度官方文档。我们这里只介绍如何在anacoda下安装tpot库。我使用的环境是anacoda+pycharm，因为不知道anacoda是否有tpot，所以我们先打开Anacoda Prompt查询一下是否已经安装...

转载 特征提取方法: one-hot 和 TF-IDF

这篇博客讲的one-hot 和 TF-IDF很清楚：特征提取方法: one-hot 和 TF-IDF侵删。

原创 Python数据分析之pandas学习的代码部分

以下代码为我在学习《Python数据分析之pandas学习》是所敲的代码。原文章地址：Python数据分析之pandas学习代码如下：#-*- coding: UTF-8 -*-'''Python数据分析之pandas学习博客地址：https://www.cnblogs.com/nxld/p/6058591.html'''import numpy as npimport pandas...

转载 python数据分析(1)-numpy产生随机数

转载文章地址：python数据分析(1)-numpy产生随机数

转载 Python数据分析汇总：numpy与pandas，数据清洗

今天看了Python数据分析之pandas学习，文章很好很详细。原来pandas功能这么强大！Python数据分析之numpy学习python 数据清洗之数据合并、转换、过滤、排序侵删...

原创 EXTJS4种的grid的列编辑

就这个grid的列编辑这东西调试了好久好久，网上的方法几乎试了一遍，最后还是自己一点一点调出来的，有必要记录一下！代码如下:items:[{ xtype:'grid', id:'grid', autoHeight:true, width:500, store:store11,//functionss_upa_store id:...

原创 Python3 爬虫，翻译器

今天学习爬虫，搜到了大神的博客，看大神写的或取到有道翻译的结果挺好的，于是我想着实现一个翻译器，就是在编辑器里面输入待翻译的内容，然后获取到翻译结果以后再编译器里面显示（好啰嗦啊。。。。）代码都是大神博客里的。我用的是pycharm。大神的博客地址： Python3网络爬虫(二)：利用urllib.urlopen向有道翻译发送数据获得翻译结果作为一个爬虫小白，我原以为需要自己伪造请求发给有道，然后...

原创 EXTJS4 定时刷新store

现在定时刷新实现了，代码如下： var judge_store = Ext.create('Ext.data.Store', { id : 'judge_store', model : "judgeModel", //autoLoad : true, remoteSort: true, pageSize:itemsPerPage, proxy : { type : 'ajax',...

原创 Python中函数的可变参数

在Python中可以定义可变参数，就是函数中传入的参数是可变的以下内容摘自廖雪峰官方网站

原创 Python t(1,)的意思

以下内容摘自廖雪峰的官方网站：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/0014316724772904521142196b74a3f8abf93d8e97c6ee6000

原创 EXTJS4 动态隐藏控件

先记一下：首先，要在创建控件的时候给控件加上id然后：隐藏代码如下：Ext.getCmp("控件的id").hidden=true;控件被隐藏后，它所在地位置会被没有隐藏的控件覆盖。。。...

原创 EXTJS4 另一种给textarea赋值的方式

{ xtype:'textarea', readOnly:true,//只读属性 value: [store11.getAt(0).get("name")+"\n"+store11.getAt(0).get("password")+'\n'], width:1000, height:200, id:'single_...