- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 网络爬虫 爬取心血管数据
# ! /usr/bin/python# -*- coding: utf8 -*-# @Time : 2019/10/23 # @Author : zhangimport requestsfrom urllib.request import urlopenfrom bs4 import BeautifulSoupimport osdef parameters(path...
2019-10-23 15:38:51
534
原创 数据挖掘之数据清洗（缺失值，异常值）
下载数据网站：https://www.kaggle.com/c/airbnb-recruiting-new-user-bookings/data下载最下面的文件清洗工具，pandas清洗内容：日期转换，缺失值处理，异常值处理数据可视化：seaborn用pandas总结：这是在python中的全部程序import pandas as pd #载入pandas...
2019-09-30 11:24:58
2839
原创 数据挖掘之爬虫获取网页信息
加载 urllibimport urllib.request as urlrequestid_list=[26387939,11803087,20451290]for i in id_list: url_visit='https://movie.douban.com/subject/{}'.format(i) crawl_content=urlrequest.urlope...
2019-09-27 20:15:01
729
原创 常见的损失函数，代价函数以及优化算法汇总
在机器学习和深度学习中，我们通常会需要掌握三个步骤就可以完成了，拿起数据（特征），搭上模型（目标函数，损失函数，代价函数）,不断优化（优化函数-梯度下降，adam，动量-找到最优的W），就可以完成了1. 损失函数、代价函数与目标函数损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的...
2019-07-17 15:33:40
4574
原创 机器翻译以及注意力机制
注意力机制就是让计算机模拟人类大脑，在看东西的时候，将注意力集中在比较感兴趣的物体上。1. 引入注意力机制的目的：1、计算能力的限制：越复杂的模型才能记住更多的信息，但是当前计算能力依然是限制人工神经网络发展的瓶颈2、优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但是，信息“记忆”能力并不高2. 按照...
2019-05-27 20:30:46
1313
原创 WARNING:tensorflow:Variable *= will be deprecated.
WARNING:tensorflow:Variable *= will be deprecated. Use variable.assign_mul if you want assignment to the variable value or ‘x = x * y’ if you want a new python Tensor object.出现这个提醒是因为keras版本不对，当我把ker...
2019-04-11 20:54:39
1050
原创 线性回归逻辑回归以及梯度下降算法讲解
量线性回归指只含有一个特征/输入变量x单变量线性回归表示方法：单变量的代价函数J（均方误差）：我们现在用数学公式总结一下我们的问题，即我们的目的是找到合适的θ0，θ1使得代价函数最小，这时候我们列出所有的θ0，θ1 对应的J值，得到一个三维空间图。或者得到这种二维空间图在实际的求Loss最小值中，不可能像我们看到的三维图或者二维图那么直观，我的理解是可能有很多的山组合到一起，...
2019-04-11 16:17:27
3627
原创 win10安装cuda+cudnn+python+tensorflow-gpu+pycharm踩坑系列详细讲解
本来之前是在win7系统装的python，后来一直报错就果断装了win10系统。python反复安装了很多次，有时候安装过程中因为版本的原因会出现很多问题。我这里的版本是cuda9.0+cudnn7.2+python3.0+tensorflow-gpu==1.121、下载cuda并安装2、下载cudnn并安装3、下载python并安装4、pip install tensorflow-gp...
2019-04-10 13:37:48
3678
原创 报"ImportError: DLL load failed: 找不到指定的模块"的解决办法（2）
前不久我用python输入 import scipy.io as scio，报错：无法启动报"ImportError: DLL load failed: 找不到指定的模块"的解决办法，这个问题解决了，没想到又出现了同一个类似的错误。########################################################当我import keras 或者 import t...
2019-04-09 17:52:53
138989
18
原创 安装cuda 报错nvcc fatal : Cannot find compiler 'cl.exe' in PATH
当我安装好了cuda之后，查看cuda是否安装成功，输入：nvcc -V就会报错：nvcc fatal : Cannot find compiler ‘cl.exe’ in PATH我在这里安装的是Visual Studio 2015，报错原因就是找不到VS中的cl.exe文件。一般cl.exe的地址是在：你安装的Visual Studio \VS\VC\bin\amd64里面，如果是默认安...
2019-04-04 14:49:06
39211
5
原创 K-means聚类算法之程序实现-3维像素级分割
最近看了k-means算法，网上这个算法很多都是用来分割二维图片的，所以想尝试用这个算法做一下三维图片的分割。那么我们先来介绍一下二维图片的分割：原理是这样的，我们把二维图片中的每一个像素点的值作为一个特征值，如果是彩色图片，那么一个像素点就可以由3个特征值组成，因为有三个颜色通道。代码：from scipy.cluster.vq import *from scipy.misc impo...
2019-04-04 11:22:00
2379
原创 常见分布总结-高斯分布、伯努利分布、泊松分布、几何分布、beta分布
概率分布概率分布是指用于表述随机变量取值的概率规律，包括连续分布和离散分布。下面作了这些概率分布的一个思维导图。文章目录概率分布1、离散概率分布1.1、两点分布2.2、 二项分布1.3、几何分布1.4、超几何分布1.5、泊松分布2、连续概率分布2.1、均匀分布2.2、正太分布2.3、beta分布2.4、柯西分布3、参考资料概率分布1、离散概率分布1.1、两点分布意义：指的是一次实...
2019-04-01 17:53:05
16392
2
原创 An unhandled win32 exception occurred in python.exe
1、安装python出现了下图中的问题，同时登录qq也确实一个应用扩展程序点击调试程序，报以下错误qq也不能登录了解决方法： 安装Visual Studio，我安装的是2017版本的。安装的时候会说缺少.net一个组件，根据提示去下载好了。2、安装好了Visual Studio，qq可以登录了，继续运行python，接着出现了一下问题。32位处理异常。在网上搜到解决办法，尝试了...
2019-03-31 16:48:13
8882
2
原创 k-means聚类算法总结
最近看了聚类算法，所以根据自己的理解写了一个思维导图。同时也自己根据书中的代码写了k-means算法的程序，可以点这里
2019-03-31 16:07:06
999
原创 聚类算法之k-means算法程序实现
最近看了一下聚类算法，然后根据书上的代码实现了用k-mean分类鸢尾花数据集。书中的算法：from sklearn.datasets import load_irisimport pdbimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitimport randomimp...
2019-03-29 21:20:09
1951
原创 报"ImportError: DLL load failed: 找不到指定的模块"的解决办法
import scipy.io as sciofeat = scio.loadmat(datapath)当我运行以下程序的时候，一直报错说：无法启动报"ImportError: DLL load failed: 找不到指定的模块"的解决办法###############################################解决办法：先pip uninstall scipy ...
2019-03-29 14:05:37
9125
1
原创 机器学习之SVM支持向量机
机器学习之SVM支持向量机SVM是由模式识别中广义肖像算法发展而来的分类器。支持向量的概念在二十世纪六十年代就已经出现，但支持向量机在1995年才正式发表，并由于在文本分类任务中性能卓越，随后就开始大火大火啦——直到2012年深度学习神经网络的发展才将这团火给慢慢扑灭，当然目前应用它的地方还是挺多的。所有呢，支持向量机是机器学习中比较重要的算法，也是面试中会常被问到的问题。支持向量机包括：线...
2019-03-21 17:20:07
1226
原创 机器学习之XGboost代码实现
XGboost代码实现XGboost的原生语言是c++，所以它的运行速度比较快。这里将会举例介绍一下python中如何调用XGboost，如果想了解XGboost的理论部分，可以参考这篇博客首先要安装XGboost库pip install XGboost数据集：以鸢尾花数据集为例例1# /usr/bin/python# -*- encoding:utf-8 -*-from sk...
2019-03-18 14:18:57
11757
2
原创 机器学习之adaboost代码实现
本博客主要实现adaboost算法依据以下数据集，如果关于adaboost算法有一些理论知识还不是很明白的，可以参考一下这篇博客程序是我自己根据公式编写的，如果有错误的地方欢迎指正。目前感觉代码能力很一般，以后还会进一步对这个程序进行修改。采用机器学习书中的算法步骤：第一步：定义标签和数据集def dataset():data=[0,1,2,3,4,5,6,7,8,9]label...
2019-03-13 19:15:31
1744
原创 机器学习之集成学习1
文章目录1、boosting算法1.1Adaboost算法1.2GB（ Gradient boosting）算法1.3GBDT梯度提升决策树1.4XGboost1.5、Adaboost、GB、GBDT与XGBoost几种算法的比较2、bagging算法3、随机森林(Random Forest,RF)4 问题4.1GBDT和随机森林比较4.2分类树和回归树的区别##集成学习：最直白的理解：人多...
2019-03-12 19:04:17
1199
原创 Python-微信群消息重要信息通知
微信群消息重要信息通知最近在网上找了一个微信内部优惠群，但是里面发送的信息很多，大部分优惠商品都是我不想要的。于是就用python写了一个简单的程序，将对我感兴趣的内容发送到我文件传输助手内部群消息是这样的：实现起来非常简单首先我需要用到python的一个关于微信的工具包，itchatimport itchatfrom itchat.content import TEXTl...
2019-03-08 12:16:05
3775
2
原创 机器学习算法--决策树与随机森林
决策树的算法比较简单主要分为以下部分：一、决策树基本概率以及计算（ID3）1、决策树定义决策树(Decision Tree),又称为判定树, 是一种以树结构(包括二叉树和多叉树)形式表达的预测分析模型。比如我们会问‘今天出去玩吗’，那么室外的温度，天气都会影响我们做决策的过程，如果‘温度适中’，我们就再看‘天气如何’。决策树学习的目地：产生一颗泛化能力强，处理未见示例强的决策树2、决策...
2019-02-28 17:05:51
515
原创 机器学习实战之k近邻算法
k近邻算法：求两者的距离：即测试集和每个有标签的训练集求距离，将训练集得出的距离排序，取前面k个，那k个中哪个标签序列最多，就划分为那一类。比如：训练集是二维数组[1.0,1.1],[1.0,1.0],[0.1,0],[0,0.1]标签 labels=[‘A’,‘A’,‘B’,‘B’]测试集[0.2,0.1]k=3首先计算测试集和训练集之间的距离点[0.2,0.1]与[1...
2019-02-26 19:49:00
269
原创 判断链表是否回文结构（c++）
这是一道基础的链表知识，判断链表是否回文结构。在这里我使用了快慢指针法。慢指针：P1每次走一步 P1->next快指针：P1每次走两步 P1->next->next主要想法：当P2走到末尾时，P1只走了整个行程的一半，只要将剩下部分逆序就可以进行判断了当P2为空时，P1刚好走到了中间的位置，程序如下ListNode* P1=A;ListNode* P2=...
2019-02-22 11:27:50
556
原创 链表知识（c语言）
最近在为找工作面试做准备，打算补一补数据结构方面的知识。链表种类：单向链表、单向循环链表、双向链表、双向循环链表链表的结构： data（数据）next（下一个节点的地址）基本知识：1、head：指向第一个节点2、tail：指向最后一个节点3、链表的最后一个节点的next总是为空C/C++：采用”指针+结构体“来实现链表python...
2019-02-22 10:23:24
830
原创 ADNI数据集下载（详细）
刚刚接触到这个数据集的时候比较头疼，用了好长的时间才把下载过程和预处理过程弄明白。需要发送电子邮件给官方平台，收到回信后才能够下载到数据集。1、ADNI账号注册第一步：搜索百度打开ADNI第二步，点击ADTA&SAMPLES第三步：一直将鼠标往下拉点击ADNI，进入里面填写信息。需要填写的信息还是挺多的，耐心填写，再等到邮件回复就可以了2、ADNI数据集下载登录申请的邮...
2019-02-20 10:12:31
26421
103
翻译 Ensemble of 3D densely connected convolutional network
Ensemble of 3D densely connected convolutional network for diagnosis of mild cognitive impairment and Alzheimer’s disease集合3Ddensenet在轻度认知障碍和阿尔茨海默病诊断中的应用发表时间：2019年 发表期刊：Neurocomputing论文主要思想以及...
2019-02-19 17:08:50
603
翻译 Tell Me Where to Look: Guided Attention Inference Network
Tell Me Where to Look: Guided Attention Inference Network-------告诉我看向哪里：引导注意推理网络 （收录于CVPR-2018），论文是依据于Ramprasaath R. Selvaraju的Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Loca...
2019-02-19 15:42:32
905
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人