- 博客(55)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 数据分析入门全目录
Jupyter Notebook介绍、安装及使用教程 Python数据分析入门 ROC和AUC介绍以及如何计算AUC 机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率 评分卡模型剖析之一（woe、IV、ROC、信息熵） 评分卡的建立方法——分箱、WOE、IV、分值分配 机器学习之特征工程-特征选择 总结：sklearn机器学习之特征工程...
2018-08-15 12:02:33
619
原创 机器学习入门全目录
pycharm中使用anaconda部署python环境 机器学习：入门方法与学习路径 (附资料) scikit-learn用户指南 机器学习基本数学知识 10 种机器学习算法的要点（附 Python 和 R 代码） Scikit-Learn各算法详细参数速查手册(中文) .机器学习中Bagging和Boosting的区别...
2018-08-15 11:29:37
601
原创 深度学习 入门全目录
零基础入门深度学习 深度学习优化函数详解 深度学习各种概念解析 anaconda安装入门 win10 tensorflow-gpu版安装 官方文档中文版 tensorflow安装、流程，概念和简单代码注释...
2017-12-21 10:01:53
337
原创 Python入门全目录
python规范目录结构 外部入门教程 python3入门教程 python命名规范 python快速入门手册 python兵器图谱（好用工具包） python面向对象（一） python 包和模块 python time datetime dateutil模块使用 Linux环境下非root用户安装Python及相关库 python使用笔记摘要...
2017-12-14 10:16:17
637
1
原创 Rasa中文聊天机器人开发指南(1)：入门篇
注：本系列博客主要是参考https://jiangdg.blog.csdn.net/article/details/104328946的文章，然后记录一下自己使用过程中遇到的坑，没自己原创。Rasa安装pip install rasa 上面这个命令会出现ruamel.yaml的报错，执行下面命令即可pip install rasa --ignore-installed ruamel.yaml安装MITIE和jieba下载的VS并没有带cmake选项，故需要自己下载cmake并安装。使用
2021-11-26 14:43:09
253
原创 相关性分析：Pearson、Kendall、Spearman
在分析特征间相关性时，常使用的方法是pandas.DataFrame.corr：DataFrame.corr(self, method=’pearson’, min_periods=1)其中包含的方法主要为：pearson：Pearson相关系数 kendall：Kendall秩相关系数 Spearman：Spearman等级相关系数目录Pearson相关系数 皮尔逊相关系数的定义 皮尔逊相关系数的数学特性 皮尔逊相关系数的适用范围 皮尔逊相关系数的Python实现
2021-06-10 17:41:16
7065
原创 panda使用教程
import pandas as pdfile_path = "test.csv"df = pd.read_csv(file_path)#index columns dtypes#series#查看数据df.head()df.head(10)df.tail()df.tail(10)#线索索引和列名df.indexdf.columns#列的类型df.dtypes#取一列（也就是series）df.uiddf['uid']#查看统计摘要df.describ
2021-06-08 20:32:40
2064
原创 《特征工程三部曲》之三 维度压缩
1 PCA： 更够保持对方差贡献最大的特征。通过协方差矩阵的特征值分解能给得到数据的主成分，以二维特征为例，两个特征之间可能存在线性关系（例如运动的时速和秒速度），这样就造成了第二维信息是冗余的。PCA的目标是发现这种特征之间的线性关系，并去除。因此PCA本质是一种去相关算法。协方差：度量两个变量的变动的同步程度，也就是度量两个变量的线性相关性，协方差为0代表线性无关。方差是协方差中两个变量相同的时候。1 最近重构性： 样本到这个超平面的距离都足够近2 最大可分性： 样本点到这个超平面...
2021-02-24 15:34:19
265
原创 《特征工程三部曲》之二：特征选择
什么特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。为什么要做特征选择 在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果： 特征个数越多，分析特征、训练模型所需的时间就越长。 特征个数越多，容
2021-02-24 15:32:10
372
原创 《特征工程三部曲》之一：数据处理
要理解特征工程，首先要理解数据（Data）和特征（Feature）的概念概念 特征工程（Feature Engineering） 其本质上是一项工程活动，它目的是最大限度地从原始数据中提取特征以供算法和模型使用。 特征工程在数据挖掘中有举足轻重的位置数据领域一致认为：数据和特征决定了机器学习的上限，而模型和算法只能逼近这个上限而已。 特征工程重要性： 特征越好，灵活性越强； 特征越好，模型越简单； 特征越好，性能越出色； 好
2021-02-24 15:26:37
633
原创 python笔记摘要
（注：主要是用来记录使用过程有用的python知识，只是作为一个笔记，不具有参考价值）1.os和sys模块的区别：os模块主要是针对与操作系统的交互操作，比如查找文件路径os.pathsys模块主要是python这个系统内部的操作，比如获取程序的执行参数sys.argv2.yield、lambda、enumerate、zip、map、reduce使用3.list tuple d...
2019-03-13 16:58:23
207
转载 python迭代器 yield
1.yield ：https://liam.page/2017/06/30/understanding-yield-in-python/2.python os sys区别：https://blog.csdn.net/liu5257/article/details/53740214
2019-01-18 16:30:35
218
转载 Python中的__init__()和__call__()函数
在Python的class中有一些函数往往具有特殊的意义。__init__()和__call__()就是class很有用的两类特殊的函数。__init__()在Python中，__init__()函数的意义等同于类的构造器（同理，__del__()等同于类的析构函数）。因此，__init__()方法的作用是创建一个类的实例。__call__()Python中的函数是一级对象。这意味着P...
2018-12-13 15:17:50
1324
转载 python format 格式化函数
原文地址：http://www.runoob.com/python/att-string-format.htmlPython2.6 开始，新增了一种格式化字符串的函数 str.format()，它增强了字符串格式化的功能。基本语法是通过 {} 和 : 来代替以前的 % 。format 函数可以接受不限个参数，位置可以不按顺序。实例>>>"{} {}".form...
2018-12-12 16:58:52
122
转载 深度学习概念解析
1.激活函数参考文献 Rectified Linear Unit(ReLU) - 用于隐层神经元输出 Sigmoid - 用于隐层神经元输出 tanh-用于隐层神经元输出 Softmax - 用于多分类神经网络输出 Linear - 用于回归神经网络输出（或二分类问题） ReLU函数计算如下： Sigmoid...
2018-11-20 19:30:36
244
转载 Pycharm创建python文件模板
创建.py文件时 顺便自动添加作者、时间、文件名信息……mac系统打开编辑器添加以下代码：#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : ${DATE} ${TIME}# @Author : Shark# @Site : ${SITE}# @File : ${NAME}.py# @So...
2018-08-17 17:22:08
3098
转载 Jupyter Notebook介绍、安装及使用教程
一、什么是Jupyter Notebook？1. 简介Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍简而言之，Jupyter Notebook是以网页的形式打开，可以在网页页面中直接编写代码和运行代码，代码的运行结果也会直接在代码块下显示的程序。如在编程过程中需...
2018-08-15 20:06:17
42571
2
转载 pycharm中使用anaconda部署python环境
今天来说一下python中一个管理包很好用的工具anaconda，可以轻松实现python中各种包的管理。相信大家都会有这种体验，在pycharm也是有包自动搜索和下载的功能，这个我在前面的一篇博客中有相关的介绍（详情请查看点击打开链接），但是这种功能对于一些包是可以使用的，但是总是会遇到有些包下载失败或查询不到的时候，这个时候就会让人很苦恼了。这里我们就来说一下anaconda的好处。 ...
2018-08-15 15:19:41
3045
转载 Python 标准库中 time 和 datetime 的区别与联系
Python 中提供了对时间日期的多种多样的处理方式，主要是在 time 和 datetime 这两个模块里。今天稍微梳理一下这两个模块在使用上的一些区别和联系。time在 Python 文档里，time是归类在Generic Operating System Services中，换句话说， 它提供的功能是更加接近于操作系统层面的。通读文档可知，time 模块是围绕着 Unix Timestamp...
2018-05-11 16:37:42
8899
转载 tensorflow笔记 ：常用函数说明
tensorflow笔记系列： （一） tensorflow笔记：流程，概念和简单代码注释 （二） tensorflow笔记：多层CNN代码分析 （三） tensorflow笔记：多层LSTM代码分析 （四） tensorflow笔记：常用函数说明 （五） tensorflow笔记：模型的保存与训练过程可视化 （六）tensorflow笔记：使用tf来实现word2vec
2018-01-02 00:12:37
204
转载 tensorflow安装、流程，概念和简单代码注释
1.tensorflow的运行流程tensorflow的运行流程主要有2步，分别是构造模型和训练。在构造模型阶段，我们需要构建一个图(Graph)来描述我们的模型。所谓图，也可以理解为流程图，就是将数据的输入->中间处理->输出的过程表示出来，就像下面这样。 注意此时是不会发生实际运算的。而在模型构建完毕以后，会进入训练步骤。此时才会有实际的数据输入，梯度计...
2017-12-21 10:06:28
260
转载 python面向对象（一）
Python 面向对象Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。如果你以前没有接触过面向对象的编程语言，那你可能需要先了解一些面向对象语言的一些基本特征，在头脑里头形成一个基本的面向对象的概念，这样有助于你更容易的学习Python的面向对象编程。接下来我们先来
2017-12-14 15:25:48
504
转载 python 包和模块
Python基础：模块一、概述二、导入语句1、基本语法2、推荐风格三、模块1、模块名2、模块属性3、可导出的公有属性4、直接执行四、包1、包名2、包属性3、可导出的公有属性4、其他五、导入原理1、导入依赖2、导入过程3、更多细节4、sys.path六、重新加载七、相对导入1、导入语句2、导入原理3、直接执行
2017-12-14 10:06:52
305
转载 python命名规范
文件名全小写,可使用下划线包应该是简短的、小写的名字。如果下划线可以改善可读性可以加入。如mypackage。模块与包的规范同。如mymodule。类总是使用首字母大写单词串。如MyClass。内部类可以使用额外的前导下划线。 函数&方法函数名应该为小写，可以用下划线风格单词以增加可读性。如：myfunction，my_example_function。*注意*：混合大小写仅被允许用于这种风格已
2017-12-14 00:33:10
320
转载 Python特殊语法：filter、map、reduce、lambda [转]
Python内置了一些非常有趣但非常有用的函数，充分体现了Python的语言魅力！filter(function, sequence)：对sequence中的item依次执行function(item)，将执行结果为True的item组成一个List/String/Tuple（取决于sequence的类型）返回：>>> def f(x): return x % 2 != 0 and
2017-12-08 14:36:03
184
原创 修改jupyter/ipython notebook 默认工作路径 和显示所有的列
生成配置文件jupyter notebook --generate-config1输出配置文件路径：Writing default config to: /home/username/.jupyter/jupyter_notebook_config.py1编辑生成的配置文件jupyter_notebook_config.pyvim .jupyter/jupyter_no
2017-11-30 17:08:14
319
转载 Makefile中的wildcard用法
在Makefile规则中，通配符会被自动展开。但在变量的定义和函数引用时，通配符将失效。这种情况下如果需要通配符有效，就需要使用函数“wildcard”，它的用法是：$(wildcard PATTERN...) 。在Makefile中，它被展开为已经存在的、使用空格分开的、匹配此模式的所有文件列表。如果不存在任何符合此模式的文件，函数会忽略模式字符并返回空。需要注意的是：这种情况下规则中通配符
2016-05-04 14:49:26
558
转载 Ubuntu下安装numpy and matplotlib
安装numpy相对简单，以下命令可以完成apt-get install python-numpyapt-get install python-scipy-get install python-numpyapt-get install python-scipy 安装matplotlib相对复杂一些需要先安装其依赖的包libpng和freetype安装libpng:sudo...
2016-04-23 23:19:58
445
转载 scikit-learn ubuntu安装
软件工具包获取方式： scikit-learn的官方网站：http://scikit-learn.org (肯能需要科学上网) github网址：https://github.com/scikit-learn/scikit-learnscikit-learn需要依赖：Python (>= 2.6), NumPy (>= 1.3), SciPy (&g...
2016-03-08 16:37:45
2918
转载 Python兵器谱
曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后，第一个作品课程图谱也是选择了Python系的Flask框架，渐渐的将自己的绝大部分工作交给了Python。这些年来，接触和使用了很多Python工具包，特别是在文本处理，科学计算，机器学习和数据挖掘领域，有很多很多优秀的Py
2015-10-29 11:20:00
501
转载 python性能鸡汤
阅读 Zen of Python,在Python解析器中输入 import this. 一个犀利的Python新手可能会注意到"解析"一词, 认为Python不过是另一门脚本语言. "它肯定很慢!" 毫无疑问:Python程序没有编译型语言高效快速. 甚至Python拥护者们会告诉你Python不适合这些领域. 然而,YouTube已用Python服务于每小时4千万视频的请求. 你
2015-10-29 10:23:58
582
转载 python yield
# example 1.1def func(): return 1def gen(): yield 1print(type( func )) # print(type( gen )) # print(type( func() )) # print(type( gen() )) # 从例 1.1 可以看到，func和gen都是函数， 但前者返回数字 1，
2015-10-27 16:57:53
342
转载 python property
@property 可以将python定义的函数“当做”属性访问，从而提供更加友好访问方式，但是有时候setter/getter也是需要的假设定义了一个类Cls，该类必须继承自object类，有一私有变量__x1. 第一种使用属性的方法：[python] view plaincopyprint?#!/usr/bin/env pyt
2015-10-26 19:23:25
384
转载 Python模块和包
一、Python程序的结构Python的程序由包（package）、模块（module）和函数组成。包是由一系列模块组成的集合。模块是处理某一类问题的函数和类的集合。如下图所示：包就是一个完成特定任务的工具箱，Python提供了许多有用的工具包，如字符串处理、图形用户接口、Web应用、图形图像处理等。这些自带的工具包和模块安装在Python的安装目录下的Lib子目录中。
2015-10-26 16:39:22
462
转载 Python偏函数
return int(x, base)这样，我们转换二进制就非常方便了：>>> int2('1000000')64>>> int2('1010101')85functools.partial就是帮助我们创建一个偏函数的，不需要我们自己定义int2()，可以直接使用下面的代码创建一个新的函数int2：>>> import functools>>> int2 = f
2015-10-26 15:34:24
328
转载 python装饰器
由于函数也是一个对象，而且函数对象可以被赋值给变量，所以，通过变量也能调用该函数。>>> def now():... print('2015-3-25')...>>> f = now>>> f()2015-3-25函数对象有一个__name__属性，可以拿到函数的名字：>>> now.__name__'now'>>> f.__name__'now'
2015-10-26 15:25:26
303
转载 Python生成器
通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不断推算出后续的元素呢？这样就不必创建完整的list，从而节省大量的空间。在Python中，这种
2015-10-23 17:17:11
593
转载 Google C++ 命名规范
1.文件命名规则 文件名全部小写，可以含下划线或连字符，按项目约定命名,且尽量保证文件名明确。比如：cmd_save_player_info_class.cc my_use_full_class.cc 定义类的文件名一般是成对出现，如：foo_bar.h foo_bar.cc 若是类中含大量内联函数，我们还可使用-ini.h
2015-10-22 15:12:06
549
转载 python中super出现的TypeError: must be type, not classobj 原因及解决
示例如下[python] view plaincopyclass A(): def __init__(self):pass class B(A): def __init__(self): super(A, self).__init__() 调用B创建对象时出现错误
2015-10-21 19:52:29
3565
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人