yyxyyx10-CSDN博客

原创 Windows下Anaconda安装pyspark

可能大多数人和我一一样，使用笔记本，一般是windows系统，但想学习spark，不想装Linux或虚拟机，其实windows也可以直接用spark，然后百度查询出很多spark在windows安装的教程，绝大多数是先让安装Java，然后是scala，接着是spark，最后还有Hadoop，还要注意Java和scala的版本兼容问题，还要注意scala与spark版本兼容问题，还要注意...

2019-07-05 17:23:52 5976 6

搜索了网上一堆的资料，python35版本的xgboost很简单，直接下载xgb的whl文件，但是python27的xgboost没有这个文件，于是就有了很多需要Git、mingw上编译xgboost的教程，很复杂，而且中间容易出错，终于找到一个简单一些的教程，拿别人编译好的版本。链接在此：http://blog.csdn.net/xizero00/article/details/73008330

2018-01-11 15:22:45 394

原创 Tensorflow的应用（五）

本小节主要是构建卷积神经网络，本小节构建的卷积网络过程如下：原图片->第一层非线性卷积->第一层池化->第二层非线性卷积->第二层池化->第一层全连接->第二层全连接代码如下所示，上面有注释，就不详细再解释。import tensorflow as tffrom tensorflow.examples.tutorials.mnist import

2017-12-09 19:34:32 452

原创 Tensorflow的应用（四）

这一节主要介绍Tensorflow的可视化工具Tensorboard，主要还是通过代码进行解释。1、

2017-12-02 21:54:26 3860 1

原创 Windows下TensorFlow的安装

突然想记一下windows下tensorflow的安装，因为我之前在windows下装tensorflow安装了很久都没成功，就去ubuntu下安装使用了，但是ubuntu系统使用不是很方便，还是想再试试在window下安装tensorflow，结果成功了，以下我记录一下我安装的过程。首先声明以下，在window系统只能是python3才能装tensorflow，Py2不可以，但

2017-12-02 15:18:33 464

原创 Tensorflow的应用（三）

主要是两部分内容：代价函数和优化器一、代价函数1、二次代价函数二次代价函数计算公式如下：其中，其中， C表示代价函数，x表示样本， y表示实际值，表示实际值，表示实际值， a表示输出值，表示输出值， n表示样本的总数。为简单起见表示样本的总数。为简单起见表示样本的总数。为简单起见表示样本

2017-12-01 20:22:40 632

原创 Tensorflow的应用(二)

1、简单神经网络实现线性回归import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltx_data=np.linspace(-0.5,0.5,200)[:,np.newaxis]#numpy生成200个在-0.5和0.5之间的随机数noise=np.random.normal(0,0.02,x_dat

2017-11-28 22:22:25 279

原创 Tensorflow的应用(一)

Tensorflow的安装就不介绍了，我在ubuntu安装的，还是蛮容易的，windows可能会复杂一些。网上有比较多的安装教程，这里就不介绍了。关于tf的使用主要是通过代码解释每一个知识点。在进行正式编辑tf代码前，先了解tf的几个概念。（1）使用图（graphs）来表示计算任务在被称之为会话（Session）的上下文（context）中执

2017-11-28 17:37:58 552

原创 SAS学习笔记（四）

这次课的主要内容是按格式format输出或读入，及SAS与数据库的链接。主要通过例子说明过程的用法，这样会比较容易理解。1、sort排序过程Libname mylib "C:\saslx";DATA mylib.SCORE;/*data步先插入一部分数据*/INPUT NUM $ S1-S3 @@;CLAS=SUBSTR(num, 3,2); /* 用SUBSTR函数从NUM中

2017-11-26 15:57:46 800 2

原创 SAS学习笔记（三）

本次课主要学习一些简单的数据处理，包括以下几个方面：目的：对数据集中的数据进行预处理，使数据更适合统计分析过程对数据格式的要求常见整理需求：建立新的变量，删除某些原变量求子集矩阵或数组变换（例如转置）排序分组数据集连接数据集合并写入文件1、用赋值语句建立衍生的新变量DATA a;INPUT x y @@;z=x+y ;y=y+1;

2017-11-19 16:57:28 1425

原创 SAS学习笔记（二）

本次课主要总结以下语句的使用：DATAINPUTDATALINES(CARDS)和DATALINES4LENGTHLABELLOSTCARDINFORMAT/FORMATMISSINGOPTIONS1、data格式：DATA 常用选项：label=为数据集提供标记；DROP=列出不包括在数据集中的变量缺省逻辑库为WORK，临时逻辑库，

2017-11-11 15:32:22 1988

原创 SAS学习笔记（一）

SAS体系介绍本课程大纲：1、SAS安装2、SAS语言的基本概念及例子1、SAS安装 SAS的安装比较麻烦，因为网上比较难找到破解版，我花了很大功夫才找到的链接，现在也分享给大家：http://pan.baidu.com/s/1qYHTbkS，链接里有安装教程及安装包，按照上面的教程一步步进行就可以成功安装了。2、SAS语言的基本概念及举例（1）S

2017-10-30 18:46:26 11555 4

原创基于Python的Kaggle案例分析（一）

预测来自电子商务站点的搜索结果的准确性案例大纲：1、案例背景2、数据预处理3、特征工程4、模型实现1、案例背景目前，小型在线企业没有很好的方法来评估其搜索算法的性能，使得他们难以提供卓越的客户体验。这个比赛的目的是创建一个可以用来衡量搜索结果相关性的开源模型，要求评估搜索算法准确性。训练数据属性包括： -----

2017-10-24 16:41:45 5228

原创基于R语言的Kaggle案例分析学习笔记（九）

手写图片识别本案例大纲1、卷积神经网络的介绍2、案例背景3、R语言实现1、卷积神经网络的介绍针对黑白图片：1）局部链接如上图所示，图片是由像素组成，而像素又是由很多数字组成，最左边的方框是4*4的像素图片，展开成那条橙黄色的长度的为16的向量，以4个像素为一个单位，映射到隐藏层的一个神经元，每个像素映射都有权重，每个

2017-10-22 09:16:09 2739

原创基于R语言的Kaggle案例分析学习笔记（八）

法国巴黎银行 Cardif Cardif Cardif索赔管理本案例大纲1、集成算法bagging与boosting2、data.table包的补充讲解3、xgboost算法案例应用1、集成算法bagging与boosting（1）bagging算法： bagging算法首先从原始数据集里面进行随机重

2017-10-21 19:13:05 1514

原创基于R语言的Kaggle案例分析学习笔记（七）

NLP本案例大纲：1、分词函数简介2、绘制词云-----以红楼梦为例3、情感分析-----美国选举辩论文本为例4、代码展示1、分词函数简介 segmentCN(x,nosymbol,nature)为分词函数，其中x为需要分词的文本，nosymbol表示输出标点符号，nature表示输出拼音。 segment.options("isNameRe

2017-10-21 16:16:46 1996

原创基于R语言的Kaggle案例分析学习笔记（六）

可视化本案例的大纲：1、统计类型的可视化----以共享自行车的租用为例2、地理可视化-----旧金山犯罪事件3、美国干旱情况4、代码示例1、统计类型的可视化----以共享自行车的租用为例主要构建散点图，不同时间段的不同温度下的租车数。2、旧金山犯罪人数地理可视化将各个类型的犯罪人数可视化到各个地区，主要用到ggm

2017-10-21 14:44:37 1994

原创基于R语言的Kaggle案例分析学习笔记（五）

本案例大纲：1、xgboost理论介绍2、R语言中xgboost相关函数的参数调参3、案例背景4、数据预处理5、R语言的xgb模型实现代码1、xgboost理论介绍这部分我直接把一些牛人写的关于xgb的理论介绍引用过来了，大家可以直接看以下博客链接资料，既有原理介绍又有代码的函数参数介绍： http://blog.csdn.net/sb1993

2017-10-15 11:22:07 3399

原创基于R语言的Kaggle案例分析学习笔记（四）

本案例的大纲：1、介绍数据背景2、缺失值处理3、特征选择4、代码示例房价预测本案例的主要目的是缺失值处理和特征选择，而不是模型，所以大纲有所改变。1、介绍数据背景。根据与房子相关的属性数据，对房价进行预测。其相关属性数据如下：英文指标英文解释中文解释S

2017-10-15 09:48:29 5259

原创基于R语言的Kaggle案例分析学习笔记（三）

Kaggle案例分析的主要步骤如下： 1、了解题目背景 2、特征工程 3、模型选择 4、基于R实现模型旧金山犯罪类型1、了解背景洛杉矶警方给了我们十多年的犯罪记录数据，我们需要根据这些数据预测犯罪类型，警方知道犯罪类型以后，可以更好地应对突发事件，针对性地采取措施。本次案例的主要目的有如下几点：(1) 预

2017-10-14 13:18:24 2673

原创基于R语言的Kaggle案例分析学习笔记（二）

Kaggle案例分析的主要步骤如下： 1、了解题目背景 2、描述性分析 3、特征工程 4、模型选择 5、基于R实现模型共享自行车需求预测1、题目背景及要求题目背景：大红色的“首都自行车共享”，2013年11月开始，出现在美国首都华盛顿哥伦比亚，设立了一百多个无人看管的自行车出租点。政府积极

2017-10-13 14:34:00 7575 3

原创基于R语言的Kaggle案例分析学习笔记（一）

Kaggle案例分析的主要步骤如下： 1、了解题目背景 2、特征工程 3、模型选择 4、基于R实现模型泰坦尼克号沉船事件1、了解题

2017-10-13 10:43:01 6241 3

原创 python进行中文文本聚类实例（TFIDF计算、词袋构建）

花了好几天时间学习了文本聚类，以下记录一下这次的学习，也整理了一些这方面的资料，和大家分享一下，一起交流学习，进步在于不断总结和分享以及相互交流。文本聚类就是把相似的文档聚集成一簇，通过把文本转换成数值进行聚类，主要分为两个部分，第一个是构建词袋，也就是TF-IDF矩阵，也叫作文档词频矩阵，这个矩阵的每行是一篇文档，每列是一个词，矩阵的某个值代表该词在某篇文档的TF-IDF权重，就是把文档中的每个

2017-03-25 22:48:45 23386 9

原创 python进行中文分词、词性标注、词频统计

df的部分数据如下： A B 0 乐视招聘自动化测试工程师负责超级电视设备的自动化方案设计自动化测试与工具开发根据项目特点研究… 转正后全员持股年底奖金各种补助等 1 负责端产品网页以及的交互设计并对产品最终的用户体验负责参与用户研究及产品需求制定的整个过程提…

2017-03-24 11:51:27 12090 1

转载转发： python进行中文文本聚类（切词以及Kmeans聚类）

中文文本聚类（切词以及Kmeans聚类） <div class="article_manage clearfix"> <div class="article_l"> <span class="link_categories"> 标签： <a href="http://www.csd

2017-03-19 16:06:26 14777 3

原创 python进行删除标点符号

text=u'''职位描述乐视招聘android自动化测试工程师岗位职责:1、负责android超级电视TV设备的自动化方案设计、自动化测试与工具开发； 2、根据项目特点研究稳定性测试技术,完成相关工具的开发以及测试；技能要求:1、有移动终端自动化工具架构设计与开发者优先,熟悉Android自动化工具Uiautomator、Monkey、MonkeyRunner 2、有实际用过JAVA/Py

2017-03-19 11:13:20 7375

转载转载： Python--详解Python中re.sub 作者：Mrzhoug

给出定义：re.sub(pattern, repl, string, count=0, flags=0)Return the string obtained by replacing the leftmost non-overlapping occurrences of pattern in string by the replacement repl. If the pattern isn’t f

2017-03-19 11:11:53 361

原创安装MySQL5.7版本遇到的问题及解决办法

我装了很多次MySQL，每次都有很多问题，现在我总结一下我遇到的问题。MySQL5.7版本比较新，所以书上或者网上有些安装方法不适合，主要是安装路径修改的位置找不到，新版的MySQL在选择product时，选择了MySQL Server 以后（就是从左边框选到右边框以后），点击在右边的MySQL Server，就会在右下角出现Advance option按钮，点击就可以修改安装路径和数据存储路径了

2017-03-18 09:53:30 967

转载转载： MySQL5.7更改密码时出现ERROR 1054 (42S22): Unknown column 'password' in 'field list' 作者是剑侠365

新安装的MySQL5.7，登录时提示密码错误，安装的时候并没有更改密码，后来通过免密码登录的方式更改密码，输入update mysql.user set password=password(‘root’) where user=’root’时提示ERROR 1054 (42S22): Unknown column ‘password’ in ‘field list’，原来是mysql数据库下已经没

2017-03-18 09:52:27 631

转载转载：mysql 5.7.10 安装配置方法图文教程——来自脚本之家网，作者是汤高

mysql 5.7.10 安装配置方法图文教程作者：汤高字体：[增加减小] 类型：转载时间：2016-06-22 我要评论这篇文章主要为大家分享了mysql 5.7.10 安装配置方法图文教程，感兴趣的小伙伴们可以参考一下 <div id="content">MySQL5.7.10下载及安装及配置一

2017-03-18 09:47:10 753

原创 python的中文文本挖掘库snownlp进行购物评论文本情感分析实例

昨晚上发现了snownlp这个库，欣喜若狂。先说说我这么开心的原因。我本科毕业设计做的是文本挖掘，用R语言做的，发现R语言对文本处理特别不友好，没有很多强大的库，特别是针对中文文本的，加上那时候还没有学机器学习算法。所以很头疼，后来不得已用了一个可视化的软件RostCM，但是一般可视化软件最大的缺点是无法调参，很死板，准确率并不高。现在研一，机器学习算法学完以后，又想起来要继续学习文本挖掘了。所以

2017-03-16 17:11:01 57939 20

原创 Anaconda安装出现的问题及解决心得

网上关于Anaconda的安装教程已经很多，我在安装过程中遇到了很多疑问，但在都百度不到解决方法，查到的都是如何安装，所以有必要写一篇博客来记录一下，希望能帮助和我一样的伙伴。我初次安装Anaconda的时候，安装完成以后会在电脑的开始菜单看到一个Anaconda的安装文件夹，后来因为某种原因卸载了，重新安装，发现开始菜单没有那个Anaconda文件夹了。按照

2017-02-25 16:01:42 55357 5

yyxyyx10的博客