- 博客(7)
- 收藏
- 关注
原创 小白ubuntu 安装spark及安装过程中中遇到的问题
对于ubuntu的安装网上有很多教程,列出我自己参考的1、Ubuntu 16.04 Spark单机环境搭建但是最后那块sbt的安装貌似路径写的有问题,路径可以参考22、Linux安装sbt过程详解2中的sbt文件中内容有一个错字,少一个S,此处参考1最后对于查看sbt 的版本上述两篇都是老版本的方法,新版本已经不支持新版本的版本方法参考stackoverflow中的一个回答https...
2018-09-21 16:38:18 443
原创 贝叶斯(Bayes)决策理论
贝叶斯决策 有两种常用情况 1 最小错误率贝叶斯决策 2 最小风险的贝叶斯决策 关于这两种决策,这篇博文中讲的很好也很详细 墙裂推荐 https://blog.csdn.net/songzitea/article/details/23131609但是博文中最后提到的 在限定一类错误率条件下使另一类错误率为最小的两类别决策 有点复杂,特此写下读书笔记,以防忘记。文中 引用拉格...
2018-09-13 16:15:17 410
转载 Octave 学习笔记
Octave 一些基础命令 eye(4)创建4阶单位矩阵 zeros(1,2)创建1*2 矩阵,数值全为0 ones(2,3)创建2*3矩阵,数值全为1 size(A)获取A的行 列 length(A)获取A 行和列中较大的数 flipud(A)将A上下翻转,即最后一行变为第一行,以此类推 pinv(A) 求逆 A’求转置可视化 clf 删除图片 plot(x,y)画横...
2018-09-13 15:17:25 224
转载 ZooKeeper
Zookeeper简介 Zookeeper是一个分布式数据一致性的解决方案,分布式应用可以基于它实现诸如数据发布/订阅,负载均衡,命名服务,分布式协调/通知,集群管理,Master选举,分布式锁和分布式队列等功能。Zookeeper致力于提供一个高性能、高可用、且具有严格的顺序访问控制能力的分布式协调系统。 考虑到Zookeeper主要操作数据的状态,为了保证状态的一致性,Zookeeper提...
2018-09-11 21:56:59 132
原创 信息熵
在决策树算法中,看到信息增益的概念,因此需要了解信息熵。 谈到信息熵,必须了解上一个概念,信息量。 信息量 I(x)= -log2(p(x)) 信息量为一个确定的事情所包含的信息量,针对的事情是确定的,例如我有一个特异功能,就是预知未来,现在面前有一个苹果,最开始我不知道他是不是甜的,只知道它是甜的的概率是50%,之后我通过预知能力确认了这个苹果是甜的,那么我的预知能力带给我的信息量就是I...
2018-08-19 15:45:38 1018
转载 Python 中的sklearn库填补缺失值问题
利用Python学习ML时,了解到需要对数据中的缺失值进行处理,否则无法直接利用sklearn进行训练,缺失值得处理需要用到sklearn.preprocessing中的imputer库。 首先需要说明的是,numpy的数组中可以使用np.nan/np.NaN(Not A Number)来代替缺失值,对于数组中是否存在nan可以使用np.isnan()来判定。 使用type(np.nan)或者...
2018-08-08 18:25:54 3829 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人