- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 TensorFlow进一步优化神经网络
在本站的这篇文章《TensorFlow实现简单神经网络》中，我们用TensorFlow实现了对MINST手写数字集的分类，分类的准确率达到了92%，本文中将优化此神经网络，将准确率提升至98%。
2018-11-14 21:12:51
2773
1
原创 TensorFlow实现简单神经网络
在上文（[TensorFlow快速上手](https://qiming.info/TensorFlow快速上手)）中，我们介绍了TensorFlow中的一些基本概念，并实现了一个线性回归的例子。本文我们趁热打铁，接着用TensorFlow实现一下神经网络吧。TensorFlow中的神经网络可以用来实现回归算法和分类算法，本文将分别给出实现这两种算法的代码。除此之外，还将介绍一个TensorFlow中重要且常用的概念——placeholder（占位符），和一个著名的数据集：MINST数据集。
2018-11-10 18:54:09
3611
2
原创 TensorFlow快速上手
TensorFlow是目前很火的一款深度学习框架，其源码是用C++写的，保证了运行速度，其又提供了Python的接口，大大降低了程序猿们学习新语言的成本，所以在深度学习领域广为流行。但是很多人在初学TensorFlow时会觉得有些难以入手，霎时间接触诸如张量、图、会话等概念会有点吃力，所以本文将介绍如何快速入门TensorFlow并上手写代码，一边实践一边理解概念，提升学习速度。
2018-11-06 23:34:54
524
原创 ThoughtWorks校招作业之小型文本预处理器
本文是ThoughtWorks校园招聘的一道作业题，要求做一个小型文本预处理器，题目看似简单，实际做起来还是挺有挑战性的。现在早已经过了Thoughtworks的作业提交时间，所以将此文放出来，如Thoughtworks认为侵权了，可联系本人，本人将删除文章。
2018-10-26 17:07:27
798
原创 Xv6学习小记（二）——多核启动
在上文（Xv6学习小记（一）——编译与运行）中，我们介绍了Linux下编译运行Xv6系统的方式。本文将介绍Xv6是如何多核启动的，涉及到的内容有：Xv6多核启动的大致步骤、Xv6检测CPU个数的方法和Xv6发送中断的方法等。
2018-10-15 12:12:50
3067
原创 Spark ML中Pipeline、特征转换和决策树分类算法的使用
Spark中有关机器学习的库已经在从MLlib往ML逐步迁移了，MLlib库将在Spark 3.0后停止维护，所以我们需要尽快熟悉ML库。在Spark ML库中，核心数据对象由RDD变为了DataFrame，同时，ML库中有一些特征转换的方法，并提供了Pipeline这一工具，可以使用户很方便的将对数据的不同处理组合起来，一次运行，从而是整个机器学习过程变得更加易用、简洁、规范和高效。本文将介绍使用Pipeline对数据进行特征转换后运行决策树分类算法的小例子。
2018-08-16 23:20:36
2668
原创 Spark读取文本文件并转换为DataFrame
Spark ML里的核心API已经换成了DataFrame，为了使读取到的值成为DataFrame类型，我们可以直接使用读取CSV的方式来读取文本文件，可问题来了，当文本文件中每一行的各个数据被不定数目的空格所隔开时，我们无法将这些不定数目的空格当作CSV文件的分隔符，所以只能先将数据读取为rdd，然后用map方法构建元组，再用toDF方法转为DataFrame，但是如果列数很多的话，构建元组会很麻烦。本文将介绍spark读取多列txt文件后动态转成DataFrame的方法。
2018-08-08 23:09:43
22838
3
转载 spark统计每天新增用户数
本文源自一位群友的一道美团面试题，解题思路（基于倒排索引）和代码都是这位大佬（相对于尚处于小白阶段的我）写的，我只是在基于倒排索引的基础上帮忙想出了最后一步思路，感觉这个解题思路不错，值得记录一下。
2018-08-08 14:28:33
1037
原创 Spark中基于神经网络的MLPC(多层感知器分类器)的使用
MLPC(Multilayer Perceptron Classifier)，多层感知器分类器，是一种基于前馈人工神经网络（ANN）的分类器。Spark中目前仅支持此种与神经网络有关的算法，在org.apache.spark.ml中（并非mllib）。本文通过代码来演示用Spark运行MLPC的一个小例子。
2018-08-06 20:10:57
5400
2
原创 Spark MLlib中FPGrowth关联规则算法的使用
FPGrowth（频繁模式增长）是一种关联规则分析算法，本文通过代码演示用spark运行FPGrowth算法的一个小例子。
2018-08-02 18:08:24
1872
原创 浪潮集群上使用Hadoop和Spark
忙活了半天，终于在实验室的浪潮集群中配置好了hadoop和spark，以后能用配置这么高的服务器了，想想就好开心~
2018-08-02 18:05:28
559
原创 Spark MLlib中KMeans聚类算法的使用
KMeans是一种典型的聚类算法，本文通过代码来演示用spark运行KMeans算法的一个小例子。
2018-08-02 18:04:03
818
4
原创 Spark RDD的简单使用
RDD(Resilient Distributed Dataset)即弹性分布式数据集。RDD是Spark的核心，在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值。而在这一切的背后，Spark会自动将RDD中的数据分发到集群上，并将操作并行化执行。RDD的创建创建RDD...
2018-08-02 18:02:14
297
原创 Spark从外部数据集中读取数据
本文将介绍几种从Spark中读取数据存入RDD的方式，分别是 - 从HDFS中读数据 - 从MySQL数据库中读数据 - 从HBase数据库中读数据本文中涉及到的工具版本如下： - Hadoop：2.7.4 - Spark：2.1.1 - HBase：1.2.6 - MySQL：5.7.22 - JDK...
2018-08-02 17:59:53
2331
原创 Spark MLlib中ALS交替最小二乘法推荐算法的使用
ALS(Alternating Least Square)，交替最小二乘法。在机器学习中，特指使用最小二乘法的一种协同推荐算法。本文通过代码来演示用spark运行ALS算法的一个小例子。 算法简介ALS算法通过观察到的所有用户给商品的打分，来推断每个用户的喜好并向用户推荐适合的商品。其原理简单说就是假设用户评分矩阵是用户特征矩阵乘以物品特征矩阵得到的，即：A(m*n)=U(m*k...
2018-08-02 17:55:08
1258
原创 基于Spark的学生成绩分析系统
本文是本人硕士期间云计算课程的一次大作业，所以可能部分内容有充字数的嫌疑，还望各位看官无视。。。但是也正因为此，本文对一些基础概念描述的也挺详细，包括但不限于Spark简介、Spark与Hadoop对比、Spark架构介绍、Pearson相关系数简介、Spark中的combineByKey函数简介等。
2018-07-02 17:33:00
11708
8
原创 Xv6学习小记（一）——编译与运行
Xv6是一个Intel x86平台下的类Unix教学操作系统，最新源码获取地址为https://github.com/mit-pdos/xv6-public 运行xv6可以用qemu和bochs，本文介绍在Ubuntu系统下用qemu运行的方式。本文包括qemu的安装步骤、编译并运行Xv6的步骤、Xv6编译生成物的说明以及使用不同CPU数量运行Xv6系统的方法。
2018-05-18 18:46:44
11191
4
原创 阿里云CentOS下Hexo+Nginx建站过程
讲Hexo建站的有很多，但几乎都是用Hexo和Github||coding.net上搭建的，再加上其中有好多是在Windows版本下的，所以本文可能是国内首个讲在CentOS下使用hexo和nginx服务器搭建网站的教程了，我会写的很详细，如果有哪里不对或没讲明白的欢迎评论！
2018-04-25 17:40:25
6462
10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人