- 博客(73)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 关联规则、支持度（support）、置信度（confidence）、并运用Spark RDD计算
转载请标明出处：小帆的帆的专栏例子： 总共有10000个消费者购买了商品， 其中购买尿布的有1000人， 购买啤酒的有2000人， 购买面包的有500人， 同时购买尿布和啤酒的有800人， 同时购买尿布的面包的有100人。关联规则关联规则：用于表示数据内隐含的关联性，例如：购买尿布的人往往会购买啤酒。支持度（support）支持度：{X, Y}同时出现的概率，例如：{尿布，啤酒}同时出现
2016-06-17 11:37:50
79692
1
原创 结合源码分析Spark中的Accuracy(准确率), Precision(精确率), 和F1-Measure
转载请标明出处：小帆的帆的专栏例子某大学一个系，总共100人，其中男90人，女10人，现在根据每个人的特征，预测性别Accuracy(准确率)Accuracy=预测正确的数量需要预测的总数 Accuracy = {预测正确的数量 \over 需要预测的总数} 计算由于我知道男生远多于女生，所以我完全无视特征，直接预测所有人都是男生 我预测所的人都是男生，而实际有90个男生，所以 预测正确的数量
2016-06-16 09:44:39
20662
2
原创 结合Spark源码分析, combineByKey, aggregateByKey, foldByKey, reduceByKey
combineByKeydef combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)] = self.withScope {combineByKeyWithClassTag(createCombiner, mergeValue,
2016-06-16 09:42:03
8156
4
原创 Spark join和cogroup算子
join下面的代码包括RDD和DataFrame的join操作, 注释中有详细描述import org.apache.spark.sql.types.{DataTypes, StructField, StructType}import org.apache.spark.sql.{Row, SQLContext}import org.apache.spark.{SparkConf, SparkCo
2016-06-16 09:39:44
15796
原创 Spark RDD、DataFrame和DataSet的区别
RDD优点: 编译时类型安全 编译时就能检查出类型错误面向对象的编程风格 直接通过类名点的方式来操作数据缺点: 序列化和反序列化的性能开销 无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化.GC的性能开销 频繁的创建和销毁对象, 势必会增加GCimport org.apache.spark.sql.SQLContextimport org.apac
2016-06-16 09:38:09
41962
原创 bitcoin and cryptocurrency technologies-hash函数
hash函数的定义具有以下性质的函数，可以称之为Hash函数：输入为任意长度的bits输出为固定长度的bits计算耗时短所以，Hash函数不是某一个函数，而是一类函数。例如：MD5，SHA256。其中比特币使用的是双重SHA256。hash函数的作用hash函数的安全特性无碰撞（collision free）含义：当x和y不相等时，它们的hash值通常也不相等。通常：这里...
2019-05-28 21:31:17
385
原创 bitcoin and cryptocurrency technologies-引言
分歧乐观派：区块链将会颠覆全球的支付，经济，乃至政治格局。悲观派：比特币存在内部缺陷，只不过是昙花一现，必将走向衰落。本书讲的什么让你从技术层面理解数字货币运行机制。本书将让你能够回答以下问题：比特币是如何运行的？比特币如此特殊的原因的什么？比特币是如何加密的？比特币是怎么做到匿名的？比特币平台的上，如何搭建应用。创造一个新的加密货币，能让世界发生怎么的变化？合适人群...
2019-05-26 12:15:51
582
原创 机器学习简介
转载请标明出处：小帆的帆的专栏什么样的问题适合机器学习解决存在某种隐含规则规则很复杂有学习这个规则的数据问题Which of the following problems are best suited for machine learning? (i) Classifying numbers into primes and non-primes (ii) Detecting pot
2017-06-01 16:53:57
645
原创 Python pip常用命令和源地址修改
转载请标明出处：小帆的帆的专栏pip常用命令安装新包: pip install xxxx卸载已安装的包：pip uninstall xxxx更新已安装的包: pip install xxxx -U查看已安装的包: pip list源地址修改mkdir ~/.piptouch ~/.pip/pip.confgedit ~/.pip/pip.conf粘贴一下内容[global]timeout =
2017-06-01 16:27:26
8448
原创 神经网络-前向传播
转载请标明出处：小帆的帆的专栏特点方向：从左往右 作用：由最左边的输入，计算出最右边的输出记号下面的推导和实践中会用到这些记号X： 泛指数据集，不明确说明是用于，训练、验证还是测试 y： 泛指数据集的真实输出值 X_train： 训练数据集 y_train： 训练数据集的真实输出值 aia_i： 第i层，神经元中的值。对于输入层来说，X就是a1a_1 ziz_i： 神经元中值的线性组合，
2016-09-29 10:45:00
2057
原创 tensorflow pycharm ImportError: libcudart.so.7.5
转载请标明出处：小帆的帆的专栏原因如果在安装tensorflow时，添加了gpu支持。 在终端运行import tensorflow，正常。 但是在pycharm中，却会报下面这个错误ImportError: libcudart.so.7.5: cannot open shared object file: No such file or directory意思就是文件
2016-08-18 11:10:38
7560
4
原创 Tensorflow交叉熵计算错误
转载请标明出处：小帆的帆的专栏出现错误的原因-y * np.log(a) - (1-y) * np.log(1 - a)当a = y = 0.0, y * np.log(a) = 0 * -inf = nan 当a = y = 1.0, (1 - y) * np.log(1 - a) = 0 * -inf = nan 出现nan的核心原因是log(0.0) = -inf, 所以a的取值才是关键
2016-07-29 17:48:15
5665
转载 Spark大规模机器学习的性能瓶颈和解决方案
瓶颈：在模型的参数维度非常大时，spark的内存和网络会成为比较大的瓶颈。 在每轮训练之前，spark driver都会把模型参数广播到executor端， 每个task分区训练完本地分区数据后，会把算出的梯度或weights增量聚集到driver端对模型参数(weights)进行更新。当模型参数维度比较高时，网络广播和聚集都需要比较长的时间，也需要耗费比较多的内存，同时更新计算时间也会比较长。
2016-06-21 18:05:35
2742
原创 Spark 线性代数库 Breeze API 详解
转载请标明出处：小帆的帆的专栏运算加，减，乘，除向量与向量加：+减：-乘：:*除：:/规则1:乘除前面，加冒号；单独的乘号和除号分别表示点积和线性求解 规则2:累加效果，加等号import breeze.linalg.DenseVectorobject Test { def main(args: Array[String]) { val v1 = DenseVector(1.
2016-06-21 16:55:17
10552
翻译 Introducing Apache Spark Datasets
原文连接：https://databricks.com/blog/2016/01/04/introducing-apache-spark-datasets.html开发者已经喜欢上了Apache Spark提供的简洁而强大的API, 使用它们可以很容易的分析复杂问题。在Databricks，我们不断的加强Spark的可用性和性能，从而引入了DataFrame和Spark SQL。这些高级的API,
2016-06-16 14:35:51
1154
原创 快如闪电的Android模拟器
1. 下载Intel x86Atom System Image尝试勾选Others中的Force…有利于下载2. 下载Intel HAXMhttp://software.intel.com/en-us/android/articles/intel-hardware-accelerated-execution-managerWindows
2014-03-30 12:18:54
4823
原创 Ant打包
一、单个打包1.下载ant,并配置环境变量http://ant.apache.org/2.添加环境变量, Android SDK目录下的tools文件夹比如我的:/Users/Forrest/Documents/Android\ SDK/tools (注意转义)3.进入项目目录,输入命令Forrest:ProjectDemo Forrest$ android upd
2014-03-13 16:48:01
1967
原创 Mac环境变量配置
1. 添加环境变量(1)打开 应用程序 -> 实用工具 -> 终端； (2)在终端中定位到自己用户的主目录，输入： cd ~ ; (推荐从App Store中下载Go2Shell,可直接进入Finder当前目录)(3)创建一个空文件，输入：touch .bash_profile ； (4)编辑这个文件，输入：open .bash_profile ； (5)在这个文件中输入：ex
2013-12-26 16:51:04
846
转载 Mac命令
1. 显示隐藏文件显示：defaults write com.apple.finder AppleShowAllFiles -bool true隐藏：defaults write com.apple.finder AppleShowAllFiles -bool false
2013-12-21 17:30:41
1481
转载 Eclipse SVN
转自：http://iswift.iteye.com/blog/14898731、下载最新的Eclipse，我的版本是3.7.2 indigo(Eclipse IDE for Java EE Developers)版 如果没有安装的请到这里下载安装：http://eclipse.org/downloads/ 2、下载SVN插件subclipse，安装方法有两种.那种绿色的以l
2013-12-16 01:05:25
1116
原创 EditText
1、EditText屏蔽删除功能import android.annotation.TargetApi;import android.os.Build;import android.view.ActionMode;import android.view.Menu;import android.view.MenuItem;@TargetApi(Build.VERSION_CODES.
2013-11-21 13:37:59
1410
转载 程序是否在前台运行
/** * 程序是否在前台运行 * * @return */ public boolean isAppOnForeground() { // Returns a list of application processes that are running on the // device ActivityManager activityManager = (Act
2013-11-11 11:03:46
817
转载 Error executing aapt: Return code -1073741819
转自 : http://blog.csdn.net/w7849516230/article/details/9751675总会有让人喷血的事情勾起写博客的欲望，希望能坚持。 折腾了两天的是个小问题，就是标题上的Error executing aapt: Return code -1073741819。解决的方法也很简单参考1中所述，只是去掉项目styles.xml中的@+id项就好了
2013-10-25 17:16:43
1148
转载 android:installLocation简析
转自：http://www.cnblogs.com/Lefter/archive/2012/03/07/2383962.html在Froyo(android 2.2,API Level:8)中引入了android:installLocation.通过设置该属性可以使得开发者以及用户决定程序的安装位置.android:installLocation隶属于AndroidManifest.X
2013-10-11 10:00:26
626
原创 PopupWindow
1. PopupWindow点击外部消失的两种方式(1) 仅仅点击外部消失, 没有其他操作 popupWindow.setFocusable(); popupWindow.setBackgroundDrawable(new PaintDrawable(android.R.color.transparent));
2013-10-09 11:11:47
960
原创 Android adb命令
1. 安装Apkadb -s emulator-5556 install F:\Shoujizhushou\Download\App\Gmail.apk2. 卸载Apkadb -s emulator-5556 uninstall F:\Shoujizhushou\Download\App\Gmail.apk
2013-10-08 17:37:29
625
原创 ImageView
1. src与background的区别(1) src为ImageView显示的图片, 而background为背景(2) src中设置图片不会根据ImageView的宽高变化, 完全保留原大小. background会伸缩.(3) scaleType只对src起作用
2013-10-04 17:28:48
538
原创 ProgressBar
1. progressBar.setIndeterminate(true);false就是滚动条的当前值自动在最小到最大值之间来回移动，形成这样一个动画效果，这个只是告诉别人“我正在工作”，但不能提示工作进度到哪个阶段。主要是在进行一些无法确定操作时间的任务时作为提示。而true就是根据你的进度可以设置现在的进度值。
2013-09-30 10:40:12
716
原创 ListView
1. 当ListVIew为空时, 设置ViewgetListView().setEmptyView(progressBar);
2013-09-30 10:26:35
1025
原创 Sax解析Xml遇到&
Sax解析遇到&字符，会分段，如1&2；会分成三段1，&，2；在赋值时加判断即可public void setMs(String ms) { if ("&".equals(ms)) { this.ms += ms; append = true; return; } if (append) { this.ms += ms; append = false
2013-09-18 09:55:10
809
转载 Android监听HOME按键
转自:http://www.apkstory.com/development/android-capture-home-key.html大家可能或多或少在开发过程中遇到过监听HOME键的需求，但是使出了浑身解数也不一定能够监听到，当然除开系统开发的童鞋哈，下面给大家介绍的方法我在项目中已经测试过了，是可行的，方法就是利用广播来实现。代码如下:view plaincopy
2013-09-17 17:35:44
589
转载 android应用程序中获取view的位置
我们重点在获取view的y坐标,你懂的...依次介绍以下四个方法: 1.getLocationInWindow Java代码 int[] position = new int[2]; textview.getLocationInWindow(position); System.out.println("getLocation
2013-09-13 16:26:34
621
原创 获取控件宽高
flag = false;ViewTreeObserver vto2 = holder.llDetails.getViewTreeObserver();vto2.addOnPreDrawListener(new ViewTreeObserver.OnPreDrawListener() { public boolean onPreDraw() { if (!flag) { flag
2013-09-12 13:10:53
577
原创 equals方法
String a = null; String b= "b"; b.equals(a);不会报空指针, 虽然a为null String a = null; String b= "b";a.equals(b);会报空指针
2013-08-12 11:32:18
580
原创 上下文Context的区别
Android中有两种Context1、应用程序的Context，也就是通过getApplicationContext()方法获取的Context2、Activity的Context，就是Activity类中的this当创建一个对话框时，必须使用Activity的Context，对话框必须挂载在Activity上。而使用数据库，或Toast等，则最好使用应用程序的Context。因为A
2013-08-06 15:32:20
610
原创 eclipse基本设置
1、增强Eclipse的自动代码提示功能 Preferences中搜索Content Assist，修改内容为“.abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ(,” 以上为自动提示的触发字符, 根据个人习惯设置2、字符编码 设置工作空间的项目编码, 防止出现乱码
2013-07-24 02:48:59
635
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人