xwq-csdn-CSDN博客

原创 org.apache.spark.SparkException: Task not serializable

在spark shell中运行下述代码： val max_array = max_read_fav_share_vote.collect val max_read = max_array(0)(0).toString.toDouble val max_fav = max_array(0)(1).toString.toDouble val max_share = ma...

2019-08-17 16:10:33 587

原创 java.lang.OutOfMemoryError: GC overhead limit exceeded

在spark1.6.0中运行代码，在log中出现如下错误提示：java.lang.OutOfMemoryError: GC overhead limit exceeded这个一般是因为在垃圾回收中占用了大量时间造成的。通常来说，当程序用98%的时间回收了不到2%的堆内存时导致的。通常是设置的堆内存太小，导致没有足够的内存。1.spark.executor.memory 调大参数扩大内存2...

2019-08-07 10:59:40 401

原创 ERROR util.Utils: uncaught error in thread SparkListenerBus, stopping SparkContext

在spark1.6.0中运行代码，在log中出现如下错误提示：ERROR util.Utils: uncaught error in thread SparkListenerBus, stopping SparkContext这个错误提示可以忽略不记。当我们清理并终止守护进程上下文清理线程时，在执行结束时会打印这个。今后这个错误提示可能会消除，因为它可能会让用户感到困惑。https://...

2019-08-07 10:05:42 1792

原创 org.apache.spark.SparkException: Failed to get broadcast_270_piece0 of broadcast_270

在spark1.6.0中运行代码，出现如下错误：org.apache.spark.SparkException: Failed to get broadcast_270_piece0 of broadcast_270解决方法1.可能是因为spark.cleaner.ttl导致的，spark.cleaner.ttl设置一个清除时间，使spark清除超过这个时间的所有RDD数据，以便腾出空间给...

2019-08-05 20:22:12 1968

转载 Shell脚本

#! 告诉系统其后路径所指定的程序即是解释此脚本文件的 Shell 程序。在Linux中，直接用/bin/sh test.sh指令运行shell脚本文件，这里是调用Bourne Shell解释器。1. Shell变量定义变量时，变量名不加美元符号（$）变量名和等号之间不能有空格。同时，变量名的命名须遵循如下规则：命名只能使用英文字母，数字和下划线，首个字符不能以数字开头。中间不能有空格，...

2019-07-15 14:52:00 229

原创 Spark Shell -- <console>:29: error: object y is not a member of package x

在spark shell中导入一个包出错：import x.y但是报错： <console>:29: error: object y is not a member of package x解决方法：打开spark shell时将x.y包加入bin/spark-shell --packages x.y也看到有人说加上 root 有效：import _root_....

2019-07-09 19:56:20 772

原创 Error: Must specify a primary resource (JAR or Python or R file) --spark--scala

在spark集群上运行一个shell脚本，出现错误：出现这个问题的原因是shell脚本中没有指定主资源，这是因为我在shell脚本中有多个jar包，但都用来作为依赖资源而没有指定主资源。类似运行如下的指令会出现这个错误：./bin/spark-submit --class Sentimenter --master local[4] --jars /home/ubuntu/spark/spar...

2019-07-02 09:30:28 1390

原创 Intellij IDEA中编写Scala程序报错：Error:scalac: 'jvm-1.8' is not a valid choice for '-target'

在Intellij IDEA中编写Scala程序报错：Error:scalac: ‘jvm-1.8’ is not a valid choice for ‘-target’Intellij IDEA版本是2019.1.3，JDK版本是1.8.0，Scala版本是2.10.5.解决方法：根据以下路径File->Settings -> Build, Execution, Deplo...

2019-06-12 20:53:10 6925 2

原创基于WEKA的线性回归代码实现（最小二乘法）

1.最小二乘法求线性回归参数线性回归公式损失函数最小二乘法求参数令，，因此，损失函数转换为求导求出驻点得到2.代码package weka.classifiers.myAlgorithm;import weka.classifiers.Classifier;import weka.core.Instance;import weka.core.Instances;...

2019-04-07 12:19:57 1709 1

原创基于WEKA的朴素贝叶斯（Naive Bayes）代码实现

1.Naive Bayes公式2.代码package weka.classifiers.myAlgorithm;import weka.classifiers.Classifier;import weka.core.Instance;import weka.core.Instances;public class NB_xu extends Classifier{ pub...

2019-04-07 10:42:21 3534 4

原创基于WEKA的K近邻（KNN）代码实现

package weka.classifiers.xwq;import weka.classifiers.Classifier;import weka.core.Instance;import weka.core.Instances;public class KNN_xu extends Classifier{ /** * 训练集 */ public Instances ...

2019-03-29 11:04:22 2404

原创基于WEKA的决策树（ID3）代码实现

package weka.classifiers.xwq;import java.util.ArrayList;import weka.classifiers.Classifier;import weka.classifiers.Evaluation;import weka.core.Attribute;import weka.core.Instance;import weka.co...

2019-03-29 11:01:30 2038

原创 Eclipse java.io.NotSerializableException

在Eclipse的一个类文件中编写另一个类，运行时出现java.io.NotSerializableException错误提示。具体如下：java.io.NotSerializableException: weka.classifiers.teacher.ID3_xu$TreeNodes java.io.ObjectOutputStream.writeObject0(Unknown Sourc...

2019-03-29 10:44:09 599

原创最简单的导入weka源码到eclipse中的方法

原先，是按照 https://blog.csdn.net/MileyPriencess/article/details/74315577 将weka源码导入到eclipse中的，相比于而言下面的方法是非常简单的了。1.从weka官网下载压缩包，将压缩包解压后再将里面的weka-src压缩包解压，2.在eclipse中右击新建java project，接下来如下图操作即可完成如此即完成w...

2018-11-19 18:52:24 909 2

原创 SparseInstance和Instance的相互转换-稀疏矩阵与矩阵的相互转换

当一个数据集中很多instance中的很多属性值是0时，这个数据集就会以稀疏矩阵的形式存储。这个过程主要是通过将Instance转换为SparseInstance实现的，SparseInstance是Instance的子类。对于一个值为{0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,0}的instance，其对应的SparseInstance为{9 1, 18 ...

2018-11-06 23:23:44 801

原创将文本数据转换成arff文件

目的：将类似下图的文本数据转换为arff文件。文本数据每一行是一个句子和该句子的类属性值（classValue），得到的arff文件中的一个实例（Instance）即为一个句子的单词向量和类属性值。思路：1.将原始文本数据中一些特殊符号去除，以免在构建单词向量时出现问题；2.在去除特殊符号的文本数据上自动添加arff文件的表头，另存为arff文件；3.在WEKA中读取该arff文件，再...

2018-11-06 23:08:10 4885

原创使用Maven导入LibRec到工程出现错误Could not calculate build plan: Plugin org.apache.maven.plugins:maven-resource

在使用Maven将LibRec2.0.0文件导入到Eclipse工程中时，出现下面的问题：出现这种问题的原因是Maven无法下载所需要的依赖库文件。第一次出现这个问题，采用下述方法解决：1）右键对应工程项目，进入Maven->Update Project；2) 选择Update dependencies 并勾上其下面的 Force Update of Snapshots/Rele...

2018-10-31 21:44:58 778

原创 ValueError: Floating point image RGB values must be in the 0..1 range.

值错误：浮点图像RGB值必须在0…1范围内。错误来源：在使用图像处理函数处理一个图片后，通过pyplot输出可视化时，出现上述错误提示。错误原因：如错误提示所说，这是输出图像中像素的实数值超出0-1范围导致的。解决方法：在输出最终图像之前需要将其值截断在0-1之间，具体操作如下：after_img = tf.clip_by_value(before_img, 0.0, 1.0)若不进行...

2018-10-24 11:31:38 5460 1

原创 python之os.walk()

功能：os.walk() 是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。声明：walk(top, topdown=True, onerror=None, followlinks=False)输入参数：top：所需遍历目录的路径topdown：True时，则优先遍历top目录，否则优先遍历top的子目录(默认为True)onerror：需要一个 cal...

2018-10-23 20:28:42 545

原创 ValueError: Parent directory of /path/to/model/model.ckpt doesn't exist, can't save.

代码如下：MODEL_SAVE_PATH = "/path/to/mode/"MODEL_NAME = "model.ckpt"saver.save( sess, os.path.join(MODEL_SAVE_PATH, MODEL_NAME), global_step=global_step )即在使用tensorflow保存session时出现错误：ValueError: ...

2018-10-16 20:07:52 5695

转载多个神经网络处理MNIST数据集的具体代码实现

mnistfrom tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfdef compute_accuracy(v_x, v_y): global prediction #input v_x to nn and get the result with y_pre y...

2018-10-16 09:59:15 284

原创误修改/etc/environment文件导致没有出现Ubuntu登陆界面

在配置路径的过程中，由于不小心把/etc/environment文件中PATH的那一行代码删除了，导致开机时无法出现用户登陆界面。出现该问题的原因是，UBUNTU系统启动时，首先运行/etc/profile，然后会按照/etc/environment里的PATH去寻找当前用户对应的所需东西，所以一旦删掉路径PATH，那么ubuntu就会因为无法找到相应文件而无法正常登陆当前用户。解决方法是：...

2018-10-14 21:04:45 813 1

转载错误：无法找到或装入主类 weka.gui.GUIChoose

在Ubuntu16.04系统的eclipse中配置weka时，当运行GUIChoose时出现错误，错误：无法找到或装入主类 weka.gui.GUIChoose。找到一个博客，感觉蛮有用的：https://blog.csdn.net/u010512607/article/details/46350813...

2018-10-12 22:28:08 1296

原创排序一个数组（数组元素有重复的）,并且记住新数组的元素在原数组中的位置

//保留数组的初始下标int[] index_init = new int[array.length]; for (int i = 0; i &amp;lt; index_init.length; i++) { index_init[i] = i; } for (int i = 0; i &amp;lt; array.l...

2018-09-13 16:06:21 2103

原创将mat、txt、csv文件转换成arff文件

有时候自己生成一些数据或者找到的数据格式不是arff文件时，可以在matlab中使用以下函数将mat、txt、csv文件转换成arff文件。 input_filename ：待转换的格式文件路径及文件名 arff_filename ：转换后的arff文件的路径及名称function Mat2Arff(input_filename,arff_filename)%% This functi...

2018-09-13 14:51:29 2487

原创 LINGO Error Code 122 和 237 出现原因及其解决方法

问题：使用Lingo进行线性规划时出现122错误代码：原因：范围计算（Range）目前已禁用。解决方法：要在Windows版本的LINGO中启用范围计算，请运行LINGO -&amp;gt; Options命令，单击General Solver选项卡，然后从Dual Computations列表框中选择Price and Ranges选项。要在命令行版本的LINGO中启用范围计算，请使用以下...

2018-09-02 17:38:34 8460 1

转载问题解决：module 'pip' has no attribute 'main'

在pyCharm中添加新的模块时出现了错误，错误提示：module ‘pip’ has no attribute ‘main’。在这里使用的pip版本是10.0.1。解决方法：在pyCharm的安装目录下找到 helpers/packaging_tool.py文件，找到如下代码：def do_install(pkgs): try: import pip ...

2018-06-27 09:05:57 729

原创将多个属性值的属性中的某些属性值整合成一个属性值

问题描述：对实例集中的某个含有多个属性值value的属性attribute，有时候需要将其中的多个属性值整合成一个属性值。转换后的实例集中，每个实例对应属性attribute的属性值也要对应着修改后的属性值。例如，（1）数据集weather的属性outlook有三个属性值（sunny，overcast，rainy），如何将（sunny，overcast）两个属性值整合成一个属

2017-12-20 20:54:23 1732

原创如何在weka中添加自己的算法

在weka中添加自己的算法也就是达到下面的效果，myAlgo是自己写的算法所在的包，myNB是自己所写的算法代码。实现上述效果，主要需要两个配置过程。具体过程如下： 1. 在weka项目中新建一个package，这里命名为weka.classifiers.myAlgo，然后在myAlgo中新建一个java文件，这里命名为myNB（这里的代码是直接拷贝weka自带的NaiveBayes

2017-11-15 11:00:08 2791 4

原创如何“彻底”关闭windows的自动更新

首先，控制面板->管理工具->服务，找到 Windows Update。右击选择属性，将启动类型换成禁用但是这样还不行，我上次这样设置了之后结果还是自动更新了，坑死个人。实际上还需有一步。就是在“恢复”处修改启动该项目失败后的操作，均设置为“无操作”。以后碰到关闭其他服务的时候，都记住要将这里也进行修改！

2017-10-08 18:02:09 9511 1

转载将eclipse默认编码GBK修改为UTF8的方法

eclipse 默认编码居然是GBK，js文件默认编码是ISO-…. 怎么可以这样呢？都修改成UTF8的方法：1、windows->Preferences…打开”首选项”对话框，左侧导航树，导航到general->Workspace，右侧 Text file encoding，选择Other，改变为UTF-8，以后新建立工程其属性对话框中的Text file encoding即为UTF-8。 2

2017-10-04 19:44:54 855

原创 Django安装（windows）

1.首先在https://www.djangoproject.com/download/中下载需要的Django版本，这个版本是由安装的python的版本决定的。我的python是3.6.2版本，所以我下载的Django是1.11.4版本的。 2.将Django压缩包解压到C盘下，根据以下命令进行安装，Django被安装到python的site-packages下。注意：有时候解压的时候，

2017-09-05 19:13:44 377

原创根据离散点用matlab拟合出其对应的函数

对于一系列离散点，需要根据这些离散点求出其所对应的函数，也就是求出函数的形式和对应的参数。 1，把x、y轴对应的数据放入界面，并回车 2.根据如下步骤进入拟合工具界面 3.拟合工具界面 4.点击data按钮，选择数据点击create data set 按钮，即根据所选数据创建一个数据集，再点击close，可以看到拟合工具界面如下，也就是离散图： 5.点击fittin

2017-08-26 12:00:02 31049

原创问题解决：windows未能启动，原因可能是最近更改了硬件或软件

开机出现如下画面：电脑原先是win7旗舰版，没用几天，不知道怎么出现了这样的问题。网上查了很多，也用了几种方法，有些方法不知道是不是不行，总之没有解决我这里的问题，最终我用下面的方法解决了这个问题。解决方法：以下是重装系统的过程。 1. 首先制作U盘启动盘，准备工具：一个u盘（里面的东西全部备份并清空），u深度u盘启动盘制作工具。在http://www.ushendu.inf

2017-07-10 20:46:14 119847 7

原创基于WEKA的C45算法代码实现及其详解

C45算法在weka已经有具体的实现，即weka中的J48.java。不过J48.java中的具体代码牵扯到较多的类和其他东西，直接看源代码比较容易混乱，且需要了解的东西较多，有比较多和C45算法本身没有关系而是为了方便代码实现的类、变量和方法等。本文是基于C45算法思想和对J48源代码的详细解读，自己写了一个C45算法的代码。该代码只含有两个类（99%的代码只在一个类中实现），需要了解的结构相对

2017-07-10 20:21:28 2729 6

原创 C45决策树构建过程（各个函数调用过程）

C45决策树从J48.Java文件中的buildClassifer函数开始，主要分为三份部分： 1。调用C45PruneableClassifierTree（或者BinC45PruneableClassifierTree）中的buildClassifier函数构建决策树。C45PruneableClassifierTree和BinC45PruneableClassifierTree两个类都是继

2017-07-05 17:36:13 1755

转载在eclipse中导入weka（3.6版本）的源代码包

1 找到weka的安装位置，寻找weka的压缩文件weka-src.jar，将压缩文件解压，解压出的文件夹weka-src。　2 打开Eclipse，新建Java project项目weka。　3 选中包src，右击导入，选择General，选择文件系统，选择程序（weka-src\src\main\java）所在的路径，然后在Java前打勾，点击完成。　4 此时有很多错误，这是因

2017-07-04 12:32:55 1924 4

xwq的博客