自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 收藏
  • 关注

原创 AttributeError: ‘Graph‘ object has no attribute ‘update‘

AttributeError: 'Graph' object has no attribute 'update'

2023-02-01 01:37:29 373

原创 python筛选出满足对应列值的整行

python筛选出满足对应列值的整条记录

2022-03-05 19:34:55 2368

原创 spark中filter函数的一个用法

spark中filter函数的一个用法

2022-03-05 19:14:36 3540

原创 Anaconda上安装Tensorflow

之前找了好几个教程,很长且都没成功,最后去了Anaconda官网搜Tensorflow,发现只需要一个命令,试了之后成功了,于是记录一下。首先确认你要安装的tensorflow版本,参照这个地方https://tensorflow.google.cn/install/source_windows#cpu然后打开官网网址:Anaconda官网的tensorflow安装教程找到想要的版本以后点进去执行对应的命令即可我的版本要求打开Anaconda的Anaconda Prompt,执行命令

2021-09-11 16:31:25 2075 7

原创 GraphX中的mask函数理解

创建用于实验的图import org.apache.spark._import org.apache.spark.graphx._// To make some of the examples work we will also need RDDimport org.apache.spark.rdd.RDD// Create an RDD for the verticesval users: RDD[(VertexId, (String, String))] = sc.parallel

2021-09-11 09:11:40 400 2

原创 Spark报错:error: not found: value metrics

跑一下代码:import org.apache.spark.ml.linalg.{Vector, Vectors}import org.apache.spark.ml.stat.Summarizerval data = Seq( (Vectors.dense(2.0, 3.0, 5.0), 1.0), (Vectors.dense(4.0, 6.0, 7.0), 2.0))val df = data.toDF("features", "weight")val (meanVal,

2021-06-01 17:12:58 1082

原创 计算智能简介

计算智能文章目录计算智能计算智能简介一、CI典型方法二、典型方法简单介绍1.人工神经网络2.进化计算3.群体智能4.人工免疫系统5.模糊系统总结计算智能简介计算智能(CI)—使智能行为在复杂和变化环境中能够或易于实现的自适应机制的研究。这些机制包括那些具有学习或适应新环境、拓展、抽象、发现和联想能力的AI典型方法。一、CI典型方法本系列包含了以下CI典型方法:人工神经网络、进化计算、群体智能、人工免疫系统和模糊系统。虽然这些典型方法中的单个技术都均已成功地应用于解决实际问题,但是当前的

2021-03-11 13:24:58 3192

原创 Scala常见bug---error: value +: is not a member of Int

项目场景:Scala的序列(Seq)里面的Vector问题描述:在使用Vector方法的过程中报错:error: value +: is not a member of Int具体如下所示:scala> val v1=Vector(1,2)v1: scala.collection.immutable.Vector[Int] = Vector(1, 2)scala> val v2=5+:v1v2: scala.collection.immutable.Vector[I

2020-10-27 15:49:50 6470 1

转载 Geospark很好的入门教程记录

记录一(附上了这位作者(CSDN上叫SUDDEV的大佬)的3篇,写得很详细很好理解。)带你入门GeoSpark系列之一【环境篇】带你入门GeoSpark系列之二【Spatial RDD篇】

2020-10-25 12:42:46 1431

原创 Scala操作符与优先级

Scala为它的基本类型提供了丰富的操作符集,包括:算术运算符:加(+),减(-),乘(*),除(/),余数(%); 关系运算符:大于(>),小于(<),等于(=),不等于(!=),大于等于(>=),小于等于(<=); 逻辑运算符:逻辑与(&&),逻辑或(||),逻辑非(!); 位运算符:按位与(&),按位或(|),按位异或(^),按位取反(~),左移(<<),右移(>>),无符号右移(>>>); 赋值运算

2020-10-25 12:36:11 873

原创 scala常见Bug---error: unclosed character literal

error: unclosed character literal图如下(可能是单纯的单双引号问题):

2020-10-25 12:01:54 1518

原创 sbt或maven打包时出现“package org.xxx.xxx.xxx does not exist“

问题陈述:sbt或maven打包时出现"package org.xxx.xxx.xxx does not exist",如下图所示:说明包不在解决方法:方法1.在build.sbt或pom.xml中配置对应的包的信息,我在我的build.sbt文件中添加了如下图所示的信息:怎么从报错信息中找到对应的依赖版本并规范地写在build.sbt中呢?这里我推荐一个网址,可以查询你所用到的包并已经写出了在build.sbt或pom.xml中的配置语句:网站界面如下图所示:(可以根据

2020-10-20 10:40:52 1263

原创 sbt打包java程序

项目场景:最近在参考这个网址的教程:geospark入门学习geospark入门,然后里面的代码为java文件,需要用maven打包,我用maven打包时总是出错,于是想换成用sbt打包。所以得解决用sbt打包java程序的问题解决方案:参考:sbt支持打包java程序得知要在build.sbt文件中添加javacOptions ++= Seq("-encoding", "UTF-8")的配置项详细做法1.建文件夹,mkdir -p test/src/main/java/2.在test目录

2020-10-11 11:45:24 363

原创 maven-compiler-plugin:X.X.X or one of its dependencies could not be resolved

问题描述:在linux中用maven打包时出现如下报错:图如下:内容文字如下:[ERROR] Plugin org.apache.maven.plugins:maven-compiler-plugin:3.8.0 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache.maven.plugins:maven-compiler-plugin:jar:3.8

2020-10-09 16:07:39 3111 2

原创 zookeeper启动成功后自动关闭。日志报错Unable to access datadir, exiting abnormally

前提:在集群上有master,slave1,slave2三台机器。zookeeper已经搭建好并且能启动。安装配置参考:zookeeper安装配置 只是启动成功后没过几秒便自动关闭。查看zookeeper的日志文件,发现如下所示结果:然后找到了一篇文章,链接如下:ZooKeeper报错:Unable to access datadir, exiting abnormally博主说要在zookeeper的data路径下创建目录version-2即有:XXX/zookeeper/dat.

2020-05-20 11:30:42 4265

原创 关于geotrills中的Etl.ingest[ProjectedExtent, SpatialKey, Tile](args)这个函数的使用例子

官方文档介绍:https://geotrellis.readthedocs.io/en/latest/guide/etl.html?highlight=etl%20ingest参考资料:https://blog.csdn.net/qq_32432081/article/details/81162285等我把例子跑一遍以后再来补充详细步骤

2020-05-17 22:16:38 201

原创 安装R包bruceR时出现“had non-zero exit status”解决方案

在一次作业中要用到R包“bruceR”,试了好几种方案,始终没有解决方案,最后结合自己的一点方案成功解决。安装步骤参考:https://github.com/psychbruce/bruceR/blob/master/Installation%20Bugs%20and%20Solutions.md这里面有详细的安装步骤,并且总结了对安装步骤过程中的各类bug的解决方案,很详细。(虽然我没成...

2020-04-19 22:49:30 8092 2

原创 Error in unnest(., children) : 没有"unnest"这个函数

总结:当R中出现没有“XXX”函数时,如果确认此函数确实存在,那么就先找到该函数所在的包,安装对应的包,完成。记录完毕

2020-03-02 22:30:22 739

原创 在linux中安装pythin3,gdal,pillow

python安装参考链接如下:https://www.cnblogs.com/kimyeee/p/7250560.html亲测有用gdal安装,目测这个最容易,但我失败了,附上链接:https://cloud.tencent.com/developer/article/1386291 在这里有一个提醒,如果按照上面的链接,我的是3.0.2的gdal,到./configure的时候...

2020-01-12 11:10:08 133

原创 python 中报错MemoryError:

python 中报错MemoryError:我在网上搜了很多方法,链接在这里几个解决方案但是,我一个都不愿意去操作,然后我把python关闭以后重新打开,问题就解决了。我也不知道是什么原理,但得把它记录下来。...

2020-01-09 21:54:25 1516 5

原创 python读取文件夹下面的所有csv文件,并根据文件里面的经纬度给csv文件新增一列geohash码

python读取文件夹下面的所有csv文件,并对文件里面的经纬度进行geohash编码后作为新增列保存到csv文件里面

2020-01-04 11:44:05 843

原创 改变tiff图片像素大小

import cv2from scipy import miscroot = 'E:/栅格数据切片/水资源切5x5/ras0.tif'crop_size = (190, 195)img = cv2.imread('E:/test/ras0.tif')#print(img)img_new = cv2.resize(img, crop_size, interpolation = cv2.I...

2020-01-04 11:14:29 3046

原创 'NoneType' object has no attribute 'GetRasterBand'

刚刚遇到的问题,在获取波段的时候,前几天还是好好的,今天就报了这个错。聪明的俺突然发现是我读取的图片的路径写错了。报错界面如下:错误的原因如下,文件的路径格式出现错误:改正后的路径如下:改正以后就没有报错了...

2020-01-01 14:12:16 7149 7

原创 python报错出现 KeyError: 'longitude'

python报错出现 KeyError: ‘longitude’报错界面如下图所示:我在网上寻找了方法,确实找到一个解决方案:对你可能有用的解决方案一但是我试了还是没用,于是,当我定睛一看,发现竟又是由于俺的粗心造成的。啊,如下图,按在longitude前面少了个逗号,如下图:所以这个问题就解决啦,好,我继续我的课程设计了。...

2019-12-20 19:26:40 2364

原创 Initial job has not accepted any resources; check your cluster UI to ensure that workers are...

在集群上运行spark应用程序时,出现:Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources如下图所示:原因是下图最后一段代码:pairRDD.foreach(println)应该...

2019-08-06 22:27:19 1514

原创 Spark全分布安装(Standalone模式)

已有条件:已经安装好hadoop2.7.7和JDK1.8.并且集群可以运行。其中有master,slave1,slave2.安装包:spark-2.4.3-bin-hadoop2.7.tgz(这里要根据自己的情况定)一, 下载安装包上传到主节点master上,并用scp命令将它们传到slave1,slave2的bigdata目录下。如下图所示:二, 分别在三台机器上将它们解压,改名字。并...

2019-08-06 20:36:41 295

原创 运行spark时出现:<console>:10: error: not found: value sc

运行spark时出现::10: error: not found: value sc出现错误的界面如下图所示:**描述:明明早上以及前几天都用得好好的,下午就频频报错,网上的解决方法挺少,不过,发现了个网站的方法挺齐全。链接如下:最详细的解决方法当然,这几个方法并不适用于我的,毕竟我出错的地方实在是由于本人的马大哈造成的。最后的解决方法:我打开的scala是scla路径下的Scala,...

2019-08-06 19:42:03 12604 4

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除