- 博客(72)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 linux 安装gdal（含hdf）记录
一、准备工作(经实践，在其他用户下存在某种问题，可能是对Centos系统上不熟悉，无法解决，需在root用户下安装）：su - root安装编译环境sudo yum install gcc gcc-c++ gcc-g77 flexbison autoconf automake bzip2-devel zlib-develncurses-devel libjpeg-devel libpng-devel libtiff-develfreetype-devel pam-devel openssl-d...
2022-03-28 11:15:16
2886
原创 mlp神经网络及python测试
#关于线性模型：y'=w[0]*x[0]+w[0]*x[0]+...+w[p]*x[p]+b,其中，y'表示对y的估算值，x[0]到x[p]是样本特征值,w表示每个特征值的权重，# y'可以看成是所有特征值的加权求和。基本原理是找到当训练数据集中y的预测值和其真实值的平方差最小的时候，所对应的w值和b值。#非线性矫正：生成隐藏层之后，需要对结果进行非线性矫正（relu）或双曲正切处理（tanh），通过这两种方式处理后的结果用来计算最终结果y。#MLP计算流程:#1、y0=w[0]*x[0]+w[0.
2021-07-01 16:02:19
1137
原创 支持向量机svm及python测试
from sklearn.svm import SVR,SVCfrom sklearn.datasets import load_bostonfrom sklearn.datasets import load_winefrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerimport numpy as np#支持向量机#波士顿房价回归分析def.
2021-07-01 16:01:32
461
原创 决策树与随机森林及python测试
from sklearn.datasets import load_winefrom sklearn import treefrom sklearn.model_selection import train_test_splitimport numpy as np#决策树def decision_tree(): # 酒的分类 wine_dataset = load_wine() # random_state=0，每次生成的随机数不同 # x代表数据集,y代表分类.
2021-07-01 16:00:43
188
原创 朴素贝叶斯及python测试
from sklearn.datasets import load_breast_cancerfrom sklearn.datasets import load_winefrom sklearn.model_selection import train_test_splitfrom sklearn.naive_bayes import BernoulliNB,GaussianNB,MultinomialNBimport numpy as np#朴素贝叶斯#概念：基于贝叶斯定理与特征条件独立假.
2021-07-01 15:59:20
327
原创 线性分类回归及python测试
from sklearn.datasets import load_diabetesfrom sklearn.model_selection import train_test_split#导入线性回归模型,岭回归,套索回归from sklearn.linear_model import LinearRegression,Ridge,Lassoimport numpy as np#线性回归#概念：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用.
2021-07-01 15:56:33
257
原创 k最近邻算法及python测试
#k最近邻算法-测试#导入测试数据from sklearn.datasets import load_wine#导入knn分类器from sklearn.neighbors import KNeighborsClassifier,KNeighborsRegressor#导入画图工具import matplotlib.pyplot as plt#导入数据集拆分工具from sklearn.model_selection import train_test_splitimport nump.
2021-07-01 15:55:21
123
原创 Docker+Flask集群部署
1、测试服务器准备，这里准备三台服务器（Centos7），分别部署docker，部署过程如下：1）设置Docker仓库yum-config-manager --add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo2）安装dockeryum install docker-ce docker-ce-cli containerd.io默认安装最新版本的docker3）启动docker服务syst.
2021-03-15 02:04:16
1012
3
原创 geotrellis核密度分析(spark分布式计算)
代码： def ncdensityrdd(): Unit ={ val conf = new SparkConf().setMaster("local").setAppName("Kernel Density") val sc = new SparkContext(conf) val tl = TileLayout(7, 4, 100, 100) val ld = LayoutDefinition(extent, tl) val kernelWidth=9...
2020-08-14 00:22:55
392
原创 Geotrellis核心概念
1、名词概念1）矢量或几何（Vector or Geometry）：通过连接空间中的点而建立的结构，包括点、线、面结构2）范围或边界（Extent or Bounding Box）：轴对齐的矩形区域3）要素（Feature）：带有元数据信息的的几何要素4）单元格（Cell）:栅格数据的单个数据单元5）瓦片（Tile）:或者叫切片，栅格数据切割后的瓦片数据。6）RDD：弹性分布式数据集，这里主要是带有Tile数据的RDD，用户栅格的分布式处理7）键值（Key）:用来创建索引8）
2020-07-24 16:34:13
887
原创 ceph部署（mimic）版
一、linux主机IP配置192.168.0.109 node1192.168.0.110 node2192.168.0.111 node3二、ceph预检环境部署1）安装ntp2）ssh免密登录3）关闭selinux&firewalld三、配置ceph源修改或者新建 /etc/yum.repos.d/ceph.repo文件[Ceph]name=Ceph packages for $basearchbaseurl=http://mirrors.163.
2020-07-18 00:21:25
1638
原创 linux服务器配置过程记录
一、系统安装及备份1、使用安装盘或u盘安装linux操作系统。2、配置静态IP#cd /etc/sysconfig/network-scripts配置如下：TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILU
2020-07-15 22:24:01
766
原创 spark基础概念
1、DAGDAG：字面概念是有效无环图，指的是一个无回路的有向图。如果有一个非有向无环图，且A点出发向B经C可回到A，形成一个环。将从C到A的边方向改为从A到C，则变成有向无环图。而在Spark中，由于计算过程很多时候会有先后顺序，受制于某些任务必须比另一些任务较早执行的限制，我们必须对任务进行排队，形成一个队列的任务集合，这个队列的任务集合就是DAG图，每一个定点就是一个任务，每一条边代表一种限制约束（Spark中的依赖关系）。 通过DAG，Spark可以对计算的流程进行优化，对于数据处
2020-07-13 18:01:24
454
原创 linux常用操作
1、关机命令$shutdown –r now 立刻关机2、重启命令$reboot3、常见linux目录名称/ 虚拟目录的根目录。通常不会在这里存储文件/bin 二进制目录，存放许多用户级的GNU工具（cat、ls、rm等基本工具）/boot 启动目录，存放启动文件/dev 设备目录，linux在这里创建设备节点/etc 系统配置文件目录/home 主目录，linux在这里创建用户目录/lib 库目录，存放系统和应用...
2020-07-10 00:37:25
134
原创 scala函数参数
1、高级函数把一个函数作为参数传递给另一个函数的方式，在函数式编程中称为高级函数。//绝对值函数def abs(n:Int)={ if(n<0) -n else n}//阶乘函数def factorial(n:Int):Int={ def go(n:Int,acc:Int):Int= if(n<=0) acc else go(n-1,n*ac...
2019-09-15 00:04:45
2210
原创 六、geotrellis按时间序列存储至hbase
实现代码如下：import org.apache.camel.scala.dsl.builder.RouteBuilderSupportimport geotrellis.raster._import geotrellis.proj4._import geotrellis.raster.resample.Bilinearimport geotrellis.spark._import...
2019-09-06 18:26:16
768
3
原创 scala通过BulkLoad实现hbase的批量入库
部署环境参考其他章节。完整代码如下：import java.util.UUIDimport org.apache.hadoop.fs.Pathimport org.apache.hadoop.hbase.{HBaseConfiguration, KeyValue, TableName}import org.apache.hadoop.hbase.client.{Connectio...
2019-08-21 15:02:23
684
1
原创 五、geotrellis实现栅格切片并存储至hbase
部署环境可以参考本栏目的其他章节。1、maven代码如下：<dependencies> <dependency> <groupId>org.apache.camel</groupId> <artifactId>camel-core</artifactId> </depe...
2019-08-19 18:48:54
1704
3
原创 sparkstreaming实现hdfs目录的监控，并实时写入hbase
部署环境参考https://blog.csdn.net/luoye4321/article/details/99745877代码如下：import org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Putimport org.apache.hadoop.hbase.io.Im...
2019-08-19 18:35:13
767
原创 scala实现hbase批量写入
一、编程环境：1、JDK1.82、scala2.11.73、hadoop3.0.0、hbase2.1.0、spark2.4.0操作系统:centos7.6，编译器使用idea2019二、实现步骤：1、添加hbase的jar包因为我这里使用使用的是cdh发行版本，hbase的jar包位置为:/opt/cloudera/parcels/CDH/lib/hbase/lib/...
2019-08-19 18:29:28
2096
1
原创 Scala数据类型与变量
一、scala数据类型Byte:8位有符号整数Short:16位有符号整数Int:32位有符号整数Long:64位有符号整数Float:32位单精度浮点数Double:64位双精度浮点数Char:16位无符号Unicode字符String:字符串类型Boolean：true或falseUnit：表示无值，主要用于无返回结果的方法的返回类型。Unit的实例值为...
2019-07-30 00:08:23
362
原创 Linux集群部署文件及目录共享
一、服务器端配置1、nfs-utils安装首先检查是否安装：#rpm -aq nfs-utils rpcbind说明已经默认安装，如果没有，可以使用如下命令安装：#yum-yinstallrpcbindnfs-utils2、启动nfs,prcbind服务查看nfs服务启动状态：#service nfs status启动命令：#...
2019-07-18 11:27:57
2356
原创 pyspark实战（六）pyspark+happybase批量写入hbase操作
pyspark和happyhase操作hbase需要提前部署和安装pyspark和happyhbase的python包，具体的安装过程可看靠前面章节，这里不再赘述。1、引入相关包from pyspark import SparkContext,SparkConf #pyspark包,v2.2.0import happybase #ha...
2019-07-16 22:17:17
3283
原创 centos下部署gdal的python包
1、安装proj4使用python调用gdal包时，如果没有安装proj4，有可能会提示缺少包的错误，所以这里预先安装。1）下载并解压#wget http://download.osgeo.org/proj/proj-6.1.0.tar.gz#tar –zxvf proj-6.1.0.tar.gz注意proj4的版本不要太低。2）编译安装#cd proj-6.1.0...
2019-07-11 02:12:44
1068
原创 centos下basemap的python包安装
1、下载basemapGit地址：https://github.com/matplotlib/basemap根据git的说明，安装步骤如下：下载zip包，如下：tar.gz包安装后，使用from mpl_toolkits.basemap import Basemap测试时，报错：AttributeError: module 'pyproj' has no attribute...
2019-07-11 00:20:05
1928
3
原创 centos系统python3.7安装及虚拟环境部署
1、配置yum国内镜像1）备份源：#mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2）下载源：#wget http://mirrors.163.com/.help/CentOS6-Base-163.repo#mv CentOS6-Base-163.repo /etc/...
2019-07-09 23:37:11
551
原创 Pyspark实战（五）pyspark+happybase操作hbase
Hbase环境参考上一章节安装happybasePip install happybase创建test.py，代码如下：from pyspark.sql import SparkSessionimport happybasedef hpbase(): spark = SparkSession.builder.appName('SparkHBaseRDD').mast...
2019-07-01 23:29:26
1039
原创 Pyspark实战（四）pyspark操作hbase
环境配置：Spark启动环境中添加hbase的jar包以及spark-examples的jar包。1、下载spark-examples jar包，地址https://mvnrepository.com/artifact/org.apache.spark/spark-examples_2.11/1.6.0-typesafe-0012、将下载的spark-examples包放在hbase的...
2019-07-01 23:09:49
1961
3
原创 Pyspark实战（三）wordcount算子分析
Pyspark的本质还是调用scala的jar包，我们以上篇文章wordcount为例，其中一段代码为：rdd.flatMap(lambda x:x.split( )).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y).foreach(lambda x:print(x))其中：flatMap，map为转换算子。reduceByKey，fore...
2019-06-28 01:01:23
576
原创 Pyspark实战（二）wordcount词频统计
E盘根目录创建test.txt输入测试内容如下：this is a testthis very goodyou is very goodwhat are you完整代码如下：from pyspark import SparkContext,SparkConfdef wordcount(): txtfile=r'E:\test.txt' c...
2019-06-27 23:40:33
1663
原创 Pyspark实战（一）环境部署
这里假设Python环境已经部署完成，相关版本如下：spark2.2.0，部署过程参考https://blog.csdn.net/luoye4321/article/details/90552674。 python3.7，部署过程参考https://www.runoob.com/python/python-install.html JavaJDK1.8以上版本 下载pyspark包使用...
2019-06-27 22:59:59
1837
原创 四、geotrellis发布TMS服务
本章节将上一章节创建的瓦片发布为TMS服务本章节将使用akka建立http服务并访问影像瓦片。使用maven构建测试案例，maven参见上一章节具体代码如下：import geotrellis.raster._import geotrellis.raster.render._import geotrellis.spark._import geotrellis.spark.i...
2019-06-20 00:27:25
1236
原创 三、geotrellis实现影像切片功能
本章使用scala实现影像的切片功能。步骤如下：一、环境及软件版本：1、Scala2.11.72、Java1.83、spark2.2.0二、使用maven构建测试案例1、maven依赖库如下：<dependencies> <dependency> <groupId>org.apache.camel</groupI...
2019-06-19 23:17:05
2891
1
原创 （二）基于Python的Geotrellis实现-栅格切片的简单案例
直接使用geopyspark提供的测试代码，我这里稍微进行了改造，步骤如下：1、pycharm创建python项目geotrellis-python-temple。2、创建py文件：geotrellis-hello.py3、代码如下：#引入以下三个包import geopyspark as gpsfrom pyspark import SparkContextfrom sh...
2019-05-31 12:11:45
1458
原创 （一）基于Python的Geotrellis实现-环境部署
关于GeotrellisGeotrellis是一款基于分布式存储和计算的栅格数据处理框架。使用环境说明1、PythonGeotrellis是基于Scala语言编程实现的，同时Geotrellis也提供了其他编程语言如Python、R语言的开发接口。由于项目的需要，这里使用Python语言，版本选择3.7.3，编译器选择pycharm2019.1。具体的安装和部署过程参见其他教程。2...
2019-05-31 12:03:57
1228
1
原创 windows下hbase部署和使用
这里假定hadoop已经部署完成（详细步骤可参考上一篇文章），继续进行hbase的安装，过程如下：1、下载Hbase2.0.5，下载地址：http://archive.apache.org/dist/hbase/，这里注意hbase和hadoop的版本，hadoop2.7.x以上，hbase2.0以上。2、解压并添加环境变量，如下：增加系统变量：HBASE_HOME=E:\geot...
2019-05-25 22:53:55
5156
4
原创 windows下hadoop的部署和使用
本教程在windows10环境下安装配置hadoop+hbase+spark。一、下载压缩包：1、JavaJDK，1.8以上。2、Hadoop2.8.3，下载地址：http://archive.apache.org/dist/hadoop/core/Hadoop2.8.3windows环境下的第三方包：winutils，https://github.com/stevelough...
2019-05-25 22:52:26
10776
6
原创 hbase出现org.apache.hadoop.hbase.PleaseHoldException: Master is initializing错误解决
使用hbase创建namespace和table时提示该错误，完整的错误日志如下：按照网上的解决思路：1、设置主机之间的NTP时间同步。2、修改hbase-site.xml配置文件<property><name>hbase.rootdir</name><value>hdfs://node1:...
2019-05-16 21:58:43
32377
14
原创 阿里云ECS服务器Centos7.6环境下部署CDH6.1.大数据集群
阿里云购买同一地区下的三台服务器，操作系统为Centos7.6，内网地址分别是172.17.58.37 ，172.17.58.38， 172.17.58.39，对应的节点分别为node1,node2,node3,node1为主机。部署CDH6.1.0,详细部署过程如下：一、基础环境配置（全部节点）1、修改主机名#hostnamectl set-hostname node1#vi /...
2019-05-10 23:43:37
1784
1
原创 go语言下redis部署和操作
Redis是基于C语言编写的开源数据库，支持Key-Value的持久化存储。Redis支持多种数据类型，value值可以是字符串、链表、集合和哈希类型。Redis支持push/pop、add/remove及去交集并集差集等的复杂操作。Redis最大的优势是读取性能高，Redis的数据缓存在内存中，所以读写效率高，同时Redis也可以将数据持久化到磁盘，保证大量数据的存储性。1、Ub...
2018-11-27 00:00:22
368
go仿QQ聊天程序
2018-10-15
Cesium加载OSGB倾斜摄影数据Demo
2018-06-01
CesiumforHelloWorld
2018-05-31
基于Openlayers的GIS组件设计
2018-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人