- 博客(29)
- 收藏
- 关注
RSS订阅转载 数据库知识：备份、容灾、集群、负载均衡
一、什么是备份【备份】是把数据拷贝一份，在其他介质保存。当数据丢失了，有备份可以用于恢复。无论是手动/自动，有副本就相当于完成了备份。至于能否恢复，恢复得是否完整，属于【容灾】的范畴。备份分为两种——冷备份：也称为离线备份，是指在关闭系统运行状态的人工手动备份热备份：热备份是指在系统运行的状态下，通过某种技术实现的自动备份。可以采用archivelog mode的方法热备数据库。它的优势在于，只需要提前设定好规则，就可以按照指定的周期和容量进行自动备份。二、容灾【容灾】是通过一些技术手段，在
2021-07-09 09:59:22
1161
原创 随机森林算法原理简要总结
①Random Forest 随机森林算法原理：即bagging法+CART算法生成决策树的结合。R F = bagging + fully-grown CART decision tree②bagging法的核心：bootstrap在原始数据集D中选择若干个子数据集Dt，将子数据集单个单个进行决策树生成。③随机森林的优点：可并行化计算（子集的训练相互独立），效率高继承了CART算法的优点（使用Gini系数选择最优特征及切分点）减小了完全生成树的弊端（因为完全生成树过于复杂，Ein小但E
2021-03-30 20:48:13
4183
原创 机器学习资源总结 | 含有效视频与博客
1.博客：机器学习算法的基本知识该博客包括常用的机器学习算法介绍和python代码示例。2.视频：机器学习基石（林轩田）主要包括机器学习的原理和常用概念的理解介绍，如果不懂机器学习是干什么的，那么这个课程就是答案。3.视频：机器学习技法（林轩田）主要包括常用算法的介绍，算法和第一个博客里面说的差不多。所以这个阶段可以和博客对照着看。4.有了视频和博客，还免不了动手实操印象更深刻。这时候可以在kesci或者天池找些案例手动敲一敲。做完的项目及时复盘总结。...
2021-03-30 20:24:14
137
原创 ArcGIS根据栅格文件转矢量要素转GeoJSON
前言：琢磨着用ArcGIS实现.tif文件转GeoJSON，搜索了各种方法，最后得出“TIF–>矢量要素（面要素）–>GeoJSON”的路径，成功实现了二值化遥感影像转GeoJSON.工具：ArcGIS的ArcToolbox具体步骤：在ArcMap中打开该TIF文件；点击ArcToolbox，在弹出框中选择“栅格转面”，生成矢量图层；在弹出框中选择TIF文件，后面（可选）项根据自己需要来选择，无特殊要求可以不选；转换结束后，在ArcMap界面中会有一个新的图层出现，这就
2021-03-03 16:37:55
4337
1
原创 java.lang.UnsatisfiedLinkError: org.gdal.gdal.gdalJNI.AllRegister()V | java调用gdal报错 | linux | centos
项目需要把java工程（使用到了gdal.jar）部署到虚拟机上运行。面临的问题和对应措施主要有以下几点：1.不论是windows还是linux环境，都需要安装gdal，二者安装后生成的gdal.jar是有差别的，所以把IDEA项目打包部署到linux中需要特别注意gdal的问题。稍微比较了一下，文件大小不一样，其内容的话没有深究：所以，要把项目部署到linux中，在Linux环境配置gdal是必不可少的。相应的参考博客：Linux下部署gdal的JAVA环境2.在linux环境配置好了gd
2021-01-22 14:18:27
4818
6
原创 java.lang.UnsatisfiedLinkError: org.gdal.gdal.gdalJNI.AllRegister()V | java调用gdal报错 | windows
项目需要，在springboot项目中使用了gdal.jar包的方法。启动项目时报错：java.lang.UnsatisfiedLinkError: org.gdal.gdal.gdalJNI.AllRegister()V（我还用到了opencv-2413.jar，同样启动报错：（java.lang.UnsatisfiedLinkError: org.opencv.core.Mat.n_eye(III)J（是类似的问题，可以采用同样的思路解决我的本地环境windows、jdk1.8、开发工具ID
2021-01-22 13:48:01
4784
原创 arcmap10.7打开tif文件一片空白 | 解决方法
0.首先查看tif文件的大小，确保其中有内容。1.如果是在同一个窗口中打开两种格式的图像，可能会让第二张图像无法显示。解决方法：关闭窗口，在新窗口中打开第二张图像。2.图像缺乏金字塔。解决方法：拖入文件至arcmap窗口时，会自动提示缺乏金字塔文件，点击"是"即可创建。然后就可以显示出图像了。示例：如果还是一片空白，试试更改"金字塔压缩类型"。比如我现在打开8UC1格式的tif文件时，需要选择压缩类型为JPEG，然后就可以正常显示了。显示出来了：祝成功！END...
2021-01-08 17:05:52
21454
原创 报错：FindContours support only 8uC1 and 32sC1 images | Unsupported data type (=4) | opencv java开发
关于findcontours函数的具体参数介绍参见博客：Opencv 轮廓检测相关api文档调用findcontours()方法时，所需的参数在python环境和java环境都是差不多的。如果出现这个报错，就可以锁定为是输入参数的格式不是所需要的8uC1 或 32sC1。先来看看这个函数需要的参数：c++:void findContours(InputOutputArray image, OutputArrayOfArrays contours, OutputArray hierarchy, in
2021-01-08 16:27:15
1743
2
原创 org.opencv.core.Mat.n_Mat(III)J | java项目opencv报错解决 | idea
项目运行报错：Exception in thread "main" java.lang.UnsatisfiedLinkError: org.opencv.core.Mat.n_Mat(III)J at org.opencv.core.Mat.n_Mat(Native Method) at org.opencv.core.Mat.<init>(Mat.java:477) at util.TypeConvertUtil.GDAL2MatFromLocalFile(TypeConvertUti
2021-01-05 17:15:40
3413
3
原创 linux环境下运行java项目jar包的脚本.sh
项目需要。先贴一个比较靠谱的脚本参考(可以直接用)，然后再说我修改完的脚本(如果前者报错，就用这个试试)。1.找到的脚本（可以直接用）：#!/bin/bash #这里(下两行)可替换为你自己的执行程序,其他代码无需更改 APP_NAME=stzc.jar APPFILE_PATH="-Dspring.config.location=/usr/local/stzc/config/application.properties"JVM="-server -Xms512m -Xmx512m -XX:P
2021-01-05 11:26:00
477
原创 linux配置gdal java python | 技术博客总结
最近的新任务是把一个java项目部署到Linux环境，该项目代码使用到了gdal，其中调用的python脚本也使用了gdal，所以两种环境都需要考虑和配置。如果只配置了python环境的gdal，运行时java代码中的gdal.Allregister()方法会因为找不到gdal而报错。技术博客总结：1.Linux下离线安装Python的GDAL包2.Linux下部署gdal的JAVA环境3.Linux下安装Ant（因为在2中发现虚拟机没有安装ant，所以）记录踩过的坑：1.idea项目打包时
2021-01-04 16:38:00
226
1
原创 Linux离线安装Python的GDAL包 | 源码包下载地址
环境：centos7 \ python3.7教程：Linux下离线安装Python的GDAL包源码包下载链接：projgeosgdal按此路线成功安装。
2020-12-29 15:16:13
1141
原创 centos7离线安装python3.7
参考博客：Centos离线安装Python以上参考博客写得很详细，附带的百度云盘链接（链接：https://pan.baidu.com/s/1RBmPcHim2OWbwNtY3XzlSw ，提取码：ovjm）里有需要的所有文件，但是注意他安装python版本为3.6.5。而安装python3.7需要增加一个环境依赖：libffi-devel-3.0.13-19.el7.x86_64.rpm下载方式：1.点击网页（这个网址也可以搜索到python安装的其他环境依赖）2.或者百度云链接：https:/
2020-12-29 09:47:35
742
原创 es中Date类型需要注意的问题
es的Date类型默认支持的格式是有限的。仅支持格式:"yyyy-MM-dd""yyyyMMdd""yyyyMMddHHmmss""yyyy-MM-ddTHH:mm:ss""yyyy-MM-ddTHH:mm:ss.SSS""yyyy-MM-ddTHH:mm:ss.SSSZ"不支持常用的格式："yyyy-MM-dd HH:mm:ss"若要使用上面这种格式，则需要在文档建立时就指定该Date类型接收的格式format：PUT /crazy{ "mappings":{ .
2020-09-10 21:28:41
4548
转载 遗传算法训练人工神经网络 MATLAB实现 | GA BP-ANN
参考：遗传算法优化BP神经网络写在前面：为了完成建模课的作业，找了很久才找到可以使用的一个源码和这个很好的博客????。在此记录一下。这是一个利用遗传算法实现BP人工神经网络的matlab代码，可用于实现2层（隐藏层数=1，不计输入层，则共2层）的BP-ANN。源码下载：github-> GA-ANN简单说一下使用方法：主要是修改各层的节点数，还有把data.mat中的数据换成自己的。就可以跑了。使用效果见【参考】中的原博客。...
2020-08-21 21:14:14
4342
12
原创 centos7安装kibana6.4.3 | elasticsearch集群 | linux
参考：1.手动安装：linux（centos7中）中安装kibana2.yum安装：CentOS7使用yum安装kibana-6.1.13.下载最新版：Download Kibana4.下载以往的版本：Past Releases写在前面：虚拟机与外网能够通信的，可以使用yum安装，操作步骤如【参考】中的第二个链接。也可参考官方指南->install kibana with RPM我的环境：1.es集群，多主模式。由于kibana暂不支持集群模式（同时与多个节点通信），所以选择安装在一
2020-08-21 20:37:01
316
原创 ElasticSearch 集群搭建 | hadoop | 复盘
参考来源:ElasticSearch 介绍及应用场景Windows 环境安装Elasticsearch通过Spring Data Elasticsearch操作ES[这三篇博客由同一个作者写出,从windows系统入手elasticsearch,写的很好]
2020-08-21 10:48:44
115
原创 centos7 克隆虚拟机改ip
克隆后，登入系统。（注意切换为root用户才有权限）因为是克隆嘛，以前的机器上该配的都配好了，现在主要是要修改ip设置。在/etc/hosts 加上这个新的Ip和主机名映射打开ens33，修改ip，mac地址vi /etc/sysconfig/network-scripts/ifcfg-ens33ip是自己定义的，mac地址是自动生成的。从网络适配器–高级选项，可以查看：...
2020-05-29 21:15:46
1348
2
原创 centos7 集群配置常用命令 | 更新中
[root@hadoop101 hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode[root@hadoop101 hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode[root@hadoop101 hadoop-2.7.2]# sbin/yarn-daemon.sh start resourcemanager[root@hadoop101 hadoop-2.7.2]# sbin/yarn-dae
2020-05-29 09:57:28
338
原创 yarn 8088 页面无法打开：拒绝连接请求
前言：namenode, datanode, resourcemanager, nodemanager全部正常启动，但是无法打开web页面：http:// 本机IP :8088/cluster。这个问题的解决，有两个思考方向：1.本机与虚拟机网络连接问题：查看本机与虚拟机能否ping通，如果不通那就是虚拟机无法与外界通讯，常见的是虚拟机防火墙未关闭的原因。（如果是没有设置过虚拟机网络的，得去搜配置教程。。这个应该是在配置yarn之前早就解决的问题啦）<我的50070端口的web页面可以正常打开
2020-05-24 22:40:06
15109
4
原创 MapReduce 作业状态卡死 ACCEPTED: waiting for AM container to be allocated, launched and register with RM.
前言：配置好了yarn后，跑wordcount的例子，但是一直未完成。web页面查看任务状态为：ACCEPTED: waiting for AM container to be allocated, launched and register with RM.在web页面查看其状态，如果active nodes为0，首先考虑是nodemanager没有正常启动。（下图是已经正常启动后，完成了任务的界面。如果是任务卡死，那么Apps Completed 就是0）#jps 查看当前的进程如果没有
2020-05-24 21:59:10
6559
原创 Office2016激活报错：0xC004F017 | 终极解决方案
前言看网上对于这个报错没什么解答，就贴在这里。版本：office 2016 专业增强版资源：学校下载的正版软件+学校的注册激活软件详情：之前激活成功的2016又提示说没有激活了；于是又用激活软件进行激活，但是激活不成功，报错0xC004F017。问题分析报错0xC004F017错误描述：产品密钥被阻止或许可证未安装错误原因：1) office的版本不对，激活客户端仅支持平台提供...
2020-05-07 15:22:54
50044
原创 MATLAB | 应用程序无法连接到Mathworks - 终极解决方案 | 正版软件安装
前言：用学校申请的账户，在官网下载的安装助手。启动setup.exe，然后登陆账户，选取许可证结束后。单击“下一步”就报错：应用程序无法连接到Mathworks.对于这种报错，先贴一个官网的解答一般情况都可以解决：（比如关防火墙、杀毒软件、添加系统变量、关掉代理）https://ww2.mathworks.cn/matlabcentral/answers/92634-why-do-i-get-...
2020-04-29 21:44:59
24923
45
原创 centos7 | hdfs的web端下载报错 | 本地可以新建目录、上传文件、跑examples、查看output结果；web端可以查看文件目录；唯独不能从web端下载
前言：如题，系统cenos7。小白，第一次学习配置hdfs，单节点：按老师示范的顺序，完成了hadoop-env.sh文件中设置Java的绝对路径，修改core-site.xml，hdfs-site.xml。第一次启动格式化了namenode，然后正常启动namenode,datanode。jps命令查看发现全部正常启动了。为了能正常访问hdfs的web页面，按-50070无法访问的解决方...
2020-04-23 11:54:05
382
原创 centos7 | tar解压的时候出现错误 gzip: stdin: not in gzip format
Linux中解压hadoop的压缩包报错： gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now原因是这个文件不是gzip格式所以解压命令，不用加z。（不是所有的解压包都得用 -zxvf）用-xvf就可以了。如果还是不能成功解压的话...
2020-04-19 23:46:22
1141
原创 centos7自带openjdk | javac命令报错bash:javac:command not found | yum provide javac
前言：centos7，没有另外手动安装过jdk。检查java -version发现自带了jdk。但运行javac命令报错：bash:javac:command not found/问题分析：自带的jdk默认只安装了运行环境（找到jdk的安装目录下，发现只有jre文件夹，没有bin、lib等文件夹）。自查方法：（1）先找到jdk的安装目录[root@localhost home]# whi...
2020-04-18 14:24:31
5775
4
原创 IDEA与mysql连接-自动联网下载所需jar包-常见报错处理
走了些弯路，自己复盘下前言：因为自己在structure里头配置的jar包好像不适合，所以用IDEA自带的功能来配置试一下。成功了。IDEA NB。可用IDEA自带功能来连接mysql（这样会自动联网下载“mysql-connector-java-8.0.15.jar”（1）打开IDEA，选择菜单栏的View->Tool Windows->Database。（2）点击右边...
2020-03-29 23:27:58
1167
原创 安装mysql8.0教程
下载安装->配置环境变量の全套路线（win10)第一步：下载&安装mysql。详细教程参考，亲测实用：https://zhuanlan.zhihu.com/p/37152572（省内存就选“server only”的安装模式）从官网下载msi，需要vpn速度才提的起来。这里给一个8.0版本的msi可自取：链接: https://pan.baidu.com/s/1hbJt2-g...
2020-02-26 21:10:15
129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人