自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(40)
  • 收藏
  • 关注

原创 日常开发中比较实用的命令行(二)

日常开发中比较实用的命令行(二)

2022-12-02 17:29:05 189 1

原创 Java实现从Redis中批量读取数据

Java实现从Redis中批量读取数据

2022-09-16 19:38:17 7950 4

原创 日常开发中比较实用的命令行

日常开发中比较实用的命令行

2022-09-01 17:56:50 514

原创 关于http请求、文件处理以及空间地理信息处理的工具类介绍

本篇主要是搜集了日常开发中比较常用的几个工具类,他们均以Java实现,包含了比较常用的方法。比如Java实现http常见的get和post请求,Java实现文件内容读写,Java实现处理空间地理信息数据,比如合并四维空间数据的处理等。...

2022-08-29 12:00:05 687

原创 批量执行SQL文件

批量执行SQL文件,匹配处理数据库的命令,可用于批量数据迁移和导入。

2022-06-23 18:02:54 2569

原创 php 实现无限极分类树(递归及其优化)

一、需求描述接口功能描述:查询国内完整的行政区划信息,即所有的省份、省份下所有的地级市、地级市下所有的区县,所有的数据只返回 id、admincode、name、simple_name、lng、lat 六个字段。二、背景概述目标表结构:CREATE TABLE `lbs_district` ( `id` char(19) NOT NULL DEFAULT '0' COMMENT '19位ID', `parent_id` char(19) NOT NULL DEFAULT '0'

2022-05-31 19:25:29 956

原创 MySQL的一万个细节之被忽略的命令串儿:--default-character-set=utf8

一.背景概述上周接到数据迁移的任务后,截止周末来临前,终于完成了数据迁移的工作。我本以为此事就此了结了,却没想到在周一刚上班就被一个问题糊上了脸。导入的数据,只要涉及到中文的,全是乱码。二.过程既然同事反应问题,我立马自己亲自验证了,结果当然是否认三连啦。奇怪的是,两人把各自的结果拿到一块对比,同一张表,同样的查询SQL,我这边执行查询显示正常,同事那边显示乱码。为了解决问题,两人一起一一排查。由于操作数据库是通过secureCRT远程连接服务器,通过命令行操作,所以首先检查secu

2022-03-08 14:38:07 3654

原创 Java从SQLite库的表中读取Blob类型数据,并使用GeomFromText()函数将数据存入MySQL表的wkt字段,类型为geometry

一.背景概述本周接到一个需求,需要将SQLite中一张表的数据迁移到MySQL库里,拆分为多张表存放数据。SQLite中的迁移对象表为:tm_world_region,其表结构如下:CREATE TABLE tm_world_region(id integer not null,name varchar(60),districtid varchar(20),fullname varchar(60),geoloc blob, lng double default 0, lat double defa

2022-03-04 20:00:17 2560

原创 十四、MySQL备份和恢复数据库

1、备份和恢复的方法1.1、转储对数据库的所有内容自行导出的操作称为转储(dump)。我们通过执行mysqldump命令来转储MySQL数据库。 Mysqldump命令会将数据库的配置和数据本身所谓SQL语句写出来,也就是通过“CREATE TABLE ...”创建表,然后写出“INSERT INTO ...”这样的SQL语句。 通过转储到处的信息是由SQL语句生产的文本。1.2、恢复把通过mysqldump命令导出的数据还原到数据库中的操作称为恢复(restore)。2、使用mysq

2021-09-17 22:31:15 343 1

原创 十三、MySQL使用文件进行交互

1、通过命令提示符执行编写在文件中的SQL命令格式:mysql 数据库名 -u 用户名 -P 密码 -e “MySQL监视器的命令”演示:2、将SQL的执行结果保存到文件中2.1、通过mysql命令使用重定向格式:mysql -u 用户名 -p密码 > 文件名演示:2.2、使用重定向输入SQL语句,并通过重定向将结果输出到文件格式:mysql -u 用户名 -P密码 < 文件路径\文件名 > 文件名2.3、使用tee命令将SQL

2021-09-16 23:04:40 130

原创 十二、MySQL的事务

1、关于存储引擎1.1、什么是存储引擎?根据前台部分的指示,完成查询和文件操作等工作的功能,即“后台”部分。这个后台部分称为存储引擎。1.2、存储引擎的种类MySQL中可以使用的主要存储引擎:MyISAM。以前版本(MySQL5.4或5.4之前)中的默认存储引擎。虽然能够高速运行,但是不支持事务和外键。 InnoDB。MySQL5.5或者更高版本的默认存储引擎。是唯一一个支持事务的存储引擎。 BLACKHOLE。写入的任何数据都会消失,查询始终返回空结果。主要用于复制。 MERGE

2021-09-16 22:41:42 134

原创 十一、MySQL的存储过程

1、什么是存储过程?将多个SQL语句组合成一个只需要使用命令“CALL xx”就能执行的集合称为存储过程(stored procedure)。“存储”(stored)表示保存,“过程”(procedure)表示步骤。也就是说,存储过程是将一系列步骤归纳并存储起来的集合。2、使用存储过程2.1、创建存储过程格式:CREATE PROCEDURE 存储过程名()BEGIN SQL 语句1 SQL 语句2...END从BEGIN到END为止的内容是存储过程

2021-09-15 22:20:35 178

原创 十、使用MySQL的视图

1、什么是视图?将SELECT的结果像表一样保留下来的虚表就是视图。视图不是表。因此,视图中并没有保存记录或者列中的数据。视图是一种信息。2、使用视图2.1、创建视图格式:CREATE VIEW 视图名 AS SELECT 列名 FROM 表名 WHERE 条件;演示:2.2、通过视图更新列的值操作命令:UPDATE v1 SET name='书记*张三' WHERE name='张三';演示:由此我们可以得知,如果更新视图的值,其基表的记录也会随之更

2021-09-15 20:59:19 174

原创 九、MySQL多表查询

1、组合查询1.1、多条查询结果组合显示格式: SELECT 列名1 FROM 表名UNION SELECT 列名2 FROM 表名2;演示:1.2、使用UNION组合3个以上的表命令: (SELECT * FROM WHERE empid=’A102’) UNION (SELECT * FROM empid=’A103’) UNION (SELECT * FROM

2021-09-14 22:58:57 123

原创 八、MySQL编辑数据

1、使用update更新数据1.1、更新所有数据格式:UPDATE 表名 SET 列名 = 设置的值;UPDATE命令通常在通过WHERE设置条件之后,以特定的记录为对象执行。如果没有使用WHERE设置条件,所有的列都会被替换掉,因此必须小心处理。演示:1.2、只修改符合条件的记录格式:UPDATE 表名 SET 列名 = 设置的值 WHERE 条件;1.3、将销售额最低的3条记录的备注修改为“加油!”2、复制符合条件的记录2.1、仅复制指定记录

2021-09-12 23:14:22 426 1

原创 七、MySQL中的复制、删除表和记录

1、复制表的列结构和记录格式:CREATE TABLE 新表名 SELECT * FROM 源表名;演示:2、仅复制表的列结构在CREATE TABLE 命令的表名后面加上LIKE指定复制的元素。格式:CREATE TABLE 新表名 LIKE 源表名;演示:该方法也会复制AUTO_INCREMENT和PRIMARY KEY等列的属性。这是一种不复制记录,只复制列结构的方法。3、复制其他表的记录格式:INSERT INTO 表名 SELECT *

2021-09-12 22:15:03 1001 2

原创 六、MySQL使用各种条件进行SELECT

1、选择列的显示内容并执行SELECT1.1、准备表tb如图:1.2、改变列的显示顺序操作命令:SELECT sales,empid FROM tb;演示:1.3、使用别名(alias)格式:SELECT 列名 AS 别名 FROM 表名;演示:2、计算列值或处理字符串之后显示列2.1、使用列值进行计算并显示操作命令:SELECT sales*10000 as 销售额 FROM tb;演示:2.2、使用函数进行计算

2021-09-12 18:41:45 1885

原创 五、MySQL设置表的操作

1、设置主键1.1、什么是主键?主键时子阿多条记录中用于确定一条记录时使用的标识符。主键准备以下特征:没有重复的值。 不允许输入空值(NULL)。1.2、创建主键格式:CREATE TABLE 表名(列名 数据类型 PRIMARY KEY ...);演示:项目Key中显示PRI表示主键PRIMARY KEY。另外在项目NULL中,列a显示为NO,这表示不允许输入NULL,即不允许输入空值。2、设置唯一值格式:CREATE TABLE 表名(列名 数据类

2021-09-10 23:04:20 642

原创 四、MySQL的ALTER TABLE命令的使用

1、查看所建表的编码格式格式:SHOW CREATE TABLE 表名;演示:2、修改表的编码格式格式:ALTET TABLE 表名 CONVERT TO CHARACTER SET UTF8;演示:3、修改列队数据类型格式:ALTER TABLE 表名 MODIFY 列名 数据类型;演示:4、添加列格式:ALTER TABLE 表名 ADD 列名 数据类型;演示:5、修改列的位置5.1、把列添加到最前面格式:

2021-09-08 23:03:16 6396 7

原创 三、MySQL中的数据类型和数据输入

1、数据类型1.1、常用的数据类型表5-1中列出了常用数据类型的种类。1.2、输入数值数据数值也可以使用指数表示法输入。在使用指数表示输入的情况下,需要使用符号“E”。例如,当向表tb1的INT类型的列age中输入10000(1万)时,如果使用指数形式,就是下面这种形式:INSERT INTO tb1a (age) VALUES(1E+4);2、字符串类型2.1、常用的字符串数据类型一般地,长度不超过255个字符的是VARCHAR,超过255个字符的是TEXT。

2021-09-08 22:08:40 917

原创 二、MySQL建库建表的相关操作

1、创建数据库格式:CREATE DATABASE 数据库名;因为MySQL不区分大小写,所以哪种输入都可以。也就是说,CREATE DATABAE、Create DataBase、create database表示相同的命令。笔者习惯将SQL语句的关键字同一大写,参考者可自行决定命令输入风格。演示:2、确认数据库SHOW命令可以用于确认数据库的信息。大部分信息能通过SHOW命令显示出来。格式:SHOW DATABASES;演示:3、mysql数据库.

2021-09-07 23:13:58 3199 1

原创 一、MySQL命令行界面

1、启动MySQL监视器格式:mysql -u 用户名 -p密码“-u 用户名”和“-p密码”都是选项。以上的格式中,执行mysql命令的同时也指定了用户名和密码。如果没有设置密码,则不需要输入“-p密码”选项。一般刚刚安装好MySQL,初次登陆时不需要密码。“mysql”和“-u”之间,以及“用户名”和“-p”之间,都需要输入空格。但是“-p”和“密码”之间不能有空格,否则,会发生错误。演示:mysql -u root -p123456这种操作命令存在安全隐患,-p中设置的.

2021-09-06 22:41:41 3706 7

原创 MySQL操作手册

前言该手册所有MySQL命令均在MySQL5.5或者以上版本有效。该手册是基于笔者结合个人学习和实际应用过程中总结出来的,严格讲是自己做的笔记。笔者使用MySQL监视器来操作MySQL。笔者的MySQL安装环境是一台4G内存,40GSSD硬盘的阿里云服务器,采用CentOS7.9版本的Linux系统,MySQL的版本为5.7。选择何种环境何种方式操作MySQL有参考者按个人习惯自行决定。使用人群该手册采用命令或SQL语句描述+演示展示(截图)等形式,适用于MySQL初学者和想要了解MySQL的群

2021-09-03 23:59:23 486

原创 Java8 的字符串list分组、排序和SQL的to_char函数使用

一、背景本篇出自最近笔者所负责项目的一个需求。开发之余,就此次功能实现过程,结合最近所学所感,笔者做了些记录,留下此篇。这是笔者此次需要实现的需求效果图:首先就是这个当前页的时间轴数据展示,于前端讲就是个数组,于后端讲就是个list数据结构。本次项目,前端采用Vue,后端则为spring boot+Mybatis。二、数据格式经过和前端反复扯皮,基本确定了返回数据格式(当然,这是笔者胡说的,事实上此后还经过两次变动)。格式如下:data: [{ year: '20

2021-05-26 17:29:27 804 4

原创 从ArrayList和LinkedList测试对比谈一谈我最近的一些想法

笔者最近重温数据结构和算法,同时也兼顾看一些JDK的源码。结合一个小测试,想谈谈我最近的一些想法。提醒一下,本篇非技术资料分享,如果大家不喜欢或者引起您的反感,请自行离去。大学时代学过C语言版的数据结构,除了考试外,在校期间找实习工作,毕业找工作的时候用到过,而参加工作以后就从未再碰过了。有很多人认为只要实现功能,完成任务就好,数据结构和算法能在实际中应用到场景很少。说实话,最开始工作的时候,我也慢慢的默认了这种观点。笔者现在身处一家小公司,主要做ToB业务,客户主题是政府和第三方。有时候很简单,就是要

2021-05-16 02:26:57 143

原创 springboot项目log4j2启动报错 Logback configuration error detected

背景上周换了一台新机器后终于把开发环境配好了,然后本人拉取了当前正在开发的项目和被人的本地分支加载。本来以为可以安心地继续写代码了,不曾想在启动Debug模式时出现了问题。 2.问题项目Debug模式启动时,很快就遇到如图所示的问题:我的logback配置文件如下:还有我的项目全局配置文件:而我的pom文件如图:<?xml version="1.0" encoding="UTF-8"?><project xmlns="htt...

2020-09-08 11:21:42 865 1

原创 出现身份验证错误。 要求的函数不受支持, 远程计算机:192.168.0.101 这可能是由于CredSSP加密数据库修正。 若要了解详细信息,请访问https://go.microsoft.com/

我的电脑是Windows10,不知怎么滴莫名其妙的自动重启。我登录后,使用远程连接登录公司服务器,出现如下错误:查了查资料,很多资料显示需要修改组策略,但是我的电脑没有组策略。最后,修改注册表后才解决了这个问题。步骤如下:1、win+R快捷键(或者开始——> 运行),输入regedit,回车,打开注册表。进入目录计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\,

2020-05-14 16:25:05 7080 6

原创 spring boot项目中引入swagger2,遇到的问题:Correct the classpath of your application so that it contains a singl

一、引入相关依赖<!--在线文档 http://localhost:5170/swagger-ui.html#/--><dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> ...

2020-04-09 12:49:37 924

原创 Vue中实现图标拖拽排序

背景概述作为一名后端菜鸡,笔者从未想过自己会涉及到前端开发,但是最近,老板提出项目的前端页面有些需要优化,提了一大堆需求,我和同事也很懵逼,因为我们两谁都没搞过前端!老板说:“没事,试试看,这对你们来说应该不难!”话都说到这份儿上了,还能怎么滴?上呗.....和同事总结了一下需求点,领了任务就一头扎入代码里。首先要就是实现页面4个图标的拖拽排序。过程第一步、...

2019-11-13 18:32:05 2082

原创 Error while importing sbt project: Error occurred during initialization of VM Could not reserve eno

最近换了机器,将开放环境迁移到新的笔记本上,一直用着没啥问题,但是今天在导入新的项目代码时,错误提示:Error while importing sbt project:Error occurred during initialization of VMCould not reserve enough space for 2097152KB object heap然后开始调参...

2019-10-17 17:55:50 386

原创 Geotrellis-spark-hbase-json

背景概述应老板要求,指定我去搞定公司影像数据切片、存储至hbase后发map服务。数据处理方面,公司采用了Geotrellis-spark-ETL架构,之前处理好的数据一直存储到HDFS或者Accumulo中。鉴于处理后的数据产生太多小文件,对公司集群有压力,而Accumulo又是小众化,相应的开发,维护等等方面的资料奇缺,性能也不理想,所以老板考虑将数据全部迁移到hbase中。过程...

2019-08-07 10:44:33 573 8

原创 虚拟机群桥接并入局域网

概述随着集群的完善,分布式切片顺利的测试通过,进入了实质的发地图服务阶段。公司基于虚拟机搭建了比较庞大的spark,Hadoop集群,本人本地机也有小型的spark集群,其网络模式均采用NAT模式,无法有效利用公司局域网,也不方便其他开发、测试人员共享集群资源,所以决定将所有集群改造为桥接模式,并入公司局域网。本篇,以我本人本地安装的spark集群中的一个节点的虚拟机为例,来慢慢阐...

2019-06-20 13:42:24 360

原创 Spark-ETL测试

Geotrellis-spark-etl测试前提条件进行到这一阶段,我们假设你已经具备了基本的spark,scala开发的能力,对Geotrellis也已经并不陌生,至少我们假设你已经使用过它,实现了一些简单的示例。如果你没有具备以上条件,请自行参考相关资料,比如官方文档(强力推荐),同时我们也提供了《Geotrellis使用初探》,应该会对您有所帮助。在开始...

2019-05-22 10:44:37 962 2

原创 Spark作业运行时,报错java.io.IOException: Mkdirs failed to create directory file:/home/tmp/catalog/example/

今天在公司集群上将自己打好的jar扔上去,以spark2-submit脚本提交作业,等到接近中午时候,回头去看,发现报错:Job aborted due to stage failure: Task 10 in stage 6.0 failed 4 times, most recent failure: Lost task 10.3 in stage 6.0 (TID 123, ...

2019-05-20 13:11:53 4352 8

原创 Spark集群调试,测试实录

背景概述 基于yarn模式的spark集群,共8个节点。其中,Hadoop和spark均采用CDH5.12.1版本,独立一个节点部署Cloudera Manager Server5,NameNode和SecondNameNode部署于同一个的机器上。这是一个小型的用于生产环境测试、开发的集群,通过Cloudera manager 管理控制控制平台进行管理和监控。在...

2019-04-25 10:04:51 710

原创 Windows 2012 R2设置同一用户(2人使用相同用户账号登录)同时多点远程系统)及3人以上同时登录

昨天下午,有开发同事提出,新购进的两台机架服务器无法满足同一用户(2人使用相同用户账号登录)同时多点远程系统)及3人以上同时登录,老板转手把这个问题甩给了菜鸡的我,表面上兴高采烈地,心里慌得一批。 首次接触生产环境下的服务器,公司采用了Windows 2012 R2系统,百度之,Google之,发现别人给的案例在这里好像不起作用。踩过几次坑后,终于把问题提解决了,故整...

2019-04-16 15:15:20 4983

原创 Scala学习之旅——发现《Scala 学习手册》一个小问题

近期由于工作需求,小弟踏上了Scala学习之旅,参考《Scala 学习手册》,练习书中给出的示例代码。在114页第七章使用数组的示例代码时,发现如下错误:红框部分代码,最初看上去很像"<<"这个符号,结果报错:在试过两次可能的符号后,换为双引号,结果代码通过,与示例相同,如下:或许是印刷错误,或许是本人眼神不好等等,记录小这个小小的错误,希望可以给大家提个醒吧。...

2019-03-26 17:54:29 223

原创 GeoTrellis使用初探

概述进行到该阶段,我们假设您已经完成了geotrellis 版本选型和环境搭建;熟悉本公司的大数据架构原理;初步了解了geotrellis,并且在开发环境中构建了geotrellis配置;可以参考官方文档和有关资料,运行其给出的demo示例,那么恭喜您,可以愉快地进入该阶段。如果您未经历或完成上述阶段,请参考公司相关文档:《geotrellis 版本选型和环境搭建》《飞未...

2018-12-11 18:19:00 887

原创 Spark开发环境搭建(Spark2.2+IDEA2018.2.6)

一、安装单机模式Spark1.Spark运行环境2.Spark下载下载地址:http://spark.apache.org/downloads.html搭Spark不需要Hadoop,如有Hadoop集群,可下载相应的版本。我选择了Spark2.2版本,对应Hadoop2.7。3.解压4.Spark目录bin包含用来和Spark交互的...

2018-11-15 15:32:35 229

原创 spark2-shell启动spark2报错

1、spark2-shell命令启动spark2后,抛出异常,关键错误信息如下图:仔细查看错误信息之后发现,原来是yarn配置的内存不够,spark启动需要1024+384 MB的内存,但是我的yarn配置仅有1024 MB,不够满足spark启动要求,所以抛出异常。解决方法 录Cloudera Manager,找到YARN (MR2 Included),点击进入,如图...

2018-11-12 17:42:41 1085

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除