- 博客(141)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 得到经纬度数据使用Plotly画世界地图（美赛心得）
因为做到一个题是关于亚马逊的起火问题，需要使用经度维度和其他数据，于是需要针对纬度和经度做一个世界地图可视化，为大家提供一个思路吧使用plotly的map模块https://plotly.com/python/maps/可以做许多类型的图，一般都是需要在地图上画点，可以使用px.scatter_mapbox函数，给出一个官方的例子px.set_mapbox_access_token(open(".mapbox_token").read()) #为了得到读取token的权限df = px.data.ca
2021-02-03 16:00:21
4846
2
原创 多人协作数据库 云服务器搭建 mysql
在疫情中做数据库实验，需要合作使用一个数据库，因为把自己电脑作为主机非常麻烦，于是找了一个便宜的mysql服务器来搭建，以下是搭建过程，首先进入网址https://cloud.tencent.com/act/campus接下来可以购买服务器，购买服务器就是使用最简单的配置就行接下来回进入这样一个界面这两个选最少的就行，然后会进入这样一个界面点击最右端的初始化初始化填写自己的密码，字符集不用改等待重启就可以了接下来点击右边的管理看到这样一个画面，点击开启外网地址,这里需要等个
2020-05-19 22:00:15
3738
1
原创 快速上手efficient(keras)
efficient作为一个2019年的新模型，思想就是用一个系数来改变模型深度、宽度与分辨率来提高性能这篇文章主要讲如何快速应用efficient net，原理可以看原论文或者https://blog.csdn.net/BEYONDMA/article/details/91146289这里我们可以首先直接使用别人的库github 地址RequirementsKeras >= 2...
2020-02-05 15:08:51
6669
11
原创 wsl 使用sudo没有权限
在wsl中使用sudo时报错，出现下面情况。然后将对/etc/sudoers赋予权限。这时只需要登录wsl中的root用户。之后登录pc用户即可使用sudo权限。
2022-11-28 16:32:18
930
1
原创 JetBrains Client 设置内存大小
这几天在使用JetBrains Client进行远程java开发的时候遇到内存不足直接退出的情况，修改了远程的vm option没有效果，后面发现可以通过在help找到改选项解决。
2022-11-23 23:30:25
795
原创 Airflow docker init数据库启动搞错
看报错可以得知是权限错误，所以需要将本地对应的volume设置权限为可写入，故对本地所关联的volume设置权限为。
2022-10-17 15:59:55
959
原创 datahub报错问题
我报错的原因是hive在宿主机的端口上，而在datahub中新增元数据有两种方式，一种使用网页ui，一种使用CLI，其实本质都是使用yaml配置文件进行配置，但是在ui中使用的好处是之后可以复用之前的配置导入，但是由于ui是在内网执行命令，所以穿透到宿主机访问hive比较麻烦，所以在写host:port时注意docker内部能访问到服务就好了。在使用datahub 网页时报了这个错。
2022-10-09 00:00:08
1409
原创 SpringBoot项目修改JDK后报错(class file version 55.0)解决方法
但还是要看一下根本原因，这上面报错的意思是编译使用的是11，用来运行的确实8，所以有可能是jar包没有更新，而maven在编译的时候如果没有更改将不会重新生成target，这时我们就可以删除target目录，让其使用java 8 重新编译一次就好了，按照很多方法还是不行，比如下面这个。
2022-09-21 16:56:27
1638
原创 hive引擎为 mr时报错解决方法
当遇到这种问题时，当hive使用mr的时候会出现此问题，这时候不仅需要改变namenode和datanode中的yarn-site.xml配置，同时需要改变hive目录下的yarn-site.xml配置，这可能是调用mr时是使用的hive的classpath。
2022-09-14 12:47:01
1083
原创 一键安装hadoop伪分布集群脚本
因为hadoop是大数据必用的组件，经常用来测试需要重新安装，用docker又不是很方便，于是写了一个脚本，可以在centos7上进行安装
2022-07-11 00:14:55
320
原创 vscode无法远程ssh服务器(重装系统也相同)
这几天在使用服务器的时候遇到了一个问题，就是远程服务器死活连接不上了，并且我以为是服务器的原因，后面发现重装系统也连接不上，于是看了一下vscode的报错这上面说明ECDSA host key出了问题，我想大概率只要在自己的机器上将这个删除就好了，于是使用命令再进行连接就成功了。...
2022-07-07 00:18:26
676
原创 maxwell 报错（连接为mysql 8.x）解决方法
这几天再在使用maxwell时maxwell一直报下面的错，后面发现是版本中使用的为utf8mb3，一直没有改变编码成功，后面将mysql修改为5.x版本就解决了问题。
2022-06-26 18:17:27
1276
4
原创 big data tools连接远程服务器上的HDFS等部件
big data tools连接远程服务器上的HDFS等部件 最近在IDEA中遇到了连接服务器HDFS的需求，如下图所示这样可以方便的看到HDFS的文件结构，其中连接远程需要使用tunneling进行连接，首先连接上ssh，然后直接连接9000端口就好了（端口根据namenode 的设置有关系）...
2022-05-27 12:58:15
551
原创 构建Hive实验服务器
构建Hive实验服务器需求 最近在学Hive，需要构建一个Hive的环境进行实验，但是Hive是搭建在Hadoop上面的，于是需要重新搭建一次Hadoop，于是可以使用docker来进行实验，这样的情况下可以进行学习。构建docker 使用docker-compose进行构建，git项目地址为：https://github.com/panovvv/bigdata-docker-compose,使用如下命令git clone https://github.com/panovvv/bigdata
2022-05-27 12:53:42
191
原创 Table ‘ambari.members‘ doesn‘t exist 解决方法
Table ‘ambari.members’ doesn’t exist 解决方法这几天在装ambari的时候，登录界面arima报了错，报错如下:，于是通过找sql语句CREATE TABLE members ( member_id INTEGER, group_id INTEGER NOT NULL, user_id INTEGER NOT NULL, CONSTRAINT PK_members PRIMARY KEY (member_id),# FOREIGN KEY (g
2022-05-16 02:36:47
529
原创 Ambari 在deploy时出现错误
Ambari 在deploy时出现错误需求 在经过很多步布置之后突然遇到了一个提示Upload Version Definition File Error 查到了一个方法，上面说的是进行如下步骤ambari-server stopambari-server resetambari-server start 在这样的步骤之后重启之后就成功了，当然也可以使用以下日志进行判断tail -fn 1000 /var/log/ambari-server/ambari-server
2022-05-16 02:36:16
358
原创 Table ‘ambari.members‘ doesn‘t exist 解决方法
Table ‘ambari.members’ doesn’t exist 解决方法这几天在装ambari的时候，登录界面arima报了错，报错如下:，于是通过找sql语句CREATE TABLE members ( member_id INTEGER, group_id INTEGER NOT NULL, user_id INTEGER NOT NULL, CONSTRAINT PK_members PRIMARY KEY (member_id),# FOREIGN KEY (g
2022-05-16 01:43:59
408
原创 mysql centos不能进入
ERROR 2002 (HY000): Can’t connect to local MySQL server through socket‘/var/lib/mysql/mysql.sock’这个我遇到了很多次，网上有很多解决方法，我试了很多次，都不对，但是不用怀疑，你可能就是没打开mysqld，使用下列命令试一下service mysqld start然后使用下列命令查看一下，如果是绿色的就可以进入了。systemctl status mysqld...
2022-05-13 02:12:23
263
原创 在安装过5.多mysql版本后安装mysql8.x后的错误
2022-05-12T18:05:47.938711Z 1 [ERROR] [MY-013168] [InnoDB] Cannotupgrade server earlier than 5.7 to 8.0 2022-05-12T18:05:48.178718Z 1[ERROR] [MY-011013] [Server] Failed to initialize DD Storage Engine.2022-05-12T18:05:48.179828Z 0 [ERROR] [MY-010020] [.
2022-05-13 02:09:57
604
原创 kafka 外部无法连接进行生产消费（服务器docker搭建）
kafka 外部无法连接进行生产消费（docker搭建）问题来源: 这几天在使用java连接kafka的过程中一直出现一个错误，网上的无论是修改kafka内部的配置还是查找端口是否连通都无法解决，后面突然发现是一个一个配置的问题，org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for t2-0: 30042 ms has passed since batch creation plus linge
2022-05-11 02:25:59
1121
原创 如何将可执行的scala文件放入服务器长久运行
如何将可执行的scala文件放入服务器运行需求： 这几天在做一个大数据的服务，需要使用scala文件，但是需要一直运行，所以要将scala文件进行打包。方法： 比如我的scala文件为OnlineRecommender.scala,这时候可以使用shade插件中的shade goal作为打包，然后定义为主类就好了。<build> <finalName>OnlineRecommender</finalName> <
2022-05-11 00:59:54
207
原创 word修改题注样式图x 为图x.x（wps可用
word修改图x 为图x.x（wps可用） 这几天遇到一个需求，在修改图的题注时，需要按顺序编号变成加入章的编号比如第n章的第m张图为图n.m，这时候可以使用word中的域代码。 本来域代码为{ SEQ 表 \*ARABIC} 这时候只会自动编号，可以编辑域代码，首先按F9+Alt 切换为域代码模式，然后点击编辑域代码在其中点击样式引用，直接引用章的样式就好了，比如我的章样式为标题一，如果在前面加入 {STYLEREF “标题 1” \n} 就好了。比如我的就修改成功...
2022-05-06 19:05:02
1338
原创 利用docker安装kafka和kafka-eagle
利用docker安装kafka和kafka-eagle想使用一下好用的kafka监控界面，于是看到了kafka-eagle这个工具，但是自己手动安装有点麻烦，就想着能不能在测试环境中使用docker,于是想到了使用docker-copmose进行安装，找到了一个github仓库https://github.com/nick-zh/docker-kafka-eagle这个仓库需要直接clone下来，然后放在文件夹中mkdir /opt/kafka & cdgit clone https://
2022-04-29 22:05:05
4449
原创 docker内apt-get install提示权限不足
E: Could not open lock file /var/lib/dpkg/lock-frontend - open (13: Permission denied)E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), are you root?只需要进入docker时使用root用户就可以了docker exec -it --user root /bin/bash这样进入是不要密码的，进入之后执
2022-04-27 16:48:20
2831
原创 docker-compose 运行kafka内存饱满
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)## There is insufficient memory for the Java Runtime Environment to continue.# Native memory allocatio
2022-04-26 00:33:32
1234
原创 docker-compose的编排文件修改后如何应用设置
需求： 遇到了一个问题，需要对docker-compose 编排设置加一个映射端口，应该怎么实现。方法改变了docker-compose.yml文件后，可以直接使用下列的命令进行更新，docker-compose up -d这时候有更新内容的镜像会出现restarting的标志,而不需要使用docker-compose build命令。...
2022-04-25 02:27:47
3800
原创 centos安裝lsd
centos安裝lsd首先安裝cargosudo yum makecache --refresh #更新yum下载器sudo yum -y install cargo然后用cargo安装lsd就可以了cargo install lsd另外一直不懂为啥很多这样的工具都没有centos yum下载的,一个小问题，感觉是我理解错了一些东西...
2022-04-22 01:01:23
1391
原创 使用腾讯云同时开启多个示例云服务器(TCCLI工具调用api)
使用腾讯云同时开启三个实例需求： 这几天想学习尚硅谷的构建离线数仓v4.0，使用了三个服务器，但是使用的是按量计费，于是想着弄一个快速开启和关闭三个实例的方法，发现api调用有点麻烦，还是使用腾讯云自带的TCCLI命令行。步骤： 配置TCCLL,安装步骤在下面的文档https://cloud.tencent.com/document/product/1278/46705，注意主要需要输入密钥，如下图查看api调用，可以打开腾讯云的api explorer，会自动帮你生成tc
2022-04-17 16:32:16
586
原创 如何将csdn博客转移至halo博客之中
如何将csdn博客转移至halo博客之中前言 这几天装了一个halo博客，但是网站上没有搜到转移csdn博客到halo上面的方法,这其中有几个步骤 将csdn博客导出文件 调用halo后台小工具中的上传文件 批量调用上传下面将以上面的步骤一一展示方法。1.将csdn博客导出文件 这个也是参考的一个博客，博客地址是: ,直接搬运过来首页 / ☀️ （亲测可用）简单两步：一键导出 CSDN 自己博客所有文章 | MD 格式下载 CSDN 博客 MD 文章🌲
2022-04-15 18:12:19
2211
13
原创 python MultipartEncoder request 报错 Required request part ‘file‘ is not present
python MultipartEncoder request 报错 Required request part ‘file’ is not present今天在处理一个python 做post请求的小工具，是要post一个文件,由于’Content-Type’:‘multipart/form-data’,代码类似这个样子multipart_encoder = MultipartEncoder( fields={ "file": (i,file,) }, # bounda
2022-04-15 14:44:55
3473
原创 springboot import com.mongodb.util.JSON飘红的解决方法
springboot import com.mongodb.util.JSON飘红的解决方法背景 这几天在使用mongodb的时候，突然发现mongodb.util.JSON 无法导入,后面如发现mongodb的都是4.0以上,于是需要将mongodb的版本降低，如果嫌麻烦可以直接导入低版本的springboot 比如2.1.18<parent> <groupId>org.springframework.boot</groupId> <a
2022-04-11 22:44:53
1475
原创 Plugin ‘org.springframework.boot:spring-boot-maven-plugin:‘ not found
今天遇到了这个问题，需要指定版本来解决，在pom.xml中加入<groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> <version>${project.parent.version}</version> 没有加入version的话就会飘红...
2022-04-11 09:41:14
816
原创 # SpringMvc Controller(Model+ResponseBody)
这几天开始研究后端SpringMVC的逻辑，在controller这一层发现了@ResponseBody+model的用法，因为许多视频中说controller都是返回一个页面，比如以前的controller层@RequestMapping("/hello")public String aaa(Model model) { model.addAttribute("username", "张三"); return "hello";}在前面使用SpringMVC时，Contr
2022-04-09 16:08:16
787
原创 如何使用IDEA中的Big data tools 连接远程服务器docker中的HDFS？
如何使用IDEA中的Big data tools 连接远程服务器中的HDFS？ 这几天遇到一个需求，就是想要在IDEA中通过Big data端口连接docker中的hdfs,这样以便于IDEA直接访问HDFS,问题 在IDEA中直接访问IP:8020端口无法连接，会显示本地没有访问资格，这时候是因为docker中的8020端口没有成功映射，于是只需要加入端口映射的命令就行了，我的容器部署如下，只要在namenode节点中加入映射就能成功。示例...
2022-04-06 02:57:42
2413
原创 使用codepen引用样式文件(可以直接引用的那种)
CodePen快速上手需求： 这几天一直苦恼没有好用的登录界面，然后在谷歌搜索的效率非常低，一直希望有一个网站能够找到网站示例，网站地址：https://codepen.io/ 网站界面是这样的这些页面都是由hTML+CSS+JS组成的，如果想要直接用，可以使用下面的export按钮，然后导出zip之后中就可以直接在dist文件下打开html运行了， 解压出来是这样的目录，然后打开其中的index.html即可。注意事项: 在js文件中还另外引入了其他js文件，可以看下下面的
2022-04-04 15:49:34
902
原创 el-card 组件美
el-card 组件美化最近在网上都没看到el-card组件的美化，自己也不是做前端的，就随便美化了一下组件，感觉还算不错，分享出来代码:css:.el-card{ margin: 10px; border-radius: 20px border-color: #C0C4CC;}.el-card:hover{ margin-top: -10px; margin: 30px;}效果图...
2022-04-03 04:24:22
3113
原创 vue v-for中遍历两个数组（使用类似于python中的zip操作）
问题在做前端的时候遇到一个需求，也就是需要将一长串字符串切分成一个数组，然后显示不同类型的标签，最后变成这样一个效果（我用的是vue+element_ui）原来标签的字符串如下：WD|西部数据|硬盘思考 因为这个时候数据类型都是数组，类型为一个标签，标签文本为一个值，但是v-for中不能进行两个循环，所以核实后需要使用一个循环将两个值都得到,这时候可以在v-for中使用一个js函数，然后在js函数中返回一个数组。解决方案<div class="tag-group"><el
2022-04-03 04:20:07
3158
1
原创 vue 中 method、attribute、event的区别（以elemntui为例）
作为一个后端选手，在阅读element ui文档时总是对附录的感到疑惑，可能是我对前端不太熟，总觉得一个组件怎么也有method、attribute 并且event 又是什么，其实可以将vue中的组件都看成一个对象，官方术语应该是叫dom元素，下面介绍以el-input元素为例进行三种属于的介绍:attriobute:这个很简单，也就是在标签中可以直接定义的一个东西上面是input 的attribute，比如可以使用以下属性对...
2022-04-01 16:36:43
1308
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人