- 博客(53)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 flink(scala版)学习二之常用的Sink
Sink之kafka存储import org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.streaming.connectors.kafka.{FlinkKafkaProducer, KafkaSerializationSchema}import org.apache.kafka.clients.producer.ProducerRecordimport org.apache.
2022-05-11 00:12:43
628
原创 kafka常用命令记录
环境centos7.6下已搭建kafka集群未搭建kafka集群的请移步参考搭建常用命令说明：所有的执行命令均默认表示在kafka的安装目录，如果在bin目录下直接执行sh的命令即可# 查看节点下topic列表bin/kafka-topics.sh --list --zookeeper node1:2181bin/kafka-topics.sh --list --zookeeper node1:2181,node2:2181,node3:2181# 创建topic test01bin/k
2022-05-08 23:06:04
378
原创 flink(scala版)学习一之常用的source
source之文件数据读取import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment//导入隐式转换，建议写在这里，可以防止IDEA代码提示出错的问题import org.apache.flink.streaming.api.scala._object FileReadeSource { def main(args: Array[String]): Unit = { //初始化Flink的Streamin
2022-05-08 14:25:11
701
原创 hadoop集群四之zookeeper、kafka安装
mac搭建hadoop集群一之虚拟机安装mac搭建hadoop集群二之hadoop安装hadoop集群搭建完成后，紧接着我们将安装zookeeper组件。zookeeper安装上传zookeeper并解压将压缩包上传到服务器/export/server目录下并解压，安装包自取，zookeeper版本3.5.6tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz移动到/usr/local下并修改名称为zookeepermv apache-zookeepe.
2022-05-01 16:25:03
1370
原创 hadoop集群二之hadoop安装
上一篇我们已经准备好三台虚拟机，计划一主两从搭建hadoop集群。没安装的可以参考一下。虚拟机安装传送门：mac搭建hadoop集群之虚拟机安装集群规划主机角色node1NN DN RM NMnode2SNN DN NMnode3DN NM集群配置hadoop3.3安装包下载更改主机名分别将三台虚拟机分别更改为node1、node2、node3。vim /etc/hostname新增host映
2022-04-28 23:19:34
2325
原创 hadoop集群一之虚拟机安装(mac)
环境准备工作镜像：centos7虚拟机：WMware阿里云镜像站CentOS－7－DVD版本：DVD是标准安装盘，一般下载这个就可以了，我也是下载的这个。CentOS－7－NetInstall版本：网络安装版，用于启动后通过网络安装。CentOS－7－Everything版本：对完整版安装盘的软件进行补充，集成所有软件。CentOS－7－minimal版本：最小化安装版，只有必须的软件包小技巧：下载较慢的情况下可使用迅雷进行下载，特别是这种大文件。让你享受飞一般的感觉推荐一个网站
2022-04-28 00:42:40
3849
2
原创 云服务器安装mysql8.0版本
环境：CentOS 7.6 64位根据你对应的系统下载 MySQL 所需要的安装包（我的是阿里云服务器centos） mysql下载地址：https://dev.mysql.com/downloads/mysql/2、将下载的包上传到服务器，建议放到/opt/download 目录下,注意download是我自己创建的[root@iZwz9hw4qywrrl4vj6o0j1Z ~]# cd /opt/download/ [root@iZwz9hw4qywrrl4vj6o0j1Z do
2022-04-27 23:31:43
379
原创 scala学习第二天-数据类型Array
传送门：scala String常用方法Scala中Array的常用方法(不可变)var arr1 = Array("a", "b", "c")// 获取数组的长度println(arr1.length) // 3// 获取指定索引的元素println(arr1(0)) // aprintln(arr1.apply(0)) // aprintln(arr1(arr1.length - 1)) // cvar arr2 = Array("ff", "d", "e")// 将两个.
2022-04-24 00:16:08
482
原创 scala学习第一天-数据类型String
Scala中String的常用方法 var str1 = "" str1 += "abCDae" // 字符串拼接 str1 = str1.concat("abCDae") // 字符串拼接 println(str1) // abCDae // 转大写 println(str1.toUpperCase()) // ABCDAE // 转小写 println(str1.toLowerCase()) // abcdae // 长度，建议写法
2022-04-22 23:38:45
606
原创 python面试题三：常用的标准库及其方法
内置库(函数)、标准库及第三方库的区别：内置库跟随解释器就有的标准库是需要导入才能用的第三方库需要安装且导入才能使用的Python常用标准库之OS模块Python常用标准库之time模块Python常用标准库之datetime模块Python常用标准库之random模块...
2021-12-22 23:44:48
379
原创 python面试题二：数组（字符串）实现反转的方式
面试被问到数组反转的实现方式：方式一a_list = [1, 4, 6, 2, 9, 4, 8, 3, 7]print(reversed(a_list))aa_list = list(reversed(a_list))print(a_list)print(aa_list)方式二 ，改变原有的变量b_list = [1, 4, 6, 2, 9, 4, 8, 3, 7]b_list.reverse()print(b_list)方式三c_list = [1, 4, 6, 2, 9, 4,
2021-12-22 23:28:31
860
原创 python面试题一：Python3与python2的区别
在概念上的不同点：python3默认的编码方式是UTF-8，而python2默认的编码方式是ASCIIpython3的字符串只有一种，即unicode，而python2有两种，一种是str，另外一种是unicode- python3具有严格的缩进，统一使用tab，而python2两种都支持，既可以是tab，也可以是spacePython3 采用的是绝对路径的方式进行 import，Python2 中相对路径的 import 会导致标准库导入变得困难（想象一下，同一目录下有 file.py，如何同时
2021-12-22 23:13:38
620
原创 Django实现qq登录对接
对接QQ登录前的准备工作申请域名并通过备案，可通过阿里云和腾讯云等购买域名并备案，不建议使用中文域名在qq互联中创建网站应用（https://connect.qq.com/index.html）这就是中文域名备案所面临的窘境，官方不支持中文域名作为回调地址。言归正传，准备工作做好后，最终目的就是为了拿到APP ID、APP Key和最终的回调地址。django的配置文件中：# QQ登陆相关配置信息QQ_APP_ID = "实际的APP_ID"QQ_APP_KEY = "实际的APP_K
2021-12-11 23:42:49
782
1
原创 云服务器安装kafka及python连接测试
云服务器环境：CentOS 7.6环境准备(版本见解压命令)：java环境jdkzookeeperKafka传送门：jdk环境安装将下载的包上传到服务器/opt/software，解压tar -zxvf jdk-8u311-linux-x64.tar.gztar -xzvf kafka_2.12-2.3.1.tgztar -zxvf apache-zookeeper-3.5.6.tar.gz重命名，将三个文件夹移动到/usr/local目录下并重新命名mv kafka_2.1
2021-12-06 20:23:31
774
原创 mac下执行go mod init无效的解决办法
在mac下使用go.mod去管理应用包的时候，执行go mod init 应用名时报错Permission denied，go mod默认使用的是/usr/local/go，而这个目录是没有权限进行操作的，就算是使用管理员模式也无法成功。原因是mac用户在升级系统之后，电脑启用了SIP（System Integrity Protection）保护机制，增加了rootless机制，导致即使在root权限下依然无法修改文件，在必要时候为了能够修改下面的文件，我们只能关闭该保护机制。我选择的是关闭该保护机制。
2021-11-30 18:23:33
1074
原创 mac环境配置错误，导致命令行工具失效，亲测有效。
在配置.bash_profile文件时，由于配置错误导致大部分命令失效，我承认我慌了。连基本的ls等命令都不可用。解决方法如下：执行以下命令让终端暂时恢复export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin打开.bash_profile文件，将刚刚修改错误的删除掉vi ~/.bash_profile...
2021-11-25 01:29:05
2977
原创 记录一之mac系统的docker安装fastdfs
在安装好docker的前提下获取镜像可以通过下载docker pull delron/fastdfs启动tracker，这里我把fast存储路径放在自己的桌面/Users/apple/Desktop/fdfs/tracker，**注意可别放在/var/fdfs/tracker，看到一些博客放在这下面，初步分析是权限的问题 **docker run -d -p 22122:22122 --name tracker --net=my-net -v /Users/apple/Desktop/fdfs/t
2021-11-24 00:26:47
1340
2
翻译 mac创建vue项目过程中报错gyp: No Xcode or CLT version detected的解决办法
执行vue create vue3-ts报错：gyp: No Xcode or CLT version detected项目仍然能创建成功，担心后续产生影响，该死的强迫症也犯了。# 按顺序执行以下三行代码，查看 command-line tools 的安装路径，不出意外显示的结果应该是/Library/Developer/CommandLineToolsxcode-select --print-path # 把 command-line tools 从系统移除掉sudo rm -r -f /Lib
2021-11-22 17:10:38
393
原创 Docker常用命令
docker 公共命令# 查看docker容器版本docker version# 查看docker容器信息docker info# 查看docker容器帮助docker --help# 启动dockersystemctl start docker# 关闭dockersystemctl stop docker# 重启dockersystemctl restart docker镜像images操作# 搜索仓库MySQL镜像docker search mysql# 从仓库拉取最
2021-11-22 09:34:40
686
原创 flask使用flask_migrate来管理数据模型
需求：数据库经常会修改新增或修改一些字段，管理起来极不方便，不像django直接执行迁移命令进行修改，引入flask_migrate进行管理。安装pip intall flask_migrate测试from flask import Flask, request, redirect, url_forfrom flask_sqlalchemy import SQLAlchemyfrom flask_migrate import Migrateimport settingsapp = Fl
2021-11-19 11:10:33
743
原创 使用django通过163邮局发送邮件及win10环境下报错b‘Error: bad syntax和554的解决
配置settings.py# 用于发送邮件的邮箱EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'EMAIL_USE_TLS = True # 是否使用TLS安全传输协议(用于在两个通信应用程序之间提供保密性和数据完整性)EMAIL_USE_SSL = False # 是否使用SSL加密，qq企业邮箱要求使用，163邮箱设置为True的时候会报ssl的错误EMAIL_HOST = 'smtp.163.com' # 发送邮
2021-11-18 00:46:26
2442
原创 记录一下djang的orm对应的all、values和values_list的区别
UserSet模型：class UserSet(models.Model): """履职用户集""" user_id = models.IntegerField(verbose_name="用户id") score = models.IntegerField(default=0, verbose_name="履职得分") lvzhi = models.ForeignKey(LvzhiInfo, on_delete=models.SET_NULL, blank=True,
2021-11-17 18:27:41
315
原创 mysql从5.7平滑升级到8.0.27
mysql升级过程官网下载最新的mysql安装包上传到服务器的/opt/mysql目录下解压：# 文件上传位置在/opt/mysql/下面cd /opt/mysql/# 解压安装包[root@zkmet mysql]# xz -d mysql-8.0.27-linux-glibc2.12-x86_64.tar.xz [root@zkmet mysql]# tar -xvf mysql-8.0.27-linux-glibc2.12-x86_64.tar # 文件夹重命名为mysql8
2021-11-12 18:13:00
4998
原创 使用python对文件进行加密——PDF文件加密
使用PyPDF2模块对pfd文件加密，最终效果在最后。# -*- coding: utf-8 -*-# @fun : 对pdf文件进行加密# @Time : 2021/11/11 4:51 下午# @Author : pipiimport PyPDF2import ospath='/Users/apple/Desktop/test/' #文件夹路径files = []for file in os.listdir(path): # if file.endswith
2021-11-11 17:29:19
722
原创 python使用paramiko备份服务器fastdfs文件数据脚本，包含文件和文件夹，亲测可用
需求重新开发的老系统，需要将老服务器fastdfs的文件夹和文件备份。方案一：FastDFS数据迁移，通过配置有一套解决方案。（推荐）老服务器在内网，需要走申请流程。方案二：直接在服务器压缩后下载；文件相对较大，有82G，压缩后下载也比较麻烦方案三：使用脚本备份。最终使用的是方案三：使用paramiko包，使用sftp协议下载文件和文件夹，脚本如下# -*- coding: utf-8 -*-import datetimeimport osfrom stat import S_IS
2021-10-30 17:05:06
276
原创 对django中日期与数据模型中的日期进行比较
需求：比较当前日期与数据库中日期的大小（前后），当前日期超过数据库中的日期，提示截止时间已过。实现调用django中的timezone实现，如果模型中是DateTimeField，使用timezone.now()，如果是DateField，使用timezone.now().date()。我自己是后者。from django.utils import timezone# 序列化器校验的局部代码def validate(self, attrs): now_date = timezon
2021-09-28 23:04:01
1079
原创 mysql学习笔记三之主从复制及遇到的报错总结
mysql学习笔记一之数据库安装.mysql学习笔记二之阿里云Mysql8.0平滑升级.环境：采用一主一从的形式主数据库：阿里云服务器8.0.21版本从服务器：docker中安装的mysql8.0.251、主库配置：# 打开数据库my.cnfvi /etc/my.cnf# 增加配置log-bin=mysql-binserver-id=12、添加用于同步的数据库账号# 进入mysql -uroot -p 进入mysql交互界面后use mysql;create user 'pi
2021-09-02 23:55:33
520
原创 mysql学习笔记二之阿里云Mysql8.0平滑升级
1、下载最新版的mysql2、上传到阿里云服务器3、解压前三步参考: mysql学习笔记一之数据库安装4、停止mysql的运行systemctl stop mysqld5、执行mysql安装命令，和安装数据库命令一致rpm -ivh mysql-community-common-8.0.26-1.el7.x86_64.rpm --nodeps --forcerpm -ivh mysql-community-libs-8.0.26-1.el7.x86_64.rpm --nodeps --fo
2021-09-02 23:44:56
471
原创 mysql学习笔记一之云服务器安装数据库8.0安装
1、根据你对应的系统下载 MySQL 所需要的安装包（我的是阿里云服务器centos） 网址：https://dev.mysql.com/downloads/mysql/2、将下载的包上传到服务器，建议放到/opt/download 目录下,注意download是我自己创建的[root@iZwz9hw4qywrrl4vj6o0j1Z ~]# cd /opt/download/ [root@iZwz9hw4qywrrl4vj6o0j1Z download]# ll-rw-r--r-- 1
2021-09-02 23:37:36
142
原创 服务器防火墙相关命令
服务器防火墙命令# 查看防火墙状态systemctl status firewalld# 开启防火墙systemctl start firewalld# 关闭防火墙systemctl start firewalld# 开放指定端口firewall-cmd --zone=public --add-port=1935/tcp --permanent命令含义：--zone #作用域--add-port=1935/tcp #添加端口，格式为：端口/通讯协议--permanent #永
2021-08-31 19:14:15
488
原创 单机版fastDFS安装
FastDFS安装FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。Tracker Server: 跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的storage server和group，每个 storage 在启动后会连接 Tracker，告知自己所属 group
2021-08-31 19:09:33
92
原创 linux系统下使用tar命令打包及解压文件
为啥要用tar命令去压缩和解压？最主要的原因其实是在一些服务器不能访问外网的情况下，tar是linux系统自带的压缩及解压的命令。1.打包一个tartar -cvf back.tar back/2.打包压缩一个tartar -cvzf back.tar.gz back/3.解压一个tartar -xvf back.tar4.解压一个压缩tartar -xvzf back.tar.gzc:压缩x:解压v:显示操作详情z:gzip的压缩包f:文件
2021-08-27 12:56:54
910
原创 redis学习笔记四之redis安装（linux系统）
下载并解压安装包[root@localhost local]# wget http://download.redis.io/releases/redis-5.0.3.tar.gz**[root@localhost local]# tar -zxvf redis-5.0.3.tar.gz**下载安装gcc依赖由于 redis 是用 C 语言开发，安装之前必先确认是否安装 gcc 环境（gcc -v），如果没有安装，执行以下命令进行安装。[root@localhost local]# yum ins
2021-08-27 00:30:48
60
原创 redis学习笔记三之内存淘汰策略
Redis的内存淘汰策略是指在Redis的用于缓存的内存不足时，怎么处理需要新写入且需要申请额外空间的数据。全局的键空间选择性移除noeviction：当内存不足以容纳新写入数据时，新写入操作会报错。allkeys-lru：当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的key。（这个是最常用的）allkeys-random：当内存不足以容纳新写入数据时，在键空间中，随机移除某个key。设置过期时间的键空间选择性移除volatile-lru：当内存不足以容纳新写入数据时，在设置
2021-08-27 00:20:03
68
原创 redis学习笔记二之持久化
redis持久化存储有两种解决方案RDB和AOF。AOF和RDB同时使用时，AOF优先加载。RDB在指定的时间间隔内生成数据集的时间点快照，适应于大数据量的备份，会丢失一部分的数据，对数据准确性要求不高的情况下使用。RDB的优点：简称“3更”1.体积更小：相同的数据量rdb数据比aof的小，因为rdb是紧凑型文件2.恢复更快：因为rdb是数据的快照，基本上就是数据的复制，不用重新读取再写入内存3.性能更高:父进程在保存rdb时候只需要fork一个子进程，无需父进程的进行其他io操作，也保证了服务
2021-08-27 00:17:35
64
原创 redis学习笔记一之数据类型
基本概念共16个子数据库，分别为0-15。默认端口6379作用：数据库缓存消息中间件**Redis是单线程的!**6.0以上是多线程的Redis是基于内存操作，CPU不是Redis的瓶颈，Redis的瓶颈是机器的内存和网络的带宽，所以单线程来实现不奇怪。但是单线程为啥还这么快？多线程（CPU上下文切换）不一定比单线程效率高核心：redis将所有的数据放在内存中，所以说使用单线程去操作效率是最高的，多线程（cpu上下文切换：耗时的操作），对于内存系统来说，如果没有上下文切换效率
2021-08-27 00:11:35
108
clickhouse可视化工具dbeaver和相关的驱动包
2022-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人