- 博客(35)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 tidb迁移工具DM测试-数据追加增量
环境部署IP安装文档msyql192.168.138.1315.7tidb单机多节点192.168.138.135https://docs.pingcap.com/zh/tidb/stable/quick-start-with-tidbdm工具192.168.138.135https://docs.pingcap.com/zh/tidb-data-migration/stable/deploy-a-dm-cluster-using-tiup初始化
2021-02-08 11:25:29
928
5
原创 mysql :show processlist常用方法
最近经常用到 show processlist，所以在这里把这个命令总结一下，做个备忘，以备不时只需。首先是几条常用的SQL。查询线程及相关信息如果是root帐号，能看到所有用户的当前连接。如果是其他普通帐号，则只能看到自己占用的连接。showprocesslist只能列出当前100条。如果想全部列出，可以使用SHOW FULL PROCESSLIST命令show full processlist各个列的含义：①.id列，用户登录mysql时，系统分配的"connection_id"，可以
2020-12-29 17:32:40
394
原创 haporxy+keepalived实现负载均衡+高可用
环境准备主机规划服务器IP主机名服务centos7x2(haproxy01)192.168.138.132centos7x2Haproxy、Nginx、keepalivedcentos7x3(haproxy02)192.168.138.133centos7x3Haproxy、Nginx、keepalived192.168.138.200（vip）其中haproxy负责负债均衡，nginx单纯作为web服务hosts文件解析[root@cen
2020-12-26 22:41:05
372
1
原创 azkaban on kubernetes部署方式 多执行节点支持自动伸缩
使用编译好的azkaban 3.84.4版本建立镜像，镜像通过args参数控制启动exe还是webazkaban的配置文件和用户文件引入configmap，方便修改配置默认建立1个mysql，1个exe执行节点，1个web节点exe节点可以自动激活和反激活，方便进行伸缩管理密码存入secret文件因为我的k8s是单node环境，所以mysql服务的地址直接使用了service-name限于篇幅，代码这里就不贴了，请移步github查看https://github.com/justong86.
2020-08-07 11:09:17
938
原创 azkaban多节点部署安装记录
环境准备jdk8+mysql节点划分centosx1centosx2centosx3web-serverexe-serverexe-servermysql这里编辑了hosts文件,关闭了selinux和firewalld[root@centos7x3 azkaban-exec-server]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localho
2020-06-27 15:50:38
2655
原创 micropython实现ntp获取网络时间（UTC+8）
先吐槽micropython的官方文档。很多东西压根就没交代，比如这里用到的ntptime库，其实是很方便的，但只是在《Quick reference for the ESP8266》里出现到了一次。先说直接获得本地时间（东八区UTC+8）用法，只需要两三行：import ntptimedef sync_ntp(): ntptime.NTP_DELTA = 3155644800 # 可选 UTC+8偏移时间（秒），不设置就是UTC0 ntptime.host = 'ntp1.a
2020-05-20 16:32:54
7985
3
原创 Django内联模型InlineModelAdmin学习
InlineModelAdmin类的作用在于，可以在Model A页面上编辑Model B表的字段，这只需要A和B存在外键关系。他有两个子类，区别仅仅在于使用的（前端显示）模板不同，一个垂直一个水平排序字段，使用时要直接使用这两个子类。class TabularInline （水平，类表格式）class StackedInline （垂直）举个栗子models设定：fro...
2020-04-17 15:27:55
2522
1
原创 用递归来实现python版本的任意进制转换（2-36进制）
思路同样是先转到10进制，再从10进制转到其他进制。不过好像有个错误，自己测试还没有发现，欢迎指点。convertString = "0123456789ABCDEFGHIJKLMNOPQRSTUVWSYZ"def tenToStr(x, base): if x < base: return convertString[x] else: ...
2020-04-13 23:18:07
1328
原创 datatables插件的使用记录——serverSide服务器模式
简述先来看看datatables官方对于服务器模式的解释默认情况下DataTables使用客户端处理模式，但是可以通配置让切换到服务器端处理模式。 当处理大量数据的时候（如超过50000条记录）服务器端处理模式就十分有用。这种情况下可以使用数据库来进行排序操作。 现代的数据库都针对这样的处理进行了优化，使用这样的方式能够让DataTables轻松应付几万条的记录排序、过滤。使用服务器端处理...
2020-04-11 16:51:13
3032
原创 datatables插件的使用记录——顶部按钮及传值
上一次记录了行内按钮的使用方法。这一篇用来记录顶部按钮的用法。先来效果图下边贴代码非重点部分就不说明了。<script> var td = $('#table_id_example'); $(document).ready(function () { td.dataTable({ dom:...
2020-04-01 12:01:25
259
原创 datatables插件的使用记录——行内按钮及传值
这里的环境是python的Django框架，而由于本人前端水平很渣渣，Datatables这个插件用起来方便。但是时间一长就忘了怎么用了，这里做记录。先看效果datatables多于的部分这里就不贴出来，只看重点。$(document).ready(function () { ttd = $('#table_id_example').dataTable({ ...
2020-03-31 17:09:05
793
原创 python中获取某个月有多少天的方法
>>> import calendar>>> calendar.monthrange(2010,10)[1]31>>> calendar.monthrange(2020,3)(6, 31)其实这种方法随便一搜一大把，我看到的全都是使用calendar.monthrange这个方法，返回一个元祖，第一个值代表该月第一天是周几，第二个参...
2020-03-25 10:47:30
9661
2
原创 MQTT协议Centos7下安装mosquitto及简单使用
MQTT和Mosquitto背景Mosquitto是一个开源(BSD许可证)的消息代理，实现MQTT(消息队列遥测传输)协议版本3.1。MQTT（MQ Telemetry Transport），消息队列遥测传输协议，轻量级的发布/订阅协议，适用于一些条件比较苛刻的环境，进行低带宽、不可靠或间歇性的通信。值得一提的是mqtt提供三种不同质量的消息服务：Qos0：“至多一次”，消息发布完全依赖底...
2020-02-19 17:48:44
1285
原创 Nginx负载均衡+tomcat简单集群（第三方Redis方案共享session）
nginx+tomcat+redis本篇继《 Nginx负载均衡+tomcat简单集群（DeltaManager自带共享session）》之后，由自带的cluster更换为第三方redis方案。https://blog.csdn.net/zld_555/article/details/103972197准备工作虚拟机Centos7X4Centos7X5IP172.1...
2020-01-15 16:15:12
303
1
原创 Nginx负载均衡+tomcat简单集群（DeltaManager自带共享session）
部署tomcat集群，要解决的一个但问题就是session共享问题。本实验采用tomcat自带的cluster集群方案。此方案优点就是部署简单，只需要常用的nginx，没有额外依赖。缺点是session在集群中是通过组播复制的方式，即每个tomcat都保存了整个集群的session状态，如果访问量大了，会给服务带来额外的开销的负担，也给交换网络带来一定压力。首先，万事以官方文档为基准。h...
2020-01-14 14:32:41
228
原创 centos脚本安装tomcat，加入apr启动，附日志分割
最近实验tomcat集群，顺便整理了一下之前的tomcat的安装脚本，适合centos安装使用。集成了apr启动模式。脚本跑完，apr应该就可以生效了。再加上一个cronolog日志分割的小脚本单独放在最后，没有合并在一起。#!/bin/bash#Auto install Apache Tomcat8.5.39#需要的包：jdk-8u201-linux-x64.tar.gz，apache...
2020-01-13 15:13:31
134
原创 sqoop 的job使用方式及密码保存
sqoop 的job使用方式基本使用说明job参数说明功能简单明了。ArgumentDescription--create <job-id>Define a new saved job with the specified job-id (name). A second Sqoop command-line, separated by a -- shoul...
2019-12-20 16:41:13
2448
原创 sqoop1.4.7安装和操作
前提概述官网http://sqoop.apache.org/将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？HDFS， MapReduce， YARN， ZooKeeper， Hive， HBase， MySQLsqoop1就是一个工具， 只需要在一个节点上进行安装即可。如果sqoop要跟hive交互，那么sqoop节点机器一定要有hive系统。版本sqoop1和sqoop...
2019-12-20 10:12:54
365
原创 《快学Scala》第五章 学习笔记+练习题答案
1.改进Counter类，让它不要在大于Int.maxValue时变为负数class Counter { private var value = 0 def increment() =if (value<Int.MaxValue) value += 1 def current = value}2.写一个BankAccount类，加入deposit和withdraw方法，和...
2019-12-11 13:19:27
269
原创 《快学Scala》第三章 学习笔记+练习题答案
《快学Scala》学习笔记+练习题答案##第三章 数组相关操作3.1编写一段代码，将a设置为一个n个随机整数的数组，要求随机数介于0（包含） 和n（不包含）之间。import collection.mutable.ArrayBufferimport scala.util.Randomdef createArray(n:Int):Array[Int]={ for(i <- 1 ...
2019-12-07 15:27:41
348
原创 nginx location匹配规则
location匹配顺序"="前缀指令匹配，如果匹配成功，则停止其他匹配 普通字符串指令匹配，顺序是从长到短，匹配成功的location如果使用^~，则停止其他匹配（正则匹配） 正则表达式指令匹配，按照配置文件里的顺序，成功就停止其他匹配 如果第三步中有匹配成功，则使用该结果，否则使用第二步结果注意点 匹配的顺序是先匹配普通字符串，然后再匹配正则表达式。另外普通字符串匹配顺序是根...
2019-11-30 15:48:15
109
原创 把用户加入到supergroup组来访问HDFS
本机是linux系统，使用远程的hadoop。程序直接访问hdfs://node1:8020 会有权限问题。比较简单的解决粗暴方式是把用户加入到supergroup组。Hadoop本身的用户和组的关系，是同步Linux系统中的用户权限，但是HDFS和Linux的超级用户组又有一点差别，HDFS中的超级用户组是supergroup，但是Linux中默认是没有supergoup这个组，这个时候...
2019-11-23 15:08:57
1628
原创 CDH6.3中HUE的配置，集成mysql,hive,hbase,spark,sparksql,pyspark
CDH集成环境里开启hue组件，只需要在《hue_safety_valve.ini 的 Hue 服务高级配置代码段（安全阀）》里写入配置文件即可正常工作，然后按照需要的服务，安装服务。最终看起来很是挺轻松的，但是详细的说明教程还真是多，再加上版本问题。参考各位大佬的教程，对照官方文档（给差评）整理记录。集成hive服务hive服务里开启hiveserver2服务hue配置里声明服务地址...
2019-11-22 14:23:22
3556
5
原创 Hive3.1.2安装及Hive与HBase的结合使用
Hive3.1.2安装及Hive与HBase的结合使用一、说明安装包：apache-hive-3.1.2-bin.tar.gz二、前期准备1、mysql 5.7创建用户 hivemysql > grant all privileges on *.* to 'hive'@'%' identified by '123456'; 2、其他环境Zookeeper：zookeeper...
2019-11-09 11:02:19
1658
原创 centos7(6)脚本安装python3.7环境(含ssl和pip)
最近想在集群跑pyspark,需要每台机器配置python3环境.众所周知,centos的openssl版本太低,装py3.7最好先解决ssl问题,装起来挺费时间的.所以写个简易脚本方便安装.#!/bin/bash# 请确保openssl-1.1.1d.tar.gz,Python-3.7.5.tgz的tar.gz包存放在当前目录下echo "请确保openssl-1.1.1d.tar.gz...
2019-10-22 15:50:49
220
原创 hadoop分布式集群&spark on yarn集群安装配置
hadoop&spark on yarn安装配置一 环境准备3台 linux版本centos7.6hadoop版本3.1.2spark版本2.4.41.1 修改IPvim /etc/sysconfig/network-scripts/ifcfg-ens32DEVICE="ens32"ONBOOT="yes"IPADDR="192.168.22.232"PREFIX=...
2019-09-28 17:22:19
811
原创 在hadoop HA集群跑mapreduce任务出错
环境centos7.5jdk=1.8hadoop=3.1.2zookeeper=3.4.14用zookeeper来协调yarn,跑hadoop自带的示例wordcount任务出错,日志如下.2019-09-24 15:56:59,482 INFO [IPC Server listener on 24576] org.apache.hadoop.ipc.Server: Stopping ...
2019-09-24 16:48:20
745
原创 mysql利用binlog2sql批量回滚数据(快速闪回)
感谢mysql原生自带mysqlbinlog，但使用binlog恢复的原理是“重做”而不是“回滚”。网上相当多的文章描述mysqlbinlog用法的时候，并没有进行完整说明（先使用完整备份恢复数据库至最近备份时间点，再利用binlog恢复上次备份到现在的剩余数据）。如果线上环境着急“回滚”，哪有时间去暂停业务,恢复备份,并学习binlog，结果很可能就是乱上加乱。因此，借助处理一起误删除的事故，...
2019-09-23 15:43:39
891
转载 Django之logging日志(转)
Django开发的使用print来输出很舒服，要是在生成环境或者uwsgi下，使用print就是失效了。python自带的logging模块就派上用场，想好好的配置项目还挺多，找到一篇现成的，收藏下来。Django使用python自带的logging 作为日志打印工具。1. 简单介绍下logging。logging 是线程安全的，其主要由4部分组成：Logger 用户使用的直接接...
2019-07-20 16:20:13
107
原创 使用脚本定时重启tomcat启动报错
问题：由于生产需要定时启动tomcat保证业务运行，于是写了shell脚本来重启，并加入到crontab定时任务。测试都没问题，只有一个项目的tomcat总是启动失败。分析：用netstat -nptl查看端口，8080端口没有启动，8005和8009是起来的。到/var/log/cron 里查看，定时任务有执行。到tomcat/log/catalina2019-06-04.l...
2019-06-04 17:16:21
418
原创 基于confluent的kafka和kafka-rest代理配置
基于confluent的kafka和kafka-rest代理配置一、组件及说明（一）Confluent的组件简介Confluent Platform 包括更多的工具和服务，使构建和管理数据流平台更加容易。Confluent Control Center（闭源）。管理和监控Kafka最全面的GUI驱动系统。Confluent Kafka Connectors（开源）。数据进出kafka，连...
2019-05-21 10:15:33
4621
原创 docker（docker-compose）安装部署gitlab并使用iredmail发送邮件
使用docker来部署确实是比较简单的事情，只是在使用自建的iredmail发送邮件的时候，找不到连接方法。折腾了有一天时间，终于找到了合适的SMTP参数，以此作为笔记，给自己也给需要的人留下记录。重点在于gitlab_rails[‘smtp_enable_starttls_auto’] = truegitlab_rails[‘smtp_tls’] = falsegitlab_rail...
2019-04-30 09:51:29
1293
原创 CentOS6CentOS7二进制安装MYSQL5.7，修改默认密码
1、可自定义输入ROOT密码（发现从mysql的log-error日志里不见得能记录初始化密码，因此把输出文本保存下来/root/mysql-install.log，后期从中读取）；2、检查CentOS7自带的mariadb并卸载；3、使用YUM安装了一个依赖，yum -y install numactl；4、my.cnf位置放在/usr/local/mysql/my.cnf，（配置文...
2019-04-20 11:28:56
431
原创 CentOS6.10下RPM包安装mysql
1.首先卸载系统自带的mysql相关查看[root@centos6X1 ~]# rpm -qa |grep mysqlmysql-libs-5.1.73-8.el6_8.x86_64卸载[root@centos6X1 ~]# rpm -e mysql-libs-5.1.73-8.el6_8.x86_64--nodeps ##加--nodeps忽略依赖2.到...
2019-03-26 16:56:15
532
转载 Nginx负载均衡配置说明及简单配置
Nginx负载均衡配置，，转发自：https://blog.51cto.com/13178102/2063271以下为看到的Nginx负载均衡配置的简单介绍及配置，写的不错转发一下以作备忘。第1章 负载均衡介绍1.1 负载均衡和反向代理的区别严格的说，Nginx仅仅是作为Nginx Proxy反向代理使用的。普通的负载均衡软件，例如LVS，其实现的功能只是对请求数据包的转发（也可能...
2019-02-25 16:23:52
435
MQTT客户端(32和64位)org.eclipse.paho.ui.app-1.1.1-win32.rar
2020-02-27
简单的war包，可以用于tomcat实验等
2020-01-14
VMRC-VMware Remote Console 10.0.4 for Mac
2019-04-21
VMRC-VMware Remote Console 10.0.4 for Windows
2019-04-21
VMware Remote Console 10.0.4 for Linux
2019-04-21
VMware Remote Console 10.0.3 for Linux
2018-11-27
VMware Remote Console 10.0.3 for Mac
2018-11-27
VMRC VMware Remote Console 10.0.3 for Windows
2018-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人