Maybebb-CSDN博客

原创 cdh5.16.2配置flume读取kafka文件到hdfs

环境kafka_2.13-2.4.1cdh5.16.2flume配置按需选择```java#comonentsa1.sources = r1a1.sinks = k1a1.channels = c1 #source#a1.sources.r1.type = netcat#a1.sources.r1.bind = 127.0.0.1#a1.sources.r1.port = 8888a1.sources.r1.type = org.apache.flume.sourc

2021-05-10 17:45:44 335

原创 java中统计代码块耗时

一般写法long start = System.currentTimeMillis();try { // .... 具体的代码段} finally { System.out.println("cost: " + (System.currentTimeMillis() - start));}aop// 定义切点，拦截所有满足条件的方法@Pointcut("execution(public * com.git.hui.boot.aop.demo.*.*(*))")public

2020-08-07 10:47:20 308 1

原创 Java8 时间函数使用

解析日期和时间要从字符串创建LocalDateTime对象，可以使用静态LocalDateTime.parse()方法。它需要一个字符串和一个DateTimeFormatter作为参数。 DateTimeFormatter用于指定日期/时间模式。String str = "1986-04-08 12:30";DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm");LocalDateTime dateT

2020-08-07 10:42:51 362

原创 java lambda stream操作

/*1.forEach()进行遍历集合item：可以是任意值。类似于for循环中的循环值*/list.forEach(item -> {//设置值item.setName(item.getName() + “测试”);//输出语句System.out.println(item.toString());});/*2.stream()流操作*///2.1. 去重 distinct() 去重；collect(Collectors.toList())。封装成集合List d.

2020-08-07 10:39:45 165

原创 CDH5.16.2问题汇总

oozie中运行sqoop导出任务异常2020-07-22 14:24:17,656 [main] ERROR org.apache.sqoop.Sqoop - Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver<<< Invocation of Sqoop command completed <<&lt

2020-07-23 14:06:36 413

原创 log4j.properties生产环境模版（来自solr）

# Logging levellog4j.rootLogger=INFO, file, CONSOLElog4j.appender.CONSOLE=org.apache.log4j.ConsoleAppenderlog4j.appender.CONSOLE.layout=org.apache.log4j.EnhancedPatternLayoutlog4j.appender.CONSOLE.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5

2020-06-12 14:56:52 285

原创 spring动态读取配置中心配置

背景在flink任务流中使用flink+spring+nacos实现动态配置的目的，但是在初始化数据库配置参数和redis等配置参数的时候，不通过读取本地properties文件。配置<content:property-placeholder location="application.properties"></content:property-placeholder>配置变更 <bean id="localProperties" class="com.exa

2020-06-10 17:48:22 1070

原创 centos7.2下mysql5.7生产推荐配置和编译安装

1.解压及创建目录[root@hadoop local]# wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz[root@hadoop local]# tar xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz[root...

2020-03-23 00:56:32 224

原创 docker固定IP设置

拉取docker镜像docker pull daocloud.io/centos:6docker pull daocloud.io/centos:7docker pull daocloud.io/centos:7.2.1511建立固定网段docker network create docker01 --subnet=192.168.10.0/24 -o com.docker.netwo...

2019-11-28 14:11:31 271

原创 springboot2 跨域问题总结

什么是跨域// 协议 + 域名（子域名 + 主域名） + 端口号 + 资源地址http://www.baidu.com:8080/只要协议，子域名，主域名，端口号这四项组成部分中有一项不同，就可以认为是不同的域，不同的域之间互相访问资源，就被称之为跨域。随着前后端分离开发的越来越普及，会经常遇到跨域的问题，当我们在浏览器中看到这样的错误时，就需要意识到遇到了跨域：解决跨域的几个方法...

2019-11-21 10:31:04 437

原创 js实用方法记录-js动态加载css、js脚本文件

动态加载js文件到head标签并执行回调方法调用：dynamicLoadJs(‘http://www.yimo.link/static/j…’,function(){alert(‘加载成功’)});/** * 动态加载JS * @param {string} url 脚本地址 * @param {function} callback 回调函数 */...

2019-10-12 16:42:50 158

转载 CentOS6.5安装python3.6和pip

参考https://www.cnblogs.com/hunttown/p/9626827.html

2019-09-25 15:45:35 265

原创 springboot项目git仓库打包携带版本信息

前提项目基于git管理工具jdk1.8+springboot2.0.4版本maven配置git插件<plugin> <groupId>pl.project13.maven</groupId> <artifactId>git-commit-id-plugin</artifactId></plugin>app...

2019-09-25 15:43:52 1586

原创 kafka_2.8.0-0.8.1.1安装

zookeeper3.4.6安装下载解压wget http://ftp.us.es/ftp/Mirror/www.apache.org/kafka/0.8.1.1/kafka_2.8.0-0.8.1.1.tgztar -zxvf kafka_2.8.0-0.8.1.1.tgz3.修改配置文件config/server.properties# Licensed to the ...

2019-07-05 14:51:57 912

原创 centos6.5 配置静态IP网络

vm虚拟机克隆出来的机器，删除/etc/sysconfig/network-scripts/ifcfg-eth0物理地址和uuid固定ip模式[root@hadoop1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0"BOOTPROTO=staticIPV6INIT="no"NM_CONTROLLED="...

2019-06-20 21:40:44 271

原创 window redis版本下载

window redis版本下载在官网上目前是redis5.0.5稳定版本，没看到有下载windows版本的地方，而且我想要比较低的稳定版本。在官网Redis项目不正式支持Windows。但是，Microsoft开放技术小组开发和维护这个Windows端口针对Win64。下载地址：https://github.com/microsoftarchive/redis/releases这里下...

2019-06-13 23:27:56 3144

原创 github如何处理别人的pull request

github如何处理别人的pull request收到别人的pull request，首先需要pull别人的代码，例如njustwh2014将Pull Request发出者的派生版本库添加为一个新的源>git remote add njustwh2014 https://github.com/njustwh2014/spring-boot-redis-guava-caffeine-ca...

2019-05-08 10:26:12 5424

原创 filebeat+kafka简单使用

filebeat+kafka简单使用下载下载页面：https://www.elastic.co/cn/downloads/past-releases/filebeat-6-3-1wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.1-linux-x86_64.tar.gz使用解压tar -zxv...

2019-04-30 11:09:51 5217

转载在Ubuntu16.04上搭建virtualenv的python3开发环境

virtualenv的官网在http://www.virtualenv.org/en/latest/。如其官方所说，virtualenv 是一个创建独立python环境的工具。其要解决的最基本问题就是库的依赖和版本，以及间接权限（indirectly permisions,没太明白)。虽然对官方的描述不是太明白，偶还是只python菜鸟啦。不过总之通过它能够解决python2和python3两个...

2019-04-22 17:23:15 775

原创 springboot2.x版本多个redis实例配置学习

springboot2.x版本多个redis实例配置学习在springboot2.x版本redis缓存学习的基础上，学习redis多实例配置添加依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-cache&...

2019-04-04 17:10:12 2466 1

原创 springboot2.x版本redis缓存学习

springboot2.x版本redis缓存学习在springboot1.x版本redis缓存学习的基础上，学习扩展2.x版本的更改添加依赖和1.x版本一样<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter...

2019-04-04 17:01:54 685

原创阿里开源项目nacos集群部署

系统环境centos7.2nacos0.8版本下载地址单机部署https://nacos.io/zh-cn/docs/quick-start.html集群部署配置conf/cluster.conf[root@peer2 nacos]# cat conf/cluster.conf#it is ip#example192.168.97.209192.168.97.217配置...

2019-03-01 11:07:58 1101

原创 centos7.2 配置静态IP网络

系统*centos7.2 基础服务版本查看当前网卡状态配置静态IP配置DNS重启网络服务service network restartsystemctl stop firewalld

2019-02-26 18:18:00 273

原创 sharding-jdbc分库分表

数据库分片思想垂直切分按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。水平切分水平分片又称为横向拆分。相对于垂直分片，它不再将数据根据业务逻辑分类，而是通过某个字段（或某几个字段），根据某种规则将数据分散至多个库或表中，每个分片仅包含数据的一部分。例如：根据主键分片，偶数主键的记录放入0库（或表），奇数主键的记录放入1库（或表）Sharding-JDBC简介...

2018-12-29 10:43:32 45323 27

原创 Zookeeper数据迁移及恢复操作

部署zookeep集群可以参考：zookeeper-3.4.6安装，正常部署后关闭zookeeper集群迁移数据找到原先配置中的数据保存地址，可以在zoo.cfg配置文件中查看，例如：dataDir=/data/zookeeper/data进入数据保存地址[root@localhost version-2]# cd /data/zookeeper/data/version-2...

2018-12-19 20:11:51 7263 2

原创 springboot+feign+ribbon+hystrix构建高可用的客户端api访问

spring-boot-feign-ribbon-hystrix在springboot中使用feign、ribbon、hystrix组合功能添加feign、ribbon、hystrix对应的依赖springboot1.5.15+Dalston.SR4版本依赖 &amp;amp;lt;dependencies&amp;amp;gt; &amp;amp;lt;dependency&amp;amp;gt;

2018-11-02 14:39:39 2687 2

原创使用Spring Cloud Sleuth、Zipkin、Kafka、Elasticsearch实现分布式追踪

使用Spring Cloud Sleuth、Zipkin、Kafka、Elasticsearch实现分布式追踪环境说明jdk1.8 server 64位intellij IDEA 2018springboot 2.0.4.RELEASESpringcloud Finchley.RELEASEkafka 2.11-1.1.0zookeeper 3.4.6elasticsearch ...

2018-10-25 18:09:19 1037

原创 kafka1.1.0版本集群搭建和常用命令

kafka1.1.0版本集群搭建（kafka_2.11-1.1.0）zookeeper-3.4.6kafka_2.11-1.1.0zookeeper-3.4.6安装解压zookeeper-3.4.6.tar.gz文件到/data/zookeeper目录下，修改配置文件zoo.cfgwget http://www.apache.org/dist/zookeeper/zookeepe...

2018-10-12 16:43:11 1962

原创 springboot logback日志文件生产配置

logback模版&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;configuration&gt; &lt;include resource="org/springframework/boot/logging/logback/defaults.xml"/&amp

2018-09-26 15:37:28 502

原创 Storm集群搭建（1.2.2版本）

storm集群部署（1.2.2版本）前提环境 CentOS release 6.4 (Final)+JDK8+Python 2.6.6集群部署设置zookeeper集群略机器要求环境 Java 7+（Apache Storm 1.x通过travis ci对java 7和java 8 JDK进行测试） Python 2.6.6（Python...

2018-08-21 14:23:26 1390

翻译 StormUI各参数详解

参考：http://www.malinga.me/reading-and-understanding-the-storm-ui-storm-ui-explained/

2018-08-15 14:28:36 906

原创 spring-boot-starter-actuator /actuator/info 节点添加git提交版本信息

开发环境 spring boot 2.0.3 jdk8 maven3.3.9添加依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifac...

2018-08-03 10:29:24 2372

原创 Spring Cloud（Finchley.RELEASE版本）微服务学习实践 Turbine

turbine监控分为两步，一个是利用http聚合流访问，一种是采用stream的方式聚合。目前有个问题是采用stream访方式聚合cluster集群将会报错，而且也不会生效，不能采用http://127.0.0.1:7001/turbine.stream?cluster=SONG方式访问，当前章节的前提是拥有一个注册中心采用http聚合流访问服务端1.添加依赖...

2018-07-27 14:53:03 434

原创解决“网易邮箱提醒：一次被阻止的收信行为”

最近使用foxmail邮箱收取网易163邮箱的邮件，总是提示要更新163邮箱的登录凭据。根据网上搜索评论，产生该现象的原因是因为网易为了推广其“邮箱大师”客户端二对非网易邮件客户端的狙击行为。为了解决该问题，找到如下文章中给出的解决信息。[原文链接点此跳转]解决方法：将如下链接中的xxxxxx修改成你的邮箱名，若为126邮箱，请将链接中的所有163修改成126，然后再打开链接，经过一些步骤的验...

2018-07-11 17:19:42 17969 1

原创 centos7设置开机初始化执行脚本

由于每次启动都要执行网络重启，所以才有了本篇文章。编写脚本，添加可执行的权限/usr/local/script/sh_network.sh#!/bin/bashservice network restart执行如下命令将/etc/rc.d/rc.local文标记为可执行文件打开/etc/rc.d/rc.local文件,在最后面添加如下脚本/usr/loca...

2018-07-06 15:22:10 1410

转载 ntp时间服务器时间同步

参考ntp时间服务器时间同步

2018-07-03 15:44:39 288

原创 mysql 查询建表时间

把库名和表名替换成你想要查询的表SELECT CREATE_TIME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA='库名' AND TABLE_NAME='表名';

2018-06-11 15:09:38 477

原创 ssh配置免密登录

ssh-keygen -t rsacat ~/.ssh/id_rsa.pub | ssh -p 22 [email protected] 'cat &amp;gt;&amp;gt; ~/.ssh/authorized_keys'

2018-05-31 10:39:28 270

原创 linux自动删除n天前的数据

查看linux系统空间使用情况df -h查找目录下大文件du -h /home/ --max-depth=1删除n天前的日志find /home/www/log/kmautoservice/ -mtime +7 -name "*.log" -exec rm -rf {} \;说明：将/home/www/log/kmautoservice/目录下所有7天前带...

2018-05-18 09:56:10 4248

原创 crontab定时任务

crontab服务启动与关闭/etc/init.d/crond start/etc/init.d/crond stop/etc/init.d/crond restart/etc/init.d/crond reload添加一个定时任务[root@bogon ~]# crontab -e添加以下定时任务# APP 日志上报(大数据部分的)日志切割以及清理0 0 * ...

2018-05-18 09:54:29 483