姜子牙_pp-CSDN博客

原创 2021-10-26

#Kafka介绍 #Kafka基本概念 #如何查看消息内容（Dump Log Segments） #消费者平衡过程 #Kafka的特点 #kafka的HA #Data Replication #Leader Election #Kafka的几个游标(偏移量/offset) #0、ISR #1、Last Commited Offset #2、Current Position #3、High Watermark(HW) #4、Log End Offse...

2021-10-26 17:11:02 676

原创 kafka系列一，基本架构及原理

所有文章都是为了作为备忘，不够详尽。还望见谅。1.linkedin公司开发，以快速，可靠，持久，容错和零停机的方式提供基于pub-sub和队列的消息系统2.主要使用场景：日志收集：各种服务的log发送到kafka，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。消息系统：解耦和生产者和消费者、缓存消息等。用户活动跟踪：Ka...

2019-05-14 19:23:59 426

原创用pandas读取excel并画图展示

初学python,啥都不懂。刚好有个数据想分析一下，便搜索了如何使用python处理Excel并展示，短短的一段代码浪费了很多时间，直接贴代码吧：python dict orderedDict pandas xlrd代码块代码块语法遵循标准markdown代码，例如： python import pandas as pd import matplotlib matplotlib...

2018-08-30 14:13:07 5750

转载 Kubernetes中ReplicationController、Replica Set、Deployment管理Pod

感觉这篇讲的比较易懂。留作备忘原文出处：https://www.linuxidc.com/Linux/2017-01/139668.htmPod直译是豆荚，我们可以把容器想像成豆荚里的豆子，把一个或多个关系紧密的豆子包在一起就是豆荚（一个Pod）。在k8s中我们不会直接操作容器，而是把容器包装成Pod，而对于Pod，我们该如何管理？先看下面这个场景：应用场景：假设有一个Pod正在提供线上服务，我们...

2018-06-12 15:38:37 789

原创 spring 自定义注解

最近用了下自定义注解。整理下相关的基础知识。以作备忘1.自定义注解的作用：反射中获取注解，以取得注解修饰的类、方法或属性的相关解释。我自己理解就是给备注解的对象打个标签，做下边际。以便获得这种标记的对象时采取某些操作。2元注解：元注解用来标记其他注解。总共有四个：1.@Target:注解所修饰的对象范围，例如：packages、types（类、接口、枚举、Annotation类型）、类

2017-11-19 22:35:05 564

原创 kafka_producer接口(旧版)

文档参考：http://www.cnblogs.com/fxjwind/p/3803878.html以及官方文档。这位大牛的博客里挺多干货。学习了。producer发送的是kv数据无论Producer或KeyedMessage都是<String, String>的泛型，这里是指key和value的类型直接上代码实现：import kafka.javaapi.p...

2017-10-24 15:25:09 480

原创 kafka_consumer接口(旧版)

文章参考：http://www.cnblogs.com/fxjwind/p/3794255.html以及kafka官方文档首先，我觉得kafka的官方文档真是够乱的。~~~~(>_<)~~~~。以前好几次想了解，因为文档的缘故不想看了。因为公司用的还算多，还算了解下吧。而且，还有部分再用旧版的接口。先从旧版的接口说起。旧版的分为high level 和low level.区别就...

2017-10-24 15:02:23 522

原创 spring事物处理2

上一篇讲了spring默认的一些事件。其实，spring的事件机制还支持我们自定义事件类型。1.事件凡是自定义事件需要继承ApplicationEvent.spring的几个默认事件也属于该类的子类。public class testEvent extends ApplicationEvent { public testEvent(Object source) {

2017-10-22 22:12:15 327

原创 springboot通过名称获取bean(applicationContext)

IOC容器有beanFactory 和ApplicationContext.通常建议使用后者，因为它包含了前者的功能。Spring的核心是ApplicationContext.它负责管理 beans 的完整生命周期。我们可以从applicationContext里通过bean名称获取安装的bean.进行某种操作。不能直接使用applicationContext.而需要借助application

2017-10-16 21:58:20 24933

原创 spring中的事物处理1

（一）前面的文章中介绍了ApplicationContext。当加载 beans 时，ApplicationContext 发布某些类型的事件。例如，当上下文启动时，ContextStartedEvent 发布，当上下文停止时，ContextStoppedEvent 发布。通过 ApplicationEvent 类和 ApplicationListener 接口来提供在 Appli

2017-10-16 21:49:18 301

翻译 filter与interceptor的区别

Filter是在Servlet规范中定义的，是Servlet容器支持的。而拦截器是在Spring容器内的，是Spring框架支持的。使用的资源不同：同其他的代码块一样，拦截器也是一个Spring的组件，归Spring管理，配置在Spring文件中，因此能使用Spring里的任何资源、对象，例如Service对象、数据源、事务管理等，通过IoC注入到拦截器即可；而Filter则不能。

2017-10-16 13:28:24 299

原创 springboot 执行定时任务

1.mavendependency>groupId>org.springframework.bootgroupId>artifactId>spring-boot-starter-webartifactId>dependency>2.启动程序@EnableScheduling@SpringBootApplicationpublic class Ap

2017-10-16 10:39:58 569

原创 java StopWatch统计时间

有时候需要记录一段代码执行时间，常见的方法就是打印当前时间与执行完时间的差值，缺点是这样如果执行大量测试的话就很麻烦，并且不直观，如果想对执行的时间做进一步控制，则需要在程序中很多地方修改，spring-framework提供了一个StopWatch类可以做类似任务执行时间控制，也就是封装了一个对开始时间，结束时间记录操作的Java类。一下是例子：package com.example.sto

2017-10-16 09:20:39 7527

原创 k8s_1基本概念

PodPod是Kubernetes的基本操作单元，把相关的一个或多个容器构成一个Pod，通常Pod里的容器运行相同的应用。Pod包含的容器运行在同一个Node(Host)上，看作一个统一管理单元，共享相同的volumes和network namespace/IP和Port空间。Replication ControllerReplication Controller确保任何时候Kuberne

2017-09-18 16:01:31 570

原创 springboot文件上传下载

文件上传下载是web服务经常使用的功能。但实际使用过程中，也有一些需要注意的地方。本文结合实际代码说明一下。1.添加maven依赖： commons-fileupload commons-fileupload 1.3.2 commons-io commons-io 2.5 2.单个文件上传。即将本地的文件以流的方式写入到服务器的一个目

2017-08-20 16:09:05 5591

原创线程同步的三种方法（Java 并发编程 concurrent包复习）

最近在项目里用到了多线程，包括线程池的创建，多个线程同步等，所以对executor框架简单复习一下。因为是简单复习，所以不会介绍太多概念，只是对一些基础知识点列举，并给出几个实际问题及其解决方法。一、executor框架在java5引入，为并发编程提供了一堆新的启动、调度和管理线程的API。它在java.util.cocurrent包下，其内部使用了线程池机制，通过该框架来控制线程的启动、

2017-08-20 14:09:45 341

原创 spring jdbctemplate对事物的支持

近期项目中用到了jdbctemplate事物，对一些知识点进行简单的总结。1.queryForObject查不到记录的时候会报异常。queryFor 不会。2.spring提供了对事物的支持。在配置类增加bean,，构造函数的参数是datasource.@Bean(name="transactionManager")public DataSourceTransactio

2017-06-17 22:57:07 575

转载 spring cloud组件大概介绍

原文：：码农博客 » Spring Cloud netflix概览和架构设计这篇文章对springcloud 各个组件大概介绍了一下。转载本文。其实我主要是对ribbon ,resttemplate ,feignclient三者之间的关系一直模糊不清。这篇文章里提到了这三者。感觉介绍的还不错。使用feignclient时，它会通过ribbon机制获取对应服务的ip列表。比方说A服务，有

2017-05-29 15:49:39 3923

原创将一个list分成多个list的Java实现。

将一个list或其他集合按需分成多份，例如，分批发送等。是很常见的需求。但是Java传统的集合操作似乎没有提供这一支持。幸好，google guava 和apache commons collections都提供了相应的实现。方法一：guava实现，将一个list按三个一组分成N个小的list@Testpublic void givenList_whenParitioningIntoNS

2017-05-29 13:04:19 33994

转载 java8(2) stream

https://www.ibm.com/developerworks/cn/java/j-lo-java8streamapi/ IBM 的文章。介绍的比较清晰。常用的用法都有了。

2017-05-29 12:35:58 454

原创 java8（1）lambda表达式

1.为什么java会提供lambda表达式忽视注解，泛型等特性，Java自诞生之初的变化并不大。在Java的世界里，函数无法独立存在。而在Javascript等函数式变成语言中，函数是一等公民，可独立存在，可被赋值给变量，或作为参数传递给其他函数。函数式编程语言提供了一种强大的功能-闭包，相比传统的编程方法，闭包有很多优势。闭包是可调用的对象，他记录一些信息，这些信息来自创建他的作用域。lam

2017-05-29 11:11:13 554

原创 spring-data-jpa

其实我一直对spring-data-jpa与hibernate比较迷糊。spring提供的解决方案太多。总感觉自己用的时候思维比较混乱。不知道各种之间的联系与利弊。下面是stackoverflow上的一段解释：down voteaccepteHibernate is a JPA implementation, while Spring Data

2017-05-07 17:06:44 668

原创 Mac上安装nginx

1.brew install nginx安装完成后，输出：Docroot is: /usr/local/var/wwwThe default port has been set in /usr/local/etc/nginx/nginx.conf to 8080 so that 监听8080端口nginx can run without sudo.nginx

2017-04-23 14:51:06 487

原创一些oracle 高级查询语句

一。Oracle中的select语句可以用start with ... connect by prior ...子句实现递归查询，connect by 是结构化查询中用到的，基本语法是：select ... from where start with connect by [prior] 假设表结构：fid, orgcode ,orgname. 其中fid是orgco

2017-04-09 17:19:37 887

原创 jdbc or hibernate(jpa)

一直对jdbc spring jdbc jpa等等几个概念感到比较混乱。不知道怎么选择。结合搜索的资料整理的一下知识：spring+jdbc org.springframework.boot spring-boot-starter-jdbc 优势：可以操作特殊的数据库模式和存储过程不想通过

2017-03-24 10:37:24 680

原创 SpringBoot 里面配置servlet或filter

Springmvc的web.xml里配置的servlet可通过如下语句配置@Configurationpublic class ApplicationCnfWeb { @Bean public FilterRegistrationBean myFilter() { FilterRegistrationBean bean = new FilterRegistr

2017-03-17 09:29:06 807

原创 CQEngine 一种java集合检索引擎

一个高性能的java 集合搜索工具。使用它，可以用类似sql的语句对Java集合进行检索，且延迟极低。作者对其优点的描述是：每秒百万次的查询，查询延迟在微秒范围内，转移数据库的查询带宽，扩展应用层，是数据库查询速度的千倍，即使在低端硬件上。关于cqengin和传统java 集合查询的性能比较dzone.com: Comparing the search performance of

2017-03-05 17:01:17 3896

原创 springboot+websocket+sockjs进行消息推送

一，消息推送的服务端1.创建简单的springboot工程。pom配置如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org

2017-02-04 15:39:33 9283 1

原创 springboot 使用缓存

Spring 使用缓存，在不明确表明使用的cacheManager时，使用系统默认方案。可供选择的方案有：AbstractCacheManager, AbstractTransactionSupportingCacheManager, CaffeineCacheManager, CompositeCacheManager, ConcurrentMapCacheManager, EhCacheCa

2017-01-18 10:09:04 2166

原创 jdbcTemplate常用的调用方式整理

@Repositorypublic class TestDao { @Autowired JdbcTemplate jdbcTemplate; /* * RowMapper */ public List menuList(Long serverId) { String sql = "select code from crmii.MENUFAVOUR where scr=

2017-01-16 19:47:43 637

原创 simpleJdbcCall调用函数语法

@Bean public SimpleJdbcCall saveServiceRecord(JdbcTemplate jdbcTemplate) { SimpleJdbcCall jdbcCall = new SimpleJdbcCall(jdbcTemplate).withSchemaName("CRMII")

2016-11-21 08:58:31 1113

原创 rabbitmq管理

rabbitmq默认的guest guest只能本机登录。如果想远程登录监控页面，需要新增用户，并设置tag.sudo rabbitmqctl add_user 123 123rabbitmqctl set_user_tags 123 administrator 这是就可以根据这个用户登录监控页面：http://xx.xx.xx.xx:15672/#/queues

2016-03-08 14:33:05 516

转载 shell执行方式备忘

bash shell 脚本的方法有多种，现在作个小结。假设我们编写好的shell脚本的文件名为hello.sh，文件位置在/data/shell目录中并已有执行权限。方法一：切换到shell脚本所在的目录（此时，称为工作目录）执行shell脚本：复制代码代码如下:cd /data/shell./hello.sh./的意思是说在当前的工

2016-02-16 08:24:16 416

转载 java中的日期时间处理

原文出处：http://www.cnblogs.com/Johness/archive/2012/09/01/2666163.html程序就是输入——>处理——>输出。对数据的处理是程序员需要着重注意的地方，快速、高效的对数据进行处理时我们的追求。其中，时间日期的处理又尤为重要和平凡，此次，我将把Java中的时间日期处理方式进行简单的解析，为自己以后的学习做一个备忘，也为初

2015-07-16 08:49:48 657

转载 java String.subString用法

Java中的substring函数是我们经常使用的一个函数，用来截取当前字符串的子串，定义如下：public final class String{ public String substring(int beginIndex)； public String substring(int beginIndex, int endIndex)；}使用及声明都

2015-07-09 19:31:12 1039

转载 DB2 reorg

在对表进行了alter以后。再执行任何操作都报不可用，错误码为7，百度了一下发现问题所在。一下转自一篇博文：ALTER TABLE操作在日常开发中很常见，下面是摘自DB2官网关于ALTER TABLE操作的一段话。Perhaps the most important thing to realize when running an ALTER TABLE statement cont

2015-07-08 15:39:45 1419

转载代理模式，JDK动态代理

代理模式，简单一句话就是，代理对象和被代理对象实现同样的接口。知己知彼。这样子代理对象才知道去执行被代理对象的哪些方法。通常介绍设计模式的书籍中，讲的都是静态代理。代理模式的一个好处之一是：可以提升系统性能和反应速度，对真实对象进行封装，从而实现延迟加载。假设某客户端软件，有根据用户的请求，去查下数据库的功能。在系统启动时，初始化所有的类，此时尝试获得数据库的链接。当系统有大量类似操作存在时，

2015-07-05 09:52:45 475

转载 DB2常用命令总结

分类：原文出处：http://blog.chinaunix.net/uid-57485-id-2090822.html在命令行状态运行db2cmd后启动来初始化命令行环境。DB2常用命令(一) //建立数据库DB2_GCB CREATE DATABASE DB2_GCB ON G: ALIAS DB2_GCB USING CODESET GBK T

2015-07-03 21:08:57 604

转载 java-String中的 intern()

1. 首先String不属于8种基本数据类型，String是一个对象。因为对象的默认值是null，所以String的默认值也是null；但它又是一种特殊的对象，有其它对象没有的一些特性。2. new String()和new String(“”)都是申明一个新的空字符串，是空串不是null；3. String str=”kvill”；String str

2015-06-22 12:31:35 476

看日记学git.pdf

空空如也