- 博客(473)
- 资源 (8)
- 收藏
- 关注
RSS订阅转载 External communication with Apache Kafka deployed in Kubernetes cluster
INTRODUCTIONAt Argus, we strive to deploy all our data pipeline services as Docker containers managed by Kubernetes. This usually makes our lives much easier, and our products much more maintainable. But recently we had to dig deep into Kubernetes and Kaf
2020-12-03 11:38:09
381
原创 docker swarm 配置更新
docker swarm 配置更新先添加配置文件docker config add更新配置文件删除service的配置文件先docker service update xxx --config-rm xxxxdocker service update xxx --config-add source= target=
2020-07-15 11:52:19
775
转载 x509: certificate signed by unknown authority (harbor)
最近在做Docker相关的东西，发现只要一pull镜像，就出现如下的ERRORx509: certificate signed by unknown authority.调查后发现，是公司IT把https证书换成了公司的证书（目的大家自己猜）。解决思路： 把替换后的证书直接用openssl拉下来，然后加入到系统（我是Ubuntu）系统证书中，然后使用update-ca-certificate...
2020-03-19 14:37:45
23894
原创 Java 项目对外Api文档生成
https://tech.zooplus.com/api-documentation-as-code-with-swagger-asciidoc-cucumber-and-structurizr/
2020-02-29 17:11:24
428
原创 nvidia docker 支持
docker 19.03 版本原生支持 gpu ，不需要一起 nvidia-docker 插件来运行了github 地址:docker gpusdocker 镜像：docker hub cuda镜像
2019-12-26 15:52:00
214
原创 sonarqube 阿里插件及其他
sonar-pmd插件添加阿里p3c-pmd的规则sonar-p3c-pmd 开源地址sonarqube 分析报告导出报告导出插件地址报告导出命令 java -jar sonar-cnes-report-3.1.0.jar -p xxxx -s xxxxx -t xxxxxxxSonarqube 代码分析命令 mvn clean package sonar:sonar \...
2019-12-26 13:57:03
1229
1
转载 maven 多仓库和镜像设置
为什么使用镜像当maven在本地找不到包的时候，就尝试从中央仓库(https://repo1.maven.org/maven2/)获取，有的时候我们访问外网太慢了，我们就从镜像仓库(别的仓库或者自己的私有仓库)获取。设置镜像<mirror> <id>tz-mirror</id> <mirrorOf>external:*,...
2019-12-25 17:22:46
275
转载 ETL设计详解（数据抽取、清洗与转换）
概述ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也可以...
2019-12-11 20:45:32
2444
1
原创 drone插件开发
国外基于python:https://blog.nicco.io/2019/05/25/write-your-own-drone-plugin-from-scratch/国内详细描述:https://blog.csdn.net/github_35614077/article/details/97667883
2019-12-11 16:11:39
491
原创 在树莓派串口转USB设备名称绑定
https://blog.csdn.net/wzxxtt62267018/article/details/80741086https://www.cnblogs.com/mangojun/p/10820481.htmlhttps://blog.csdn.net/volatile_scq/article/details/100596954
2019-12-03 10:07:07
326
转载 linux service服务自启动
1、创建servce文件sudo vim /lib/systemd/system/【yourservice_name】.service2、写入内容[Unit]Description=Test ServiceAfter=multi-user.target[Service]Type=idleExecStart=/usr/bin/python /home/snail/autorun....
2019-11-21 10:11:17
316
转载 vagrant up报错：unable to mount VirtualBox shared folders
vagrant up报以下错误：Vagrant was unable to mount VirtualBox shared folders. This is usuallybecause the filesystem "vboxsf" is not available. This filesystem ismade available via the VirtualBox Guest Add...
2019-11-17 11:26:18
183
转载 Linux 下面 PG 的 uuid-ossp 包安装办法
pgsql 安装 时报错, 如图示:详细信息为:执行SQL为:CREATE EXTENSION IF NOT EXISTS "uuid-ossp"错误纤细信息为:CREATE EXTENSION IF NOT EXISTS "uuid-ossp"> ERROR: could not open extension control file "/usr/pgsql-10/s...
2019-11-13 14:16:52
1513
1
转载 k8s-整体概述和架构
1、Kubernetes是什么Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernetes积累了作为Google生产环境运行工作负载15年的经验，并吸收了来自于社区的最佳想法和实践。Kubernetes经...
2019-11-08 09:46:02
182
1
原创 caffe例子 - mnist
前记例子基于docker -cpu 版本 caffe ，主要本人笔记本比较烂。而且希望快速开始caffe 的学习，不想折腾gpu 版本的nvidia-docker . 实际生产环境还是建议docker 的 gpu 版本。兼顾docker的简单及训练性能。开始docker 中定位到目录：/opt/caffe下载mnist数据集到这个目录下./data/mnist/get_mnist.s...
2019-10-20 11:51:10
152
原创 caffe 环境准备
Docker 方式安装:安装模式cpu 模式docker run -ti bvlc/caffe:cpu caffe --versiongpu 模式nvidia-docker run -ti bvlc/caffe:gpu caffe --version其他说明修改默认用户及挂载路径docker run --rm -u $(id -u):$(id -g) -v $(pw...
2019-10-19 16:41:48
91
转载 devops [持续交付实践] pipeline：pipeline 使用之 Shared Libraries
目录 前言 目录结构 定义全局库 动态加载库 Shared Libraries实战 后记 <h2 id="前言">前言</h2>随着pipeline交付流水线在团队中的推广，使用pipeline脚本的job也迅速增加。虽然我们已经基于公司的技术栈特点做了一个尽可能通用的pipe...
2019-09-29 14:33:55
554
转载 MySQL高可用集群方案之PXC
MySQL高可用集群方案之PXC 运维军团 2018-07-19 536 阅读系统 1. 前言 在之前的公众号文章《 在游戏运维实战中摸索前行的“异地双活”架构 》中，我们向大家介绍了我们游戏中对“异地双活”架构的实践历程。 其中为了实现DB层的多点写入及数据强一致性，我们结合实际的业务场景测试对比了Percona Xtradb C...
2019-08-21 18:20:37
1028
转载 Linux安装包run、bin制作
制作run安装包run程序安装包实质上是一个安装脚本加要安装的程序，如下图所示：这样整个run安装包结构就一目了然了，实际上因为实际需要结构多少有点变动但这个无关紧要，只需要明白原理就行了。安装脚本：helloworld.sh如下：#!/bin/bashlines=15DEFAULT_DIR=/optread -p "Please enter the installation d...
2019-08-20 09:34:34
304
转载 CentOS7.4制作离线yum源
一、目的 对于一些要求离线安装的项目，需要先在联网的环境下将依赖包都下载，然后在离线环境上直接部署安装。而制作离线yum源，然后，在离线环境中部署自己制作的yum源，是一个非常好的方法。二、环境1.CentOS7.4三 、制作离线yum源步骤1.安装yum-utilsyum install -y yum-utils2.yumdownloader使用方法（1）只下载软件，不下...
2019-07-25 13:52:46
4073
转载 建设大数据平台，从“治理”数据谈起
本文目录：一、大数据时代还需要数据治理吗？二、如何面向用户开展大数据治理？三、面向用户的自服务大数据治理架构四、总结一、大数据时代还需要数据治理吗？数据平台发展过程中随处可见的数据问题大数据不是凭空而来，1981年第一个数据仓库诞生，到现在已经有了近40年的历史，相对数据仓库来说我还是个年轻人。而国内企业数据平台的建设大概从90年代末就...
2019-07-23 20:40:13
244
转载 ETL讲解（很详细！！！）
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的...
2019-07-22 16:50:59
210
转载 drools 7.x 决策表使用
1.何时使用决策表何时使用决策表——如果规则能够被表达为模板+数据的格式，那你 应该考虑使用决策表。决策表中的每一行就是对应模板的一行数据，将产生一个规则。运行决策表——Drools 引擎所部署的系统中执行决策表。首先，决策表转换 成的Drools规则语言（DRL），然后执行规则引擎需求。这意味着它是可能的业务规则的变更，无需停止和启动，或重新部署任何软件。2. 决策表决策表是另一种规则...
2019-07-22 10:43:14
997
转载 Linux系统重装时保留重要分区
对于熟悉Windows操作系统的人，一般都知道在重安装系统时只格式化C分区，而不动其它分区，以便尽可能保留已有的数据，极大地减少数据恢复工作。对于Linux操作系统，完全可实现类似的操作。与使用Windows一样，在初次安装Linux系统前，必须要对硬盘分区有一个较好的规划,以为以后的系统重装而不格式化整个硬盘做好准备。我一般是这样做的：将硬盘分成/, /home, /opt, swap（交换分...
2019-07-20 17:05:25
2148
转载 Apache NiFi With Rule Engine
in this quick post, we take a look at how to use Apache NiFi, and open source big data platform, to perform data manipulation.Combining Apache NiFi with Rule engine is easy and fun. You can do some r...
2019-07-16 17:03:29
321
转载 M2E plugin execution not covered
从git上面clone一个项目到本地，经常会遇到M2E plugin execution not covered的error，此error在eclipse的wiki上已经说明得很清楚了,我来写一下我的理解。http://wiki.eclipse.org/M2E_plugin_execution_not_covered出错原因：m2eclipse会自动build pom.xml里面的部分内容...
2019-07-15 09:52:13
164
转载 关于dpkg：处理xxx(--configure)时出错(ubuntu12.04)
前几天想安装一下samba服务器，先装了samba服务器的一个安装包，然后接着安装就开始报错：dpkg: 处理samba4 （–configure）。当时我以为操作文档不对，就停止不装了。结果，在之后的几天内，只要用apt-get 安装东西，就会报上面的错误。貌似安装的软件是可以用的，但是报错让人很无奈。下面是我找来的解决方案，亲生体验，确实可行。$ sudo mv /var/lib/dpkg...
2019-07-13 16:52:14
184
原创 maven插件生命周期
Maven的插件内置绑定： （生命周期绑定插件的global）1. clean生命周期阶段与插件目标的绑定关系生命周期阶段插件目标pre-cleancleanmaven-clean-plugin:cleanpost-clean2.site生命周期阶段与插件目标的绑定关系生命周期阶段插件目标pre-sitesitema...
2019-07-12 15:07:22
116
转载 Maven的-pl -am -amd参数学习
昨天maven的deploy任务需要只选择单个模块并且把它依赖的模块一起打包，第一时间便想到了-pl参数，然后就开始处理，但是因为之前只看了一下命令的介绍，竟然花了近半小时才完全跑通，故记录此文。假设现有项目结构如下dailylog-parent|-dailylog-common|-dailylog-web三个文件夹处在同级目录中dailylog-web依赖dailylog-commo...
2019-07-11 18:01:07
941
转载 GIS当中矢量数据、影像数据、地形数据等常见数据格式的介绍
1序LocaSpace-钓鱼岛 1963年，加拿大测量学家罗杰·汤姆林森（Roger Tomlinson）首先提出了GIS这一术语，并建成世界上第一个GIS（加拿大地理信息系统CGIS），用于自然资源的管理和规划。汤姆林森提倡使用计算机进行空间分析的先见之明以及他在建立CGIS过程中的领导角色，为他...
2019-07-05 18:14:50
17205
1
转载 W7下 VC.NET \VC2003 无法 搜索
微软太谦虚了，Win7对VS2003的兼容性并不像他说的那样差。其实仅有两个问题：1、search时程序死掉2、debug时锁住pdb不释放，下次build时出现文件写错误对于第一个问题，在devenv.exe属性的Compatibility的Settings中勾选“Disable visual themes”，或者停用Aero主题，使用Basic themes。对...
2019-07-05 13:38:12
1506
转载 Drools7规则引擎Map使用
service代码：@Servicepublic class DroolsService { public String fireRule() { KieServices ks = KieServices.Factory.get(); KieContainer kContainer = ks.getKieClasspathContainer(); ...
2019-07-04 13:44:51
1854
转载 Oracle 数据库 11g 版本将于2019年1月1日结束官方支持,19c 将发布
Oracle 11g的最终版本 11.2.0.4 发布于2013年，将于 2019年1月1日结束官方标准支持期，进入收费的扩展支持期。也就是说，这个版本自2019年将不再发布公开的补丁，除非是专门购买了扩展付费服务的客户，才能够获得补丁支持。这意味着，Oracle 将加速推进用户升级到 12c 版本。下图是Oracle的数据库版本支持计划图。第一行就是 11.2 版本的支持生命周期，已经长达1...
2019-07-03 19:04:20
8701
1
原创 oracle 下载地址
https://www.oracle.com/technetwork/database/enterprise-edition/downloads/index-092322.html10g 版本已经无法在oracle 网站上直接下载，需要购买了license 联系官方下载。
2019-07-02 17:45:15
145
转载 Nexus Repository OSS 3安装配置使用
Nexus Repository OSS 3是一个开源的仓库管理系统，提供了更加丰富的功能，而且安装、配置、使用起来也更加简单方便。OSS 3版本主要支持的仓库（Repository）包括如下：bowerdockermavennpmnugetpypirawrubygemsyum其中，对于上述每种类型的Nexus仓库，都分别具有如下主要3种类型：hosted：本地仓库，可以...
2019-07-02 10:51:37
2764
转载 Filter、Interceptor、Aop实现与区别
AOP使用的主要是动态代理 ， 过滤器使用的主要是函数回调；拦截器使用是反射机制 。一个请求过来 ，先进行过滤器处理，看程序是否受理该请求 。 过滤器放过后 ， 程序中的拦截器进行处理 ，处理完后进入 被 AOP动态代理重新编译过的主要业务类进行处理 。Filter：和框架无关，可以控制最初的http请求，但是更细一点的类和方法控制不了。Interceptor：可以控制请求的控制器和方法，但...
2019-07-01 14:59:03
468
转载 Oracle10g下载地址--多平台下的32位和64位
前段时间ORACLE把10G的下载从官网拿掉了 ，许多童鞋不知道ORACLE 10g 的下载地址，这里我附上oracle 10g 下载的链接，方便大家下载。 点击链接使用迅雷即可下载。 4种包的介绍： ***_database_*.zip 是oracle数据库 服务端 软件的安装包，如果你要创建一个数据库，请...
2019-06-29 16:52:32
2284
转载 Feign真正正确的使用方法
Feign是spring cloud中服务消费端的调用框架,通常与ribbon,hystrix等组合使用。但是在某些项目中，由于遗留原因，整个系统并不是spring cloud项目，甚至不是spring项目，而使用者关注的重点仅仅是简化http调用代码的编写。如果采用httpclient或者okhttp这样相对较重的框架，对初学者来说编码量与学习曲线都会是一个挑战，而使用spring中Rest...
2019-06-26 10:14:40
190
redhat7.3安装docker-ce18.09.1-3离线安装包
2019-02-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人