- 博客(75)
- 收藏
- 关注
RSS订阅转载 Nifi组件脚本开发—ExecuteScript 使用指南（一）(转)
ExecuteScript 是一个万能的处理器，允许用户使用编程语言定义自己的数据处理功能， 在每一次 ExecuteScript processor 触发时被调用。下面的变量绑定到脚本环境，以提供脚本中访问 NiFi 组件环境: session:是对processor的ProcessSession属性的引用。session允许在 flow files 执行下面的操作： create(), putAttribute(), transfer(), 像 read() 和 write()一样。 .
2021-08-17 11:16:41
1251
转载 Nifi组件脚本开发—ExecuteScript 使用指南（三）(转)
上一篇：Nifi组件脚本开发—ExecuteScript 使用指南（二）1|0Part 3 - 高级特征本系列的前两篇文章涵盖了 flow file 的基本操作, 如读写属性和内容, 以及使用"session" 变量 ( ProcessSession对象)获取和转移 flow files. ExecuteScript还有很多其他的能力，这里对一部分作简要介绍。1|1动态属性-Dynamic Properties其中一个能力叫做 dynamic properties, 或者称为用户定义属性..
2021-08-17 11:15:29
738
转载 Nifi组件脚本开发—ExecuteScript 使用指南（二）(转)
NiFi 的 Flow files 由两个主要部件组成：attributes 和 content. Attributes 是关于 content / flow file的元数据, 我们在Nifi组件脚本开发—ExecuteScript 使用指南（一）看到了如何使用 ExecuteScript 来操纵这个属性. flow file 的内容, 核心是一个 bytes集合，没有继承的 structure, schema, format, 等等. 不同的 NiFi processors 假定输入的 flow fi.
2021-08-17 10:56:00
623
原创 Flink1.9的sql-client初探
安装flink1.9 start-cluster编写test-env.yaml (一定注意格式和缩进! 对照https://github.com/apache/flink/blob/release-1.9/flink-table/flink-sql-client/src/test/resources/test-sql-client-defaults.yaml 自己调整或者直接覆盖)...
2019-12-20 14:12:54
1106
原创 IDEA安装scala环境
clone flink 1.6 执行报错.显示没有scala jar下载scala sdk 引用到项目中,发现一直去C盘的用户目录下去找jar包. 卸载IDEA中的scala插件,重新安装失败.应该是没有C盘的操作权限.修改IDEA的缓存文件配置IDEA的缓存文件夹.IntelliJIdea2017.1，存放着IDEA的破解密码，各个项目的缓存，默认是在C盘的用户目录下，目前有1.5G大...
2019-12-19 11:26:43
308
原创 Flink Streaming函数操作
max与maxBy的区别。min与minBy同理maxBy：对比某字段返回最大的一条记录，如果这条记录有N个字段，会全部返回max：比某字段仅返回此字段，这条记录的吉他字段不返回interval join 该操作需要制定event time在给定的周期内，按照指定的key对两个keyedStream进行join操作，把符合条件的两个event弄到一起进行操作例如：把一定时...
2019-11-18 15:51:42
317
1
原创 flink dataStream API
类型 描述 dataStream.global(); 全部发往第一个task dataStream.broadcast(); 广播,复制发送到每一个task,注意数据量 dataStream.forward(); 上下游并发度一样时...
2019-09-11 09:43:48
259
1
转载 CentOs 搭建 Hyperledger Fabric 简单步骤
安装 wgetyum install wget1使用wget获取安装包wget -c https://storage.googleapis.com/golang/go1.8.3.linux-amd64.tar.gz1解压tar -C /usr/local/ -zxvf go1.8.3.linux-amd64.tar.gz1添加环境变量vim /etc/profile.d/go.sh...
2019-03-25 15:36:34
290
转载 Flink 并行度详解
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Jiny_li/article/details/86482112 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/pho...
2019-03-13 20:52:21
2595
转载 ELK的心脏，ElasticSearch学习方法论
ElasticSearch简介 基于Lucene构建的分布式，RESTful搜索和分析引擎; 实时搜索、分析，稳定，可靠，快速； JAVA编写，开源，使用JSON开源通过HTTP来索引数据； 项目介绍 历史： 由前同事工作交接，原有一套ES1.7集群，但是经常jvm跑满导致集群不可用，没有ES调优经验，甚至没有使用经验，从零了解ES，过度版本ES5.3~5.6...
2018-09-17 15:13:07
230
原创 java加载配置文件
加载jar包外部配置文件：import org.apache.commons.io.FileUtils;File file = new File("config/conf.properties");FileInputStream openInputStream = FileUtils.openInputStream(file);prop.load(openInputStream);...
2018-08-21 17:45:45
161
转载 Solidity 中 revert(), assert() 和 require() 的使用方法
Solidity 0.4.10 版本发布了新的 assert() , require() 和 revert() 函数，解决了以前代码中有困惑的地方。特别地，新 assert() 和 require() 代码会“确保”提高合约代码逻辑条理清晰，但是也需要知道如何区别使用它们。本文中，将会：解释新函数解决的问题讨论 Solidity 编译器如何处理新 assert() 、 require() 和 re...
2018-07-09 17:41:04
760
原创 shell中指定其他版本的jdk
/etc/profile中的jdk是1.7的,我自己的服务需要使用jdk1.8在shell中加入 export JAVA_HOME=/data/jdk1.8.0_171export PATH=$JAVA_HOME/bin:$PATHPATH要写在JAVA_HOME后面
2018-06-15 11:57:29
4635
1
原创 solidity语法
pure constant view 区别都用constant可以执行成功返回值带有变量用constant 只是返回一个固定的值，比如XX、2、helloword这种需要用pure 返回值即没有变量也没有固定值就用view，比如msg.sender默认参数都是memory类型（值引用类型）。如果参数类型是storage（指针引用类型），函数必须是internal或者private类型de...
2018-05-27 22:28:29
133
原创 JS中的promise
promise包含3中状态pending：对象初始状态，等待完成或者失败resolve：任务执行完成并且状态成功reject：任务执行完成并且失败promise状态只能从pending转换到resolve或者reject。除此外彼此间无法互相转换。Promise对象必须实现then方法，then方法也必须返回promise对象，一个promise对象可以注册多个then方法，并且回调的执行顺序和它...
2018-05-21 18:21:53
289
原创 智能合约
部署智能合约的流程流程如下：启动一个以太坊节点 (例如geth或者testrpc)。使用solc*编译*智能合约。 => 获得二进制代码。将编译好的合约部署到网络。（这一步会消耗以太币，还需要使用你的节点的默认地址或者指定地址来给合约签名。） => 获得合约的区块链地址和ABI（合约接口的JSON表示，包括变量，事件和可以调用的方法）。(译注：作者在这里把ABI与合约接口弄混了。ABI...
2018-05-17 16:21:07
178
转载 以太坊入门
介绍常用的gong运行以太坊节点可用的客户端Go语言实现的客户端geth (go-ethereum)，其他时候还会使用一个叫testrpc的工具, 它使用了Python客户端pyethereum。交互式控制台。 客户端运行起来后，你就可以同步区块链，建立钱包，收发以太币了。使用geth的一种方式是通过Javascript控制台（JavaScript console, 类似你在chrome浏览器里面...
2018-05-17 11:07:16
177
转载 第一个智能合约
编译合约//读取合约内容code = fs.readFileSync('Voting.sol').toString()//干嘛的？？ 编译校验？ 输出下述内容> solc = require('solc'){ version: [Function], semver: [Function: versionToSemver], license: [Function], compil...
2018-05-16 18:34:02
259
原创 geth基础操作
geth --datadir "%cd%\chain" init genesis.jsongeth -datadir "%cd%\chain" consolegeth --identity "PICCetherum" --rpc --rpccorsdomain "*" --datadir "%cd%\chain" --port "30303" --rpcapi "db,eth,
2018-05-14 17:26:46
539
转载 java实现异步调用实例
在JAVA平台,实现异步调用的角色有如下三个角色: 调用者 取货凭证 真实数据 一个调用者在调用耗时操作,不能立即返回数据时,先返回一个取货凭证.然后在过一断时间后凭取货凭证来获取真正的数据. 所以连结调用者和真实数据之间的桥梁是取货凭证.我们先来看它的实现:[java] view plain copypublic class FutureTicket{ private Object da...
2018-03-27 15:13:46
5731
原创 修改hdfs的副本数量
线上存储不够，将HDFS副本数由3减为2.重启集群无效。该参数是clinet端有效，既对新写入的数据设置2个副本。已存在的数据副本还是3个执行命令将某目录下数据副本改为2hadoop dfs -setrep -w 2 -R /user执行 hdfs balancer 均衡集群数据参考资料：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dis...
2018-03-16 18:52:49
12931
3
转载 Crontab的另外一种写法
转载自： http://www.cnblogs.com/killkill/archive/2009/01/12/1374136.htmlcrontab 主要是在做计划任务、定时执行, 通常一般写法大概都是如下:0 0 * * * /usr/local/www/awstats/cgi-bin/awstats.sh 这种写法规则如下:分 时 日 月 年取值范围如下表:复制代码 field allowe...
2018-03-16 15:43:06
303
转载 mysql show processlist命令 详解
记录一次sql执行慢的原因我们先通过status命令查看Mysql运行状态mysql> status;--------------mysql Ver 14.14 Distrib 5.1.73, for redhat-linux-gnu (x86_64) using readline 5.1 Connection id: 113752Current database: information...
2018-03-08 13:37:29
219
转载 Redis命令
Redis命令是用于在Redis服务器上执行一些操作。要在Redis服务器上运行命令，需要一个Redis客户端。Redis客户端在Redis包中有提供，这个包在我们前面的安装教程中就有安装过了。语法以下是Redis客户端的基本语法。[yiibai@ubuntu:~]$ redis-cliShell示例以下示例说明了如何启动Redis客户端。要启动Redis客户端，请打开终端并键入命令redis-...
2018-03-02 20:12:22
247
转载 什么是 XML Schema
作者：微wx笑链接：https://www.zhihu.com/question/21167385/answer/214543406来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。什么是 XML Schema？ XML Schema 的作用是定义 XML 文档的合法构建模块，类似 DTD。 XML Schema 的作用: 定义可出现在文档中
2017-11-09 11:09:17
1834
原创 linux中vim,ps,top,gzip与tar命令使用
ps 显示进程状态相关的信息a 显示与终端相关的信息x 显示与终端无关的信息u 详细信息. CPU使用率,user,进程号,内存使用,VSZ(虚拟内存集,内存不够时,拿磁盘当内存用,讲进程中不常用的数据存储到磁盘,当进程使用到数据时再读到内存,交换分区技术),RSS(常驻内存集,不常被交换到磁盘的,与VSZ相反),stat(状态,R running运行状态.S 可中断睡眠状态.D 不可
2017-02-11 16:25:18
927
原创 shell基础(一)
常用shell命令shell是一个特殊的应用程序.所有运行在内核之上的程序都称之为应用程序shell包含一组内部命令,此命令可以用来控制文件复制\文件移动\文件重命名,以及显示当前运行在系统上的程序等操纵,除了内部命令外,linux还允许命令在命令提示符处输出程序的名称,shell可以将程序名传递到内核来启动该应用程序type 判断一个命令是内部还是外部命令,还是别名用法:
2017-01-21 17:48:08
270
原创 hbase建表语句
创建分区规则指定TTL时间create 'magina_t',{NAME =>'cf',VERSIONS =>1,TTL => 5184000},{SPLITS => ['1','2','3','4','5','6','7','8','9']}若需修改属性.先disable alter 'magina_t',{NAME =>'cf',TTL => 500}再enab
2017-01-10 10:32:05
1638
原创 mvn常用命令
把本地的jar拷贝到本地mvn仓库中注意几个配置groupIdartifactId versiondependency>groupId>com.cloudwise.toushibaogroupId>artifactId>ip-location-searchartifactId>version>0.0.1-SNAPSHOTversion>
2016-12-08 15:46:10
392
原创 linuxx常用命令
创建多个文件夹mkdir {aaa,bbb,ccc}杀掉所有java进程pkill java查看占用端口的进程netstat -lntup|grep 3888
2016-11-16 17:42:56
395
原创 ES中使用delete by query
上面指定索引 type 下面内容从query中拷贝过来使用即可DELETE mobileoper_201609/type_410/_query{ "query": { "term": { "type": { "value": "3005" } } }}
2016-11-03 17:39:18
6969
原创 linux中crontab用法
先写一个启动脚本: vi runCronMod.sh目录: /data/yunying/retain/runCronMod.sh#!/bin/bash# File: runCronMod.sh# Usage: ./runCronMod.sh# Description: # Version: 0.1# Create Date: 2016-09-
2016-09-24 16:30:35
381
原创 定位java中的死循环
kafaka consumer突然CPU占用100%.. kafka里还没有数据,原来是有死循环代码. 如何定位呢?先top 找到占用CPU最大的进程然后查看这个进程下哪个线程占用的资源最多定位到12907这个线程 把它转化成16进制是 326b用 jstack -l 12862 > jstack.log； 生成线程堆栈日志文件打开jstac
2016-09-02 12:11:28
5588
转载 YARN的内存和CPU配置
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据
2016-08-31 17:10:19
369
原创 hive常用笔记
1,临时执行一个sql就退出 hive -e "select * from test";2,临时执行一个sql,忽略OK..这些东西(静默模式)并保存到本地一个临时目录hive -S -e "select * from test" > /tmp/magina/a.txt;3.在hive命令行中执行linux命令或者操作hdfs! pwd; 显示当前路径
2016-08-28 16:26:06
376
转载 hive与关系型数据库对比
关系数据库里，表的加载模式是在数据加载时候强制确定的（表的加载模式是指数据库存储数据的文件格式），如果加载数据时候发现加载的数据不符合模式，关系数据库则会拒绝加载数据，这个就叫“写时模式”，写时模式会在数据加载时候对数据模式进行检查校验的操作。Hive在加载数据时候和关系数据库不同，hive在加载数据时候不会对数据进行检查，也不会更改被加载的数据文件，而检查数据格式的操作是在查询操作时候执行，这种
2016-08-28 14:56:21
3235
转载 Hadoop参数汇总
linux参数以下参数最好优化一下：文件描述符ulimit -n用户最大进程 nproc （hbase需要 hbse book）关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本：4.3.0主要配置文件：
2016-07-20 10:34:02
461
转载 Log4j配置详解
转自:http://www.blogjava.net/zJun/archive/2006/06/28/55511.htmlLog4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。1. 配置文件Log4J配置文件的基本格式如下：
2016-07-15 17:25:20
183
转载 Mybatis中selectOne的空指针异常
selectOne调用了selectList方法，当selectList方法返回值的size小于1 的时候，selectOne方法会返回null值。我们再来看一下mybatis的xml. 如果你写了resultType为Integer，然后在业务代码中很自然的用一个变量int去接当前这个方法的返回值：int id = dao.methodName(param);如果按照你传入的条件
2016-07-07 09:43:27
3881
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人