qq_31073717的博客

原创 flink java api（一）

Index1 data-source1.1 kafk-source1.2 hadoop-source1.3 udfkafka-source2 data-sink2.1 kafak-source-hdfs-sink2.2 hdfs-sink2.3 redis-sink2.4 kafka-sink3 operator4 state-fault-tolerance4.1 managed-keyed-state4.2 value-state4.3 list-state

原创 IDEA多模块项目install到maven本地仓库失败

解决方案：1、先对父工程进行maven install；2、在对模块1的项目进行maven install；3、在模块2中引入模块1的

原创 Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 0 time(s)； retry policy is RetryUpTo

先确认是否配置免密登录，如果已经配置好了免密登录，则执行如下：#每台机器都要执行cd .sshtouch authorized_keyscat id_rsa.pub >> authorized_keys#修改配置文件sshd_configvi /etc/ssh/sshd_configRSAAuthentication yes PubkeyAuthentication yes #这两项为打开公钥模式AuthorizedKeysFile .ssh/authori.

原创 vitualbox NAT模式多虚拟机网络配置

原创 idea类设置签名，弹窗提示输入类信息

1、点击file -> setting -> Editor -> File and Code Templates -> Includes -> File Header，输入如下信息：* @description ${Description}* @author ${USER}* @email [email protected]* @date ${DATE} ${TIME}*/

原创 Greenplum&postgresql: Invalid column name:start_value

1、问题描述：采用springboot jpa整合postgresql或者greenplum时，采用jpa实体自动初始化数据表报错信息，为：Invalid column name:start_value。2、解决办法：进入当前数据库下执行：select * from information_schema.sequences;查询有无start_value字段，如果没有，就说明当前数据库版本太低，可以更换postgresql-9以上或者greenplum-6以上，我的greenplum

翻译 Hue:安装之后mariadb与mysql冲突问题解决

1.下载并安装MySQL官方的Yum Repository1.下载mysql的yum repositorywget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm2.采用yum命令安装yum -y install mysql57-community-release-el7-1...

原创 flume+hbase,自定义hbase-sink，hive集成habase

1.编写flume-hbase.confa1.sources=r1a1.channels= hbaseCa1.sinks= hbaseS2a1.sources.r1.type = avroa1.sources.r1.bind = spark1#spark1端的flume source的端口必须与8989保持一致a1.sources.r1.port = 8989a1.source...

原创 Maven打包，可以打2个jar包，包含依赖包和不包含依赖包

<build> <sourceDirectory>src/main/java</sourceDirectory> <testSourceDirectory>src/main/java</testSourceDirectory> <plugins> <plugin> ...

原创 Mac os安装cent os7无法ping通主机

直接上图吧，1.先看看Mac主机的ip吧2.修改虚拟机的ip，vi /etc/sysconfig/network-scripts/ifcfg-ens323.重启网卡，可以看出虚拟机和主机的网关和子网保持一致，两者的ip在同一个网段4.关闭虚拟机和主机的防火墙和selinux：查看防火墙状态：firewall-cmd --state5.ping主机ip：ping 17...

原创 /var/lib/mysql/localhost.localdomain.pid【mysql服务启动出错】

centos 7安装mysql-5.6.36mysql安装过程见：https://blog.csdn.net/qq_31073717/article/details/806350371.启动mysql提示出错./mysql startStarting MySQL.. ERROR! The server quit without updating PID file (/var/lib/...

原创 spark：java.lang.UnsupportedOperationException: loadTable is not implemented

java.lang.UnsupportedOperationException: loadTable is not implemented at org.apache.spark.sql.catalyst.catalog.InMemoryCatalog.loadTable(InMemoryCatalog.scala:316) at org.apache.spark....

原创 unable to find encoder for type stored in a Dataset

//使用sparksession创建DataFrameval userAcessLogRowDF = sparkSession.createDataFrame(userAcessLogRowRDD,structType) //正式使用内置函数contDistinct //uv指的是对用户去重后的访问总次数 userAcessLogRowDF.groupBy("date").agg('d...

原创 Dataset写Hive表报错：Cannot create hive serde table with saveAsTable API;

原因是DataFrame API和Hive API不兼容，网上有Scala版本的解决办法https://www.jianshu.com/p/a91368a33a31。但是java版本的还不知道怎么解决。Dataset goodstudentsDS = sparkSession.sql("SELECT SI.name,SI.age,SS.score" + " FROM stud...

原创 hive删除表失败： ERROR [main]: exec.DDLTask (DDLTask.java:failed(520)) - org.apache.hadoop.hive.ql.metadat

hive删除database和table失败问题： ERROR [main]: exec.DDLTask (DDLTask.java:failed(520)) - org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:For direct MetaStore DB connections, we don'...

原创 azkaban的web-server启动失败 [Azkaban] plugin path plugins/triggers doesn't exist!

启动azkaban时出现如下问题： 但是jps发现server启动了这是什么情况。executor可以正常启动但是浏览器无法访问（https://192.168.1.11:8443）,是什么问题呢？主要问题出现在the datetime zone id的配置上，千万注意不要有空格！！...

转载 Linux下大数据相关软件分析，不定时更新

链接：https://pan.baidu.com/s/1BQd3I7NDXT0vGLnPjpFqWA 密码：t6xy

转载 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Fo

hive建表失败：hive&gt; create table t(name string,age int)    &gt; row format delimited fields terminated by ',';FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExce...

原创 hadoop-2.x安装一套完整教程，亲自测试可行

1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast    ###虚拟机名称 1.2修改IP 两种方式： 第一种：通过Linux图形界面进行修改（强烈推荐） 进入Linux图形界面 -&gt; 右键点击右上方的两个小电脑 -&gt; 点击...

原创 论文、专利（初稿原创未投版）转让

研究方向为石墨烯材料方向，调制器方向，吸波器方向，等效电路方向等可以看看。目前有两篇英文小论文，一篇专利，都是原创，还没有投稿，准备转让出去，感兴趣的小伙伴可以看看。有需要的请留言。...

翻译 centos-6.x安装Mysql教程及出现的错误解决方法

1.安装准备 ，查看是否有自带的MySql 库，如果先有卸载先解压软件：MySQL-5.6.36-1.linux_glibc2.5.x86_64.rpm-bundle.tar[root@mini1 ~]# rpm -qa | grep mysql mysql-libs-5.1.71-1.el6.x86_64 [root@mini1 ~]# rpm -ev mysql-libs-5....

原创 hive报FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

hive可以进行如select * from t;简单查询；一旦进行如select count(*) from t;就报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask；查看日志如下：2018-06-05 03:06:08,935 ERROR [main]: exec.Task (Se...