- 博客(34)
- 收藏
- 关注
RSS订阅原创 spark-streaming-kafka-0-10_2.12 api
因为更新了scala 2.12 版本 老的kafka api 会报错，翻了半天博客记录一下package com.sq.sparkstreamingimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.TopicPartitionimport org.apache.k...
2020-05-03 22:25:16
1138
原创 用JDBC写数据到ORACLE 踩得坑
java.sql.SQLException: 对只转发结果集的无效操作: laststat=conn.createStatement(); 改为stmt=conn.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE,ResultSet.CONCUR_READ_ONLY);就可以了...
2019-04-10 14:59:07
296
原创 KAFKA java 消费者
package com.yn.kafkatoredis.demo;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaCon...
2019-03-29 10:56:44
899
原创 centos7 配置 静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33#修改BOOTPROTO=static #这里讲dhcp换成ststicONBOOT=yes #将no换成yes#新增IPADDR=192.168.100.100 #静态IPGATEWAY=192.168.100.2 #默认网关NETMASK=255.255.255.0 #子网掩码...
2019-03-07 12:14:44
125
原创 springboot 使用注解方式 插入数据 ORA-00984错误：列在此处不允许
公司让搞springboot，遇到一个坑，记录下来：@Insert({"insert into records values(#{fileName},#{type},#{location},#{dateTime},#{counts})"})写法必须按照 这种写法，我之前写法 就是 不加 #{} 就会报这个错 最好用#{} 很简单的错误...
2019-01-23 11:40:47
938
原创 npm -v 报错 document write
记录一次服务器 安装 node.js 执行 npm -v 遇到异常 及 解决方法[root@VM_0_16_centos ~]# npm -v/usr/local/nodejs/node-v10.15.0-linux-x64/lib/node_modules/npm/node_modules/semver/semver.js:1325document.write('<script sr...
2019-01-07 14:57:52
594
原创 ElasticSearch5.X启动不起来问题及解决，mark
requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTERcentos6.x的内核太低，需要centos7或者升级centos6.x对应的内核至3.5以上。这里选择升级centos6.x对应的内核。查看内核：执行more /etc/issue和uname -a查看linux内核信息可以看到内核信息太低，只...
2018-12-06 18:51:10
1409
2
原创 kafka正常启动后无法创建topic
提示 可用brokers 为 0 确定配置及brokers 都已经启动且正确 因为我在 配置文件中改了路径 所有出现了这个问题 蛋疼
2018-12-05 20:36:57
3609
翻译 hive所有基础操作
本文搜自网上各种博客，具体出自哪我也不知道，我对内容进行整理，如果侵权请留言，如有不正，敬请指出。目录 1、建库2、查询数据库3、删除数据库4、切换库5、查看数据库里面的表6、添加表 创建内部表（Managered_Table） 创建外部表（External_Table） 跟内部表对比： 创建分区表 创建分桶表 ...
2018-11-19 20:23:05
626
原创 一个NIO的demo
package test;import java.io.IOException;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;import java.nio....
2018-11-09 19:59:27
14162
原创 Mac 使用 Parallels Desktop 部署虚拟机并配置双网卡
在这里 我使用的是 共享网络（NAT） 和 host-only 作为两块儿双网卡的连接类型并进行配置当然了，因为是NAT 模式 其实 不要hostonly 也可以 部署虚拟机为静态地址并且能联网，但是是在我配置双网卡后才发现的，所以先 配置双网卡 以后再说这个。 步骤： 安装虚拟机，我选择的是 官网的 centos 7 1807 的最小化安装，首先虚拟机创建之前就添加...
2018-09-14 09:01:33
17835
9
原创 数据库从入门到出门之四
目录 一：视图二：索引索引列的选择三：数据库如何设计四：数据库的简单优化五：备份和还原 一：视图#数据库对象，一个虚拟表，底层并非以键值的形式保存数据，在执行过程中#动态从基表获取数据（视图以表为底层来查询）视图其实就是提高查询效率的中间件，就像子查询 (select ename,deptno from emp) as wtf 查出来的作为 wt...
2018-08-30 20:48:24
230
原创 数据库从入门到出门之三
下面要说高级查询了。 目录一：高级查询-多表查询一：关联查询（连接查询）1.内连接2.外连接3.自然连接4.自连接二：子查询（嵌套查询）1.分类三.事务那什么是事务？四.存储程序1.存储过程2.存储函数 3.触发器 一：高级查询-多表查询一：关联查询（连接查询）1.内连接select ename,dname fr...
2018-08-30 20:34:13
166
原创 数据库从入门到出门之二
上回说到DDL-数据库定义语言，说到定义数据库，就要说说数据完整性，该如何定义数据库。目录一：数据完整性一）数据的准确性和可靠性二）完整性约束1.实体完整性2.域完整性3.引用完整性4.自定义完整性二：运算符三：接上篇DML：数据操纵语言（数据操作 增删改查）一：添加数据 insert二：删除数据 delete三：修改数据 update四：查...
2018-08-29 20:40:04
180
原创 数据库从入门到出门之一
目录一：数据。一）：概念二）：存储介质的变化过程三）：数据库（Database）四）：数据库管理系统（DBMS）1.关系型数据库管理系统（RDBMS）二：MySQL一：MySQL是什么二：mysql的下载和安装三：文件夹作用四：客户端命令行： 三：SQL一）什么是SQL二）SQL中的数据类型三）SQL分类1.DDL:数据定义语言...
2018-08-29 19:22:07
222
原创 Java之多线程
目录一、什么是进程，什么是线程。二、生命周期。 1.新建 2.就绪 3.运行 4.阻塞 5.死亡三、上Demo慢慢聊1.先了解一个方法2.创建子线程的两种方式（共四种）1.通过继承Thread类2.通过实现Runnable接口3.线程的sleep(),join()方法1.sleep（）2.join()3.Demo4.线程...
2018-08-24 18:58:19
161
原创 Comparable 和 Comparator 详解区别
个人觉得这个是比较重要的，可以实现类型数组的内部排序。曾在Hadoop的一些项目中见过这俩类 尤其是 comparator.Comparable:自然排序使用 规则： this属性 参数对象o属性 比较 this > o 正数 往后排 this < o 负数 往前排 this == o 0 不变Comparator：外部比较器C...
2018-08-23 20:17:22
139
原创 Java之泛型
泛型呢，一般在编程语言里是可以加快程序运行速度的，但是在Java中呢，并没有什么用，并不会加速程序的运行，那不是多余的吗？当然不是，存在即合理，下面开始说一说Java的泛型。 Java中呢，泛型的好处就是：1.编译期进行类型检查 ； 2.类型不确定时使用。 那怎么用呢，或是为什么是编译期的类型检查呢？接下来举/**示例：泛型类和通配符*//...
2018-08-23 18:31:28
107
原创 Java之File与IO流
首先，来说一说File 文件类，顾名思义，这个类的作用，就是将 系统中存在的文件，变成Java的对象。注：所有的输出流初始化时，后边可以追加，true和false 意思为是否追加，默认false 就会覆盖源文件，例：FileOutputStream fos=new FileOutputStream(filename,true);代码中说吧：package day0817;i...
2018-08-20 21:37:15
2106
1
原创 Java各种集合，遍历方式详细总结
首先说些注意事项：Iterator 要注意 一个迭代器只能用一次：//分别取键值it.forEachRemaining(o1->System.out.println(o1.getKey()));it.forEachRemaining((o1)->System.out.println(o1.getValue()));第二条语句打印值 就一个都不会出现，因为 迭代器就类...
2018-08-18 10:04:48
5154
原创 Java异常
什么是异常呢？对于程序来说就是，程序执行过程中产生非正常的现象，比如异常退出。那么Java异常呢就是Java提供的用来识别和处理异常的（机制）。作为程序开发者，当然不希望自己的程序，遇到问题就中断或是有问题我也想知道是哪里出的问题，ok，这就是Java异常存在的意义。进入正题：正如你所知道的，Java的一切都是对象实现的，那异常当然也不例外。首先上一张异常的结构图：Th...
2018-08-17 18:13:04
110
原创 Java之Lambda表达式
下面来说一下Lambda表达式，这个是 Java 8 的新特性，实质上是简便了对接口的实现，不用再写匿名内部类，而是简单的表达式。 首先，Lambda只能用于函数式接口，什么是函数式接口？ 定义：抽象方法 的个数只有一个的接口。就是这个 上边会有一个 @FunctionInterface标识，和@Override一样。...
2018-08-17 15:16:46
148
原创 Java集合（2） Queue Deque Map 以及 Stream对集合的操作
Queue 接口 ：队列:是一组操作受限的线性表。只能在队尾增加队头删除。 先进先出上边是实现或继承这个接口的接口或实现类，很多类我也不认识 唉 ，日了狗，写了半天的，提交了全没了。再来。。。下面来个Demopackage day0816;import java.util.LinkedList;import java.util.Queue;pub...
2018-08-16 19:59:10
595
原创 Java集合（1）List 和Set 之ArrayList和TreeSet/HashSet 及工具类 Collections
首先，集合只能存储引用类型的对象。集合 和 数组区别： 1.数组 长度固定的； 集合 长度不固定； 2.数组 存储 基本 类型 和 引用类型； 集合 只能存储引用类型； 3.性能上。 数组更好； 集合底层数据结构复杂。这篇文章先只说左边部分 也就是 Collection接口的List 和 Set。上边的接口图如果觉得看的不爽，可以瞧...
2018-08-15 21:06:07
347
1
原创 Java的自动拆箱和自动装箱
作为Java初学者，对所学进行总结，进行通俗演义，有不对的地方请指出：public class Demo2 { public static void main(String[] args) { int n=2; //首先创建一个基本类型 //进行手动装箱 基本类型 -&gt;对象 （引用类型） Integ...
2018-08-13 17:05:11
117
原创 Java的内部类
本文主要叙述几种内部类的实现方式，不对原理及意义做探讨。分类：1.成员内部类 1）实例成员内部类 2）静态成员内部类（类 内部类） 2.局部内部类 3.匿名内部类成员内部类：1.实例成员内部类：内部类 可以用 四种访问修饰符字节码文件名： 外部类名$内部类名.class注意：1.实例内部类内部不允许定义任何静态内容除...
2018-08-11 14:52:17
147
1
原创 Java 多态总结
主要说一下遇到的很有意思的问题，具体的多态看上篇，应该就能理解多态了，这篇主要讲述遇到的另外一个有意思的机制package work0808; class Wtf {String name; public void sound(Guitar g) {System.out.println("用吉他演奏");} public void sound(Piano p...
2018-08-09 11:09:00
110
原创 记一个关于向上转型及多态的问题
---恢复内容开始---public class Program6 {public static void main(String[] args) {A a1 = new A();A a2 = new B();B b = new B();C c = new C();D d = new D();System.out.println("⑴ " + a1.show(b)); //AA...
2018-07-31 15:11:00
104
原创 记遇到的一个小问题：Tomcat在服务器上启动，但是远程访问却加载不到页面，Tomcat界面都打不开...
原因：起初以为是端口问题，到最后下载重新解压也不行，防火墙也关闭了，百度到需要在 腾讯云/阿里云/XX云 配置安全设置，打开 接口访问，这点很神奇，原来我都没有配置过这个，之前一直没事，今天突然碰到了，神奇。...
2018-07-30 14:45:00
2378
原创 简单的MapReduce
package zzti.sq.wordcount; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.mapreduce.Job;im...
2018-06-26 11:49:00
145
原创 Hadoop 集群搭建及部分详解
环境搭建准备：（所有操作都是在root下） 主机两台，我没有采用虚拟机，建议使用最小化安装1.jdk（每个节点都要配置） 去Java官网下后缀名为.tar.gz的包 使用FTP工具，或者rz命令进行上传 我放在了/opt/Software/Java 下 使用 tar -zxvf解压 最小化安装若没提示找不到这个命令 百度安装这个工具 编辑/etc/p...
2018-06-26 10:07:00
141
原创 关于hive 内外部表区别的详解
本文只 启动 hive 就不说了 1 SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaS...
2018-03-13 20:22:00
316
原创 在windows 使用eclipse 跨平台运行mapreduce 提示连接不上
错误提示：call from 10.32.6.150：8020 failed on connection 如果你遇到这个问题了，在网络正常的情况下，更改你的代码，如下： 1 System.setProperty("HADOOP_USER_NAME", "root"); 2 Configuration conf = new Configuratio...
2018-03-13 09:16:00
401
原创 关于hive ，eclipse老是提示加载不到驱动
忙活了好长时间，很纳闷为什么加载不上驱动，驱动包、hive的依赖包、hadoop的依赖包也引入了，各种百度最后： hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar$HIVE_HOME/lib/hive-exec-0.11.0.jar$HIVE_HOME/lib/hive-jdbc-0.11.0.jar$HIVE_HOM...
2017-03-07 22:18:00
381
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人