IT_BULL的博客

原创 IDEA不识别mybatis的xml文件解决方案

在pom文件中加入插件<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId&g...

原创 基于ZOOKEEPER实现分布式锁

获得锁的规则： 当前列表中序号最小 &&当前列表中序号最小 == 我自己创建的节点基本思想：数据同步： 客户端A更改了付款状态为已经付款状态， 客户端B去获取付款状态立刻返回已经付款状态。进实时数据监听： 在客户端A监听付款状态节点，在客户端B更改付款状态节点的数据， 客户端A马上收到通知信息。 监听器监听一次就失效了。需要重新监听。分布式锁实现： 1.创建一个永久父...

原创 JAVA多态实现接口可拔插之LOL英雄攻击方法

/** * 攻击类 */public interface Attack { public void attack(Hero hero);}public class JsAttack implements Attack { public void attack(Hero hero) { System.out.println(hero.g...

原创 MyBatis中LIKE语法

SELECT * FROM user WHERE name like CONCAT('%',#{name},'%') 参数名不再实体中使用hashmap传递参数

原创 spark submit 提交任务报错

/opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://s1:7077 --executor-memory 1G --total-executor-cores 2 /opt/module/spark-2.1.1-bin-had...

原创 VIM使用技巧

1. 在非编辑模式下 输入：!r cd /xx/xx2 . r ! echo "xxxxx" 直接输出到vim文件中3. :/ xx 搜索vim文件中的关键字4。 :set numbet 设置文件行号...

原创 flume入门案例

1. flume运用之一监控端口数据：# 配置flume的代理类的名称为：telenetAgentName# 配置flume的数据来源名称为：telenetSourcetelenetAgentName.sources = telenetSource#配置flume的数据输出的目的地的名称为：telenetSinkstelenetAgentName.sinks = telenetSinks...

原创 GitLab配置文件报错

GitLab配置文件报错：根本原因是因为配置文件中邮件密码有特殊字符不能识别。更改为普通密码恢复正常耗时30分钟

原创 JAVA动态绑定

原创 Python发送邮件在异常中执行脚本实现死循环

#-*- encoding: utf-8 -*-'''try.pyCreated on 2019/1/20 16:48Copyright (c) 2019/1/20, IT_BULL版权所有.@author: IT_BULL'''import timeimport smtplibfrom email.header import Headerfrom email.mime....

原创 redis中有序集合Zset的存储获取

/** * LoginController.java * com.ctb.smart.user.controller * Copyright (c) 2018, IT版权所有. * @author IT_BULL */package com.ctb.smart.user.controller;import java.util.Ar...

原创 自定义web服务模拟Tomcat

package day01.service.web;import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.io.OutputStream;import java.net.ServerSocket;import java.net.So...

原创 Java序列化和反序列化

package bigdata01;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.ObjectInputStream;import java.io.ObjectOutputStream;import java.io.Serializ...

原创 BUG

2018-11-18 22:18:43.673 INFO 6820 --- [nio-8888-exec-1] o.a.c.c.C.[Tomcat].[localhost].[/] : Initializing Spring FrameworkServlet 'dispatcherServlet'2018-11-18 22:18:43.673 INFO 6820 --- [nio-8888-...

原创 java对象排序Comparable

/** * Person.java * testComparable * Copyright (c) 2018, IT版权所有. * @author IT_BULL */package testComparable;import java.util.jar.Attributes.Name;/** * 对象比较器 */pu...

原创 将字符串转成整数的函数给我看一下吗，简单看一下代码基本功。要求：不要调用parseInt等转换函数...

为了提高面试流程效率，方便用java写一段将字符串转成整数的函数给我看一下吗，简单看一下代码基本功。要求：不要调用parseInt等转换函数。按位读取字符串里的字符进行处理将字符串转化为整数，不考虑整数溢出问题，给定的输入一定是合法输入不包含非法字符，字符串头尾没有空格，考虑字符串开头可能有正负号。public int StringToInt(String str)import jav...

原创 spark中序列化错误，sparkStreaming将wordcount单词统计结果插入mysql

做spark开发错误 task不能序列化18/09/25 14:47:35 ERROR JobScheduler: Error running job streaming job 1537858055000 ms.1org.apache.spark.SparkException: Task not serializable是什么不能序列化呢？是mysql连接，这种写法是错误的 //将结果...

原创 Centos7安装netcat运算sparkStreaming进行单词统计

安装命令：yum install nc监听端口nc -l -k -p 6666启动Sparkstreaming 程序package streamingimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.DStreamimport org.apache.spark.streami...

原创 scala中的模式匹配java中的switchCase升级版

case class SendHeartBeat(id: String, time: Long)case object CheckTimeOutWorker/** * 模式匹配 match case * 一旦一个case 匹配上了，就不会再往下匹配了 */object ScalaMatchCse { def main(args: Array[String]): U...

原创 hive日志更改

原创 JavaBean

JavaBean：类JavaBean，虽然就是一个类，但是是有特殊条件的一个类，不是所有的类都可以叫做JavaBean的首先，它需要有一些field，这些field，都必须用private来修饰，表示所有的field，都是私有化的，不能随意的获取和设置其次，需要给所有的field，都提供对应的setter和getter方法，什么叫setter和getter？setter，就是说setX...

原创 SecureCRT新建连接

原创 hbase停止失败

过了3分钟好用了，但是没有解决根本问题分发到集群节点上

原创 idea 编写scala提示variable 和 specify type 设置

原创 Scala中的多线程Actor吃货包子

package com.it.Actorimport scala.actors.Actor//trait Actor extends scala.AnyRef \r\n// with scala.actors.InternalActor with scala.actors.ReplyReactorobject FirstActor extends Actor{ //实现act...

原创 Actor发生异步无返回值消息

package com.it.Actorimport scala.actors.Actorclass MyActor extends Actor{ override def act(): Unit = { //死循环进行阻塞 while (true){ //receive 方法是一个偏函数 匹配不到不会报错 receive{ ...

原创 Scala面向对象特质的动态混入功能

/** * 定义特质(接口) */trait Type{ //没有赋值的属性 能源 val energy:String //声抽象方法 获取能源方式 def power():String //已实现的方法 轮子 def wheels:String = { "have four wheel" }}trait Type1{ //已实现的方法...

原创 scala中主构造器和辅助构造器

class Person (var id: Int , var name: String) {//主构造器 //在主构造器中声明了类型 在这个地方就不能再次声明类型 并且可以不用写 id 和 name id name var age = 18 var gerden = "female" //辅助构造器 def this(id: Int ,name: String,...

原创 scala中伴生对象和伴生类

特征：一个单例对象未必是一个伴生对象，但是一个伴生对象一定是一个单例对象与类名相同并且用Object修饰的对象叫做伴生对象，同样类被称为是这个单例对象的伴生类，类和伴生对象之间可以互相访问对方的私有方法和属性注意：必须在同一个源文件里定义类和它的伴生对象。object Lover { private val ribs = "女人" def main(args: Array...

原创 Windows上运行Mapreduce提示无法初始化集群

D:\JAVA\bin\java.exe "-javaagent:D:\IDEA\IntelliJ IDEA 2018.1.6\lib\idea_rt.jar=51962:D:\IDEA\IntelliJ IDEA 2018.1.6\bin" -Dfile.encoding=UTF-8 -classpath D:\JAVA\jre\lib\charsets.jar;D:\JAVA\jre\lib...

原创 Oozie中允许hive程序xml配置

<?xml version="1.0" encoding="UTF-8"?><!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with th...

原创 oozie中mapreduce程序的workflow.xml文件配置新版本

<!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional information regardin...

原创 HBASE表操作

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.filter.*;import org.apache.hadoop.hbase.region...

原创 HBASE数据库API操作

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import static org.apache.hadoop.hbase.util.Bytes.toBytes;import java.io.IOEx...

原创 数据清洗格式

public class Format { public static void main(String[] args) { DecimalFormat format = new DecimalFormat(); format.applyPattern("###,###,###.00"); System.out.println(format.format(123...

原创 HIVE的UDF

开启本地hive运行界面 需要配置本地mysql用户hive创建本地hive数据库在mysql中，增加hive用户的权限eclipse中导入hive的jar包import org.apache.hadoop.hive.cli.CliDriver;/** * 开启本地hive运行界面 * @author IT_BULL * @Dat...

原创 Log日志滚动切割

import org.apache.log4j.Logger;/** * 滚动日志 * @author IT_BULL * @Date 2014年7月8日 */public class Log { public static void main(String[] args) throws Interru...

原创 字符串切割

package mapreduce;import java.util.HashMap;import java.util.StringTokenizer;/** * 单词切割 * @author IT_BULL * @Date 2015年7月4日 */public class WordSplite { ...

原创 zookeeper启动日志报错nohup: failed to run command `java': No such file or directory

原创 Hadoop伪分布模式搭建

1、在独立模式的基础上添加ssh免密登录配置2、配置Hadoop 中.xml文件3、更改主机名设置host伪分布模式。(伪分布模式：模拟集群，所有服务在一台机器上跑，模拟的是机器，因为是模拟：所以叫它伪分布式，区别：需要配置xml文件) // 配置 文件 所在地方 /usr/local/hadoop/etc/hadoop a)进入${HADOOP_HOME}/etc/hadoop目...