SUN_FEI的博客

原创 Leetcode42题（Trapping Rain Water） 接雨水 解答记录 JAVA版

给定 n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表示的高度图，在这种情况下，可以接 6 个单位的雨水（蓝色部分表示雨水）。。示例:输入: [0,1,0,2,1,0,1,3,2,1,2,1]输出: 6想要接住雨水 数组要大于3 如果只有两个数组无法接住雨水接住雨水的前提...

原创 LeetCode最长回文子串代码解析

LeetCode最长回文子串代码解析题目：给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。示例 1：输入: “babad”输出: “bab”注意: “aba” 也是一个有效答案。示例 2：输入: “cbbd”输出: “bb”整体思路：最简单的思路就是先遍历出所有的子串组合，检测子串是不是回文串，记录下最长的回文串返回...

原创 WIN10下通过Anaconda安装TensorFlow-GPU版本和keras

WIN10下通过Anaconda安装TensorFlow-GPU版本和keras环境win10GTX1060版本TensorFlow-gpu 1.9anaconda 5.3.1keras 2.2.4CUDA 9.0.176CUDNN 7.4.1.5安装参考Win10 Anaconda下TensorFlow-GPU环境搭建详细教程如何选择和正确安装跟Tensorfl...

原创 java下使用chromedriver获取访问页面状态码

java下使用chromedriver获取访问页面状态码##在使用chromedriver的时候 并没有提供api来获取访问页面的状态码，但是可以打开日志来获取到 LoggingPreferences logPrefs = new LoggingPreferences(); logPrefs.enable(LogType.PERFORMANCE, Level.ALL); ...

原创 mysql数据库中避免重复数据插入

首先 数据库中已经存在重复数据 并且数据量很大 之前并没有设置重复字段为唯一索引 需求： 修改sql语句在插入时 避免重复插入网上看了几个博客都是设置唯一索引 使用ignore或者REPLACE INTO 或者ON DUPLICATE KEY UPDATEhttps://www.cnblogs.com/Eric-zhao/p/6655994.htmlhttp...

原创 CDH5.8手动安装spark2.1的运行错误整合 spark访问Hbase 数据导入mysql

在CDH5.8上面安装的时候spark1.6  苦于编程打包时的问题（spark1.6使用的是scala2.10 idea上使用2.10进行编译的时候 有时会报错 但是用2.11能编译通过 不过2.11编译的在spark上面运行时就会出现找不到包的问题  有人知道怎么回事请通知我 ） 就给CDH手动升级到了2.1版本CDH手动升级Spark2.1 这个博客里虽然是CDH5.11 但是CDH官方给的

原创 Linux下查看SELinux状态和关闭SELinux的方法

一、查看SELinux状态命令：1、/usr/sbin/sestatus -v      ##如果SELinux status参数为enabled即为开启状态SELinux status:                 enabled2、getenforce                 ##也可以用这个命令检查二、关闭SELinux方法：1、临时关闭（不用重启机器）：复制代码代码如下:set

转载 Hadoop学习笔记—12.MapReduce中的常见算法

一、MapReduce中有哪些常见算法　　（1）经典之王：单词计数　　　　这个是MapReduce的经典案例，经典的不能再经典了！　　（2）数据去重　　　　"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。　　（3）排序：按某个Key进行升序或降序排列　　

原创 java使用selector NIO socket

使用NIO的socket时 一直测试状态是 服务端返回的信息所有客户端都能收到  一直很郁闷  后来发现 是服务端代码的问题 在接受到一个channel时 我的代码里是拿select又做了一次遍历 对所有的客户端进行返回 下面给一个代码示例 服务端public class HansServer { // 用于检测所有Channel状态的Selector priv

原创 如何使用java传入给c服务端结构体

在java和C的socket交互中 是用的是结构体传输   java怎么传  其实很简单  c中并没有Java的对象  他的结构体 你只要按照c中结构体的字段 转成字节数组就好了  比如 public byte[] MsgToBuf (MsgHead msgHead){ byte[] buf = new byte[20]; int msgh = msgHead.ge

原创 关于java中如何复制字节数组

原创 关于java在NIO中使用bytebuffer

Buffer 类定义了一个可以线性存放primitive type数据的容器接口。Buffer主要包含了与类型（byte, char…）无关的功能。值得注意的是Buffer及其子类都不是线程安全的。每个Buffer都有以下的属性：capacity这个Buffer最多能放多少数据。capacity一般在buffer被创建的时候指定。limit在Buffer

原创 java int类型转byte数组

这里只写了几个 转换程序     主要是java和其他语言交互时的大小端问题    //高前低后 public static byte[] intToByteArray( int integer) { int byteNum = (40 -Integer.numberOfLeadingZeros (integer < 0 ? ~integer : integer))/ 8;

原创 java接收到的byte数组转成16进制字符串和16进制字符串转byte数组

//近期在和C语言的socket做交互时  由于java端需要给服务端传C的结构体 所以所有数据需要转成byte数组传输  下一篇会写如何把数据拼接成byte数组  接受到的也是byte数组 而发来的则是超出byte大小范围的字节  这时直接转string则会出现乱码 因为那边传来的数据不是按string的 是按照16进制的数字转换的  接受的会有负值的情况 直接转则乱码  这里在网上找到一些资料

原创 关于spark使用DF写入到数据库mysql

package sparkimport java.util.Propertiesimport org.apache.spark.SparkContextimport org.apache.spark.sql.{Row, SaveMode}import org.apache.spark.sql.types.{IntegerType, StringType, StructField, St

原创 hadoop安装自己挖坑自己填

Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shell.runCommand(Shell.java:981) at org.apache.hadoop.util.Shell.run(Shell.java:884) at org.apache.hadoop.util.Shell$ShellComma

原创 linux下重启 ntp

/etc/init.d/ntpd restartcentos7下安装ntp4、安装NTP服务所有节点# yum -yinstall ntp更改配置文件/etc/ntp.conf在master节点namenode节点注释掉原有的server指向把时间服务器的域名地址指向一个靠谱可连的时间服务器，我选择的是ntp.api.bz

原创 img标签设置本地路径

原创 java下设置全局代理

System.setProperty("java.net.useSystemProxies", "true"); System.setProperty("http.proxyHost", "127.0.0.1"); System.setProperty("http.proxyPort", "2022");

原创 spark读取mysql数据库的驱动问题

连接关系型数据库转换为DF对象。上传mysql-connector-java-5.1.28-bin.jar包 启动参数方式：bin/spark-shell--master=local[4] --driver-class-path=mysql-connector-java-5.1.28-bin.jar注意：此时jar包放置在的位置可以自定义  但是在单机启动的时候 需要在jar包所在

转载 HSQL转换成MapReduce过程

hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接http://tech.meituan.com/hive-sql-to-mapreduce.htmlhttp://www.slidesha

转载 如何设置linux添加开机启动项

LINUX里的添加启动项的方法和WINDOWS不一样使用chkconfig命令可以查看在不同启动级别下课自动启动的服务（或是程序），命令格式如下：chkconfig --list可能输出如下：openvpn 0：关闭 1：开启 ...... 6：关闭 （0-6 为启动级别 ; 关闭/开启为相应级别下该服务的自动启动选项）如果希望对自动启动选项做出改变，命

转载 MAVEN常用命令

Maven库：http://repo2.maven.org/maven2/Maven依赖查询：http://mvnrepository.com/Maven常用命令： 1. 创建Maven的普通java项目：    mvn archetype:create    -DgroupId=packageName    -DartifactId=project

原创 SELinux状态和关闭SELinux的方法

Linux下查看SELinux状态和关闭SELinux的方法一、查看SELinux状态命令：1、/usr/sbin/sestatus -v      ##如果SELinux status参数为enabled即为开启状态SELinux status:                 enabled2、getenforce                 ##也可以用这

转载 Linux 下关闭防火墙设置

一.Linux下开启/关闭防火墙命令1) 永久性生效，重启后不会复原开启： chkconfig iptables on关闭： chkconfig iptables off2) 即时生效，重启后复原开启： service iptables start关闭： service iptables stop需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操