振兴东北-CSDN博客

原创设置HADOOP那些坑

运行spark程序时报错如下：20/03/30 13:36:20 WARN Shell: Did not find winutils.exe: {}java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki....

2020-03-30 15:39:00 1041

原创在EMR上执行 java spark sql 读写 s3 csv文件，存储RDS mysql

java写了一段从AWS s3读取csv文件，并使用spark sql处理后结果保存到mysql数据库，并写入到s3上csv文件的代码如下：package org.example.JavaDemo;import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import org.apache.spark...

2020-03-25 19:04:20 781

原创完整spark sql 访问 aws s3 文件并写入mysql数据库的代码

书接上篇，需求同上。将读取的本地文件路径改为aws s3路径，实现如下：1. 直接上pom文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven...

2020-03-18 08:55:34 1398

原创 IEDA编写的 java SparkAPI 读取CSV文件，用spark sql简单处理结果并保存到MySQL数据库的代码实现

实现的需求：1. 读csv将Tiler中含有T的数据过滤出来。2. 创建flag列，将201903>201902时flag值为up否则为down3. 将结果插入到MySql数据库。废话不多说，直接上代码：--------------------------------------------------------------------------------import o...

2020-03-11 12:04:52 508

原创用IDEA java 编写的 spark读取csv文件代码

使用IDEA2019.3.3版本，jdk1.8创建maven项目直接上干粮：1.配置 pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001...

2020-03-09 11:33:12 2333

原创用IDEA scala 编写一个sparksql读写csv文件的代码

试着使用sparksql写一个读写csv文件。使用工具如下：1. IntelliJIDEA 2019.3.3 U E2. scala-sdk-2.11.123. jdk 1.8.0_91-------------------------------------------------------------------------------------------------...

2020-03-08 08:55:32 1682

原创将博客搬至CSDN

好久没来，今天发现需要申请搬家了。那就搬吧。必需写这么个文章并发表才能搬。

2020-03-08 08:40:39 71

原创用树莓派做控制板，mysql 数据库出现超时问题的解决

使用树莓派做控制板控制停车场道闸，安装mysql数据库做为数据存储。超过8小时后出现数据库连接不上，异常显示为数据库超时未访问造成。调查发现mysql默认wait_timeout时间为8小时，超过8小时没有对数据库进行操作的话将将出现该问题。、解决办法2种：其一加大设置等待时间（1）命令设置，这种方式在重启设备后一般会失效，不建议使用。设置MySQL wait_timeout(

2017-01-13 08:10:54 966

原创树莓派下的基本命令和安装MySQL vim等

user:pipw:respberrypwdlscd tomcat6/binsudo ./shutdown.shcd ..cd webappssudo rm -rf ssm_dzsudo rebootcd binsudo ./catalina.sh run---------------------------sudo vi

2016-07-12 16:48:08 2229

原创树莓派安装mysql 及开通远程访问设置

很心累，终于好用了。user:pipw:respberrypwdlscd tomcat6/binsudo ./shutdown.shcd ..cd webappssudo rm -rf ssm_dzsudo rebootcd binsudo ./catalina.sh run------------------------

2016-06-01 09:48:39 1452

原创 web 项目quartz集成

web.xml中添加 Listener.QuartzSchedulerListener --------------------------package Listener;import java.text.ParseException;import java.util.Map;import javax.servlet.Servlet

2016-04-12 11:22:27 1432

转载 Liferay Job quartz

job是我们系统中经常需要用到的东西，Liferay中已经集成了Quartz。要写一个自己的job非常方便。参考既存代码中的写法，只需要继承MessageListener接口，实现其receive(Message message)方法即可。1. 继承MessageListener接口public class MyMessageListener implements Me

2014-09-03 09:19:42 967

原创 MySQL远程访问的两个问题

安装MySQL后，不能远程访问，进行如下配置即可连接后，依然不能连接，报如下错误：1042 - Can't get hostname for your address解决方法在my.ini里增加如下两行重启MySQL即可。skip-name-resolvelower_case_table_names=1

2014-08-29 18:21:09 885

原创 Jrebel 5.5.2 安装及破解

D:\Java\jrebel\bin>activate.cmd ./jrebel.licThere was a problem activating JRebel with the data provided:The license token had an incorrect format or the provided file did not exist.Press an

2014-04-16 09:23:00 5229 3

转载 start with

Oracle中的select语句可以用start with...connect by prior子句实现递归查询，connect by 是结构化查询中用到的，其基本语法是：select ... from where start with connect by ;：过滤条件，用于对返回的所有记录进行过滤。：查询结果重起始根结点的限定条件。：连接条件数据组织

2013-10-03 14:33:19 738

转载 myEclipse项目转成Eclipse开发公司拿到手的项目开发平台都不统一。有的是myEclipse开发的，有的是Eclipse for J2EE开发的。这里说一种把myEclipse项

myEclipse项目转成Eclipse开发公司拿到手的项目开发平台都不统一。有的是myEclipse开发的，有的是Eclipse for J2EE开发的。这里说一种把myEclipse项目转成Eclipse项目继续开发 1. 请首先确保你的eclipse是javaee版本的，或者已经安装看wtp插件 2. 然后修改eclipse工程下的.proje

2013-09-28 11:54:52 1636

转载 html中的特殊符号

html中的特殊符号符号说明编码符号说明编码符号说明编码"双引号"×乘号×

2013-03-03 09:19:35 1029

原创 SQL 通过主表查询出主表的所有子表

select a.table_name ,a.column_name ,b.table_name ,b.column_name from (select a.constraint_name,b.table_name,b.column_name,a.r_constraint_name from user_constraints a, user_cons_columns b WHER

2012-05-10 13:51:18 4143

原创 invalid rownum Oracle error

使用Oracle 10 某些表在查询过程中，报invalid rownum 错误，例如，select * from T_I_DEMAND_VOLUME where rownum =2报invalid rownum 错.经查为该版本一个Bug.解决方案:1: 升级数据库到新版本，已经修正此Bug.2:打补丁，不建议，以免引起其它问题。3:临时解决方案如下：Issue

2011-12-06 17:04:01 556

原创 fflleexx 3

Nothing here!Builder Professional 1377-4001-0488-8029-4579-0004cBuilder Standard 1307-4001-4844-6375-7353-3445

2011-06-23 09:56:00 449

原创 Toad for oracle

5-88860-02883-29060-03749site message:Quest

2011-06-18 12:34:00 578

原创网通宽带更新密码的网址

dldl84740102@163 202.96.74.24 更新网通宽带密码2小时左右生效。

2011-06-10 19:50:00 921

原创 flex中文(zh_CN)本地化应用编译不通过的解决方法

flex项目编译时报错：Description Resource Path Location Typeunable to open 'C:/Program Files/Adobe/Flex Builder 3 Plug-in/sdks/3.2.0/frameworks/locale/zh_CN' STaB Unknown Flex ProblemFlash builder 4 无法为区域设置“zh_CN”解析资源束“data"解决方法，先把web-info/flex/locale/en_US下的fds_r

2011-05-24 13:32:00 5146

原创 ultra edit 注册码

ultraedit-32 13.10 注册码六个空格 K8Q1A-V1N5Z-X4G1Y-K0F4G-6O350-55F8t

2011-05-22 12:09:00 3493

原创 hibernate删除父对象提示子对象有记录的问题

如果要使用hibernate批量删除功能 必需在父对象中加上cascade=CascadeType.ALL, 标记。否则将提示有子记录无法删除。 @OneToMany(cascade=CascadeType.ALL,fetch=FetchType.LAZY, mappedBy="interfacePartEntity") public Set<InterfaceDemandEntity> getInterfaceDemandEnti

2011-04-25 16:58:00 1133

原创 xmlbeans-2.5.0 生成与xml结构相同的javabean对象

下载xmlbeans假如解压路径为：E:/tools/xmlbeans-2.5.0/要生成的定义文件及javabean对象路径为：E:/tools/xmlbeans-2.5.0/temp把要解析的xml文件offer_example.xml 放到E:/tools/xmlbeans-2.5.0/temp目录下。接下来执行以下步骤1:E:/tools/xmlbeans-2.5.0/bin>2:inst2xsd -design ss -simple-content-types smart -enumeration

2011-04-22 10:07:00 2505

原创 webspere MQ

最近做一个项目其中要用到websphere MQ 做数据传输。 以下是我整理用到的主要代码，以备后用。 package devx.articles.mqjms; /** * @author Ace Sun * @version 创建时间：2011-4-3 * 类说明 */ import java.io.BufferedReader;<b

2011-04-18 09:57:00 2168

原创使用XAMPP遇到问题

1.安装完成XAMPP之后，apache运行不了，后来到xampp 目录下运行了setup_xampp.bat 之后，解决。 2.开启MySql的时候提示 ERROR: MySql service not started[-1] 后来到mysql 目录下先后运行了 mysql_installservice.bat 和 mysql_uninstallservice.bat 之后问题得到解决。

2011-01-12 09:46:00 743

原创就这样快乐的活着

之前看到报道说有人因受到打击而自杀，非常不屑，认为即使自杀也要带上那些打击过自己的人一起上路。后来有一天我自己也活够了，才发现生活本身是一种痛苦，那么为什么不让我痛恨的人活着去继续饱受这种痛苦呢？而且如果我能够活着亲眼看着他们受苦那是多么痛快的一件事呀！于是我又快乐的活了下来。

2010-11-23 14:56:00 566

转载 MySQL忘记root密码解决办法

以下的文章主要向大家介绍的是MySQL忘记root密码的正确解决办法，我们大家都知道在实际操作中忘记密码是令人十分头疼的事情，以下就是针对这一问题给出的正确解决方案，望你在浏览之后会收获不小。 　 MySQL忘记root密码解决办法： 　　在windows下： 　　打开命令行窗口，停止MySQL服务： Net stop MySQL 　　启动MySQL，一般到MySQL的安装路径，找到 MySQLd-nt.exe 　　来到该目录下:

2010-11-04 16:23:00 411

原创分割字符串成数组并返回数组的长度（Oracle）

create or replace function splitArrayLength (v_source IN VARCHAR2, v_delimiter IN VARCHAR2)RETURN INT IS j INT := 0; i INT := 1; len INT := 0; delim_len INT := 0; cnt INT := 0; BEGIN

2010-09-16 15:31:00 1831

原创 eclipse 临时目录

临时目录一般是 workspace/.metadata/.plugins/org.eclipse.wst.server.core/tmp0/wtpwebapps/下 jsp临时文件在 workspace/.metadata/.plugins/org.eclipse.wst.server.core/tmp0/work/Catalina/localhost/

2010-09-14 17:27:00 1527

原创 JfreeChart字体设置

/** * 配置字体 * @param chart JFreeChart 对象 */ private void configFont(JFreeChart chart){ // 配置字体 Font xfont = new Font("宋体",

2010-03-31 12:11:00 2864 1

原创 JfreeChart根据柱子实际高度显示值在柱子里面，或是在柱子外面

//设置柱子上比例数值的显示，如果按照默认方式显示，数值为方向正常显示 //设置柱子上显示的数据旋转90度,最后一个参数为旋转的角度值/3.14 ItemLabelPosition itemLabelPosition= new ItemLabelPosition( ItemLabelAnchor.INSIDE1

2010-03-31 12:09:00 1623 1

原创解决PLSQL developer 乱码问题

使用PLsql developer 时遇到中文存储，尤其是对表字段的注释是中文的时候经常会显示乱码。查到如下的解决方法：1.检查服务器编码:执行SQL语法: select * from v$nls_parameters;如果不是中文则执行2 2.设置本地客户端编码:进入我的电脑,属性,高级,环境变量,添加2项:LANG=zh_CN.GBK 和 NLS_LANG="

2010-03-25 21:39:00 33630 5

原创 iReport

iReport 属于Jaspersoft下属一个产品。先介绍Jasperreport，Jasperreport是一个报表制作程序，用户需要按照它制定的规则编写一个XML文件，然后得到用户需要输出的格式文件。它支持输出的文件格式包括PDF,HTML,XML,XLS,CVS等等。而iReport就是一个制作Jasperreport的XML文件的可视化开发工具。通过iReport可视

2010-03-09 10:19:00 1200 1

转载开源

优秀网站源码、编程源码下载网站大集中 1.51源码：http://www.51aspx.com/ 2.源码之家：http://www.codejia.com/ 3.源码网：http://www.codepub.com/ 4.虾客源码：http://www.xkxz.com/ 5.多多源码：http://www.morecode.net/ 6.洪越源代码：http://www.softhy.net/

2010-03-08 15:00:00 505

原创 Oracle BUG -- bug 9265671

最近发现Oracle 11G 行转列存在BUG，与之沟通最后Oracle 自定义为BUG -- bug 9265671，正在解决该BUG。建议正在使用11G 想用行转列功能的哥们们放弃吧。

2010-01-08 17:06:00 520

原创贼手夺脏

上周六大连新玛特8周年店庆，据说满88送108抵值券，于是兴致勃勃的跑去，结果发现打折的商品便宜，但是不参加本次活动，而参加活动的商品都TMD贵得离谱，又是羊毛出在羊身上的老故事。不管怎么样男人逛一趟不容易，不能落空，买点东西吧。想想快到十一和中秋节了，于是买了两个礼盒，不重，但是挺大的，得两手抱着拿。开始抱着礼品回家，到清泥洼桥15车站（大商电器那个楼

2009-09-23 10:23:00 558

原创 JMS 学习记录

. JMS基本概念 JMS(Java Message Service)是访问企业消息系统的标准API,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发。2. JMS基本功能JMS是用于和面向消息的中间件相互通信的应用程序接口。它既支持点对点(point-to-point)的域，又支持发布/订阅(publish/subscribe)类

2009-09-01 10:56:00 478

参考答案1.pptx

AWS Technical Professional 在线认证考试参考答案，AWS 技术专业人员在线认证考试参考答案，基本可以通过。

2020-04-03

1.Business Professional.zip

AWS Business Professional, AWS业务专业人员在线认证考试参考答案，参照基本能通过。

2020-04-03

winutils-sources.7z

hadoop.dll winutils.exe,解决IDE 运行spark时报hadoop环境异常的问题。找不到hadoop.dll winutils.exe的问题，把资源解压，提取bin目录下的文件覆盖到hadoop\bin目录下即可。

2020-03-30

如何获取iFix 组态软件的实时数据并存储到SQL Server

在实际工作中需要到iFix组态软件获取监控点的实时数据并保存到SQL Server中

2017-10-26

JSkype 网络电话Skype API

网络电话Skype API，通过API熟知现在时兴的网络电话技术应用

2012-01-17

javamail 中文API

纯中文javamail API 不包含代码

2011-09-27

javamail中文英文 API

javamail中文英文 API，包含发送附件，code

2011-09-27

一款免费获得“动态域名”支持，省点钱的软件。

最初想用自己的电脑搭一个服务器，比较穷，觉得花生壳每年两百多块钱的动态域名费用太贵了，就自己做了一个软件干这种事情。当自己电脑的外网IP变动时，自动修改DNS记录，更新IP。后来又增加了一些域名管理功能，使得域名可以在本地管理，不用每次都登录ISP的网站，输入难以记住的密码。如果您在多个注册商下有多个域名，估计这个软件会有点用处。我觉得这个小软件还是很原创的，至今没有发现类似的，也可能是我不太关心这个行业吧…… 用途和用处： 1. 统一管理在各个注册商注册的不同域名 2. 不用开N多浏览器，输入N遍密码去登录各个域名管理网站，就能在一个终端程序上，方便的添加修改DNS记录 3. 免费获得“动态域名”支持，省点钱。 4. 开源免费软件，所有信息都保存在自己的电脑上，源代码公开。 5. 跨平台，支持Windows, Linux, Mac等任意支持Java的操作系统。花生壳之类的提供的只有Win版，java自然跨平台:) 6. 下载后一定要看readme文件，操作极其简单（对于知道JDK的人来说）。

2010-11-11

sql 获取给定日期是一年中的第几周

sql 获取给定日期是一年中的第几周，将默认上一年最后一周改为当前年第0周。

2010-11-08

7 zip 当下普遍使用的绿色解压缩软件

7 zip 当下普遍使用的绿色解压缩软件，兼容WinRAR,zip等格式的文件。下载后直接运行安装。