大数据之夏-CSDN博客

原创 spark爬取基金数据, 分析个股情况!

spark-stock背景此项目可以查看截止2021-06-30号，各基金公司持有的股票信息。本项目使用spark作为分析引擎，基于spark-rest开发内容只要功能介绍查看基金公司信息使用Test_Fund类的test_GetAllFund方法，将获取数据以parquet方式存在local，运行结果如下：+-------+-------------+-------------+--------+--------------------+| id| reduce

2021-08-24 11:21:12 508

spring boot多数据源配置

[b][color=green]spring boot多数据源的配置，spring boot+mybatis配置数据源[/color][/b][color=green]第一步pom.xml配置如下：[/color][code="java"] org.springframework.boot spring-boot-starter-parent 1.5.1.RELE...

2017-03-12 22:24:49 288

spring boot集成freemarker

[b]spring boot框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。[/b][color=green]第一步创建maven项目，pom.xml配置信息如下：[/color][code="java"] org.springframework.boot spring-boot-starter-parent 1.5.1.RELEASE ...

2017-03-12 19:38:01 150

spring aop注解样例

[b][color=green]spring aop注解样例，使用简单[/color][/b][b]代码如下：[/b][code="java"]import org.aspectj.lang.JoinPoint;import org.aspectj.lang.ProceedingJoinPoint;import org.aspectj.lang.annotation.Aft...

2017-03-12 18:36:34 118

spring的ControllerAdvice注解用法

[b]@ControllerAdvice注解一般用作处理系统error，拦截出错信息，返回报错提示界面，防止用户看到一推出错信息！[/b][color=green]talk is cheap,show me the code,如下：[/color][code="java"]import org.springframework.ui.Model;import org.spring...

2017-03-12 18:16:14 339

java 读取大数据文件，处理大数据文件性能比较？

[color=red]通过使用java提供的io，scanner类，apache提供的api处理大文件数据性能分析比较，代码如下：[/color][code="java"]package test;import java.io.BufferedOutputStream;import java.io.BufferedReader;import java.io.Buffered...

2016-02-17 15:42:44 483

java 使用线程池处理文件夹下面的文件

[color=red]读取某个文件夹下面的所有文件，使用多线程处理，例如读取E盘下面的文件内容：[/color][code="java"]package thread;import java.io.File;import java.util.concurrent.BlockingQueue;import java.util.concurrent.ExecutorServ...

2015-12-29 15:50:02 1221

java模拟并发访问

[code="java"]package thread;import java.util.concurrent.CountDownLatch;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;public class CountDownLatchTest1 ...

2015-12-28 15:30:54 213

springutil获取ApplicationContext

import org.springframework.beans.BeansException;import org.springframework.context.ApplicationContext;import org.springframework.context.ApplicationContextAware;import org.springframework.st...

2015-12-21 10:47:45 779

高性能，高并发

1.负载均衡，加服务器分流 1）nginx做负载服务器，分发处理请求，ip_hash依据ip定位服务器，防止session不共享处理。2.代码尽量优化 1）包括常用写法，for循环变量等等，网上很多资料。 2）消耗资源和占用内存多的，都必须处理分批处理，比如批量处理txt文档，如果txt文档大于1w个，Apache ftp如果一次加载完，必然内存溢出，必须分...

2015-12-19 17:46:32 113

redis主从配置

[color=red]操作系统使用的是window 7[/color][color=green]1，下载和安装[/color]下载地址：[url]https://github.com/MSOpenTech/redis/releases/download/win-2.8.19/redis-2.8.19.zip[/url]下载成功后解压可以看到如下文件：[img]http://dl...

2015-12-12 14:46:44 89

scheduleAtFixedRate与scheduleWithFixedDelay区别？

[color=green]scheduleAtFixedRate与scheduleWithFixedDelay区别,代码如下：[/color]import java.util.Date;import java.util.Random;import java.util.concurrent.Executors;import java.util.concurrent.TimeUni...

2015-10-10 14:38:51 218

原创 Spring MVC使用FreeMarker调用java静态方法

[size=medium][color=red]Spring mvc配置文件如下[/color][/size][color=green]1.配置freemarker的视图，如下[/color][code="java"] [/code]requestContextAttribute属性一般我们都是通过它获取上下文...

2015-07-16 10:16:35 254

spring web 4.1处理json

[color=green][size=small]Spring mvc处理json，我们都知道使用@ResponseBody，处理xml也是用此注解。如果想spring mvc的使用@ResponseBody注解处理json，我们需要加入一些处理bean，也可以使用默认spring提供的。[/size][/color][color=green]通过spring源码RequestMa...

2015-07-08 15:07:15 78

Java+Freemarker导出excel

[color=green][size=large]在项目中使用Freemarker功能如下：[/size][size=medium]1.一般我们在项目中使用freemarker最多的是做页面功能，我们只需要model+html+freemarker标签，生成我们需要的页面。2.我们可以使用freemarker标签功能，我们可以动态生成sql语句等等3.我们可以使用freemar...

2015-07-07 14:51:03 942 1

java压缩文件

[color=red][size=small]Java压缩文件，采用apache提供的api可以有效解决中文乱码，本次提供的方法都是将文件压缩，暂时没有提供压缩文件夹的相关功能，后续提供[/size][/color][color=green][size=medium]代码如下：[/size][/color][code="java"]package com.xwtec.util;...

2015-07-07 14:28:15 78

java生成验证码

[color=red][b][size=large]Java生成验证码，代码如下：[/size][/b][/color][code="java"]package org.springrain.frame.util;import java.awt.Color;import java.awt.Font;import java.awt.Graphics;import java...

2015-06-26 17:18:52 66

java线程Thread和Runnable区别和联系

我们都晓得java实现线程2种方式，一个是继承Thread，另一个是实现Runnable。模拟窗口买票，第一例子继承thread，代码如下[code="java"]package thread;public class ThreadTest { public static void main(String[] args) { Thread1 t1 = n...

2015-06-19 15:15:58 747 1

java字符串和数字转换工具

[b]java数字和字符串之间的转换工具[/b][code="java"]package com.test.util;/** * 数字工具类 */public class NumberUtil { /** * 数字转换为字符串 * @param num 数字 * @return 字符串,如果 num 为空, 返回空字符串...

2015-05-06 16:32:07 429

国内常用的开源代码

开源中国 [url]http://git.oschina.net/[/url] 支持git淘宝 [url]http://code.taobao.org/[/url] 支持svn京东 [url]https://code.jd.com/[/url] 支持git新浪 [url]http://sae.sina.com.cn/[/url] ...

2015-05-05 17:35:35 485

stringutil常用工具类

[code="java"]package com.activity.util;import java.io.File;import java.math.BigDecimal;import java.sql.Timestamp;import java.text.SimpleDateFormat;import java.util.Calendar;import java.u...

2015-04-24 16:45:57 252

PLSQL Developer从excel导入数据到数据库

[color=green]1. 打开PL/SQL和excel2. 打开PL/SQL的SQL window，方式是：File--New--SQL window3. select * from table for update; 写你需要导入的表sql。4. 如图所示点击锁[img]http://dl2.iteye.com/upload/attachment/0107/...

2015-04-22 16:51:16 429

java 类执行顺序

[color=green]/** * 执行顺序： * 1. 先执行static，加载类时候静态变量就执行了，然后执行静态块，给静态变量赋值 * 2. 每次new一个对象都会执行{}，所以这个可以用来对一些变量每次初始化。 * 3. 最后执行变量 * 4. 当在次new一个对象时候，静态变量不会再次执行了，因为该类已经加载到方法区了。 */[/colo...

2015-04-22 15:25:26 71

原创 Spring MVC原理

Spring MVC原理[color=red]*注释：完整文章包括图片在附件，请下载[/color]1. 在web.xml配置一个servlet，如下图，这个是针对所有请求都拦击，如果只想拦击自定义请求url-pattern可以写成*.do或者*.action，这些请求交给spring mvc处理2. 这个servlet1由DispatcherServlet处理，D...

2015-04-22 12:35:54 89

javascript计算浮点数精确计算

javascript计算浮点数精确计算，代码如下：[code="java"]function accAdd(arg1, arg2) { var r1, r2, m, c; try { r1 = arg1.toString().split(".")[1].length } catch (e) { r1 = 0 } try { r2 = arg2.toS...

2015-04-10 16:18:53 134

java浮点数精确计算

java浮点数精确计算，使用java.math.BigDecimal,测试代码如下：[code="java"]package test;import java.math.BigDecimal;public class Test { public static void main(String[] args) { Double d1=0.0333D; Double...

2015-04-10 16:16:48 218

java获取ip地址和验证ip是否合法。

java验证ip是否合法和获取HttpServletRequest的ip地址，代码如下。[code="java"]public class IPUtils { /** * ip校验 * @param s * @return Boolean */ public static Boolean isIpAddress(String s...

2015-04-01 18:10:51 466

input设置readonly按键backspace跳到上个链接？

如果input有属性readonly，则backspace键会乱跳，需要写个keydown事件处理，代码如下：[code="java"]$("input[readonly]").keydown(function(e) { if(e.keyCode == 8) { e.preventDefault(); } });[/code]...

2015-04-01 17:58:25 167

一个java面试题目，把F盘下面所有文件名称打印出来？

[b]java面试题目，打印F盘的所有文件名称[/b][code="java"]package com.file;import java.io.File;public class IteratorFile { public static void main(String[] args) { File file = new File("F:\\"); f...

2014-12-31 14:44:23 224

java常见的字符串处理工具类

Java常见的字符串处理，代码如下。[code="java"]package com.string;import java.util.regex.Pattern;/** * @author zx * * @since 2013-10-28 */public class StringUtil { /** * 判断字符串是否为整数 * ...

2014-01-28 10:45:53 111

原创 java对象，创建一个对象，这个对象在堆里到底存啥

今天很想弄明白对象这个东西，平时我们说java创建一个对象就是在jvm的堆中开辟一片内存空间，那这些内存空间究竟放得啥,对象又是如何调到类的方法的？？？例如： class Test { int n = 0; String name = &quot;hello; int add(int a) { ...

2014-01-10 11:30:10 572

flex 如何获取上传文件的路径？

flex获取上传文件路径：第一次，我使用FileReference，结果没有获取路径，原来这个类只可以用来作为文件上传和下载使用。第二次，我使用flex调用js，代码如下：function browse(){var fd = new ActiveXObject("MSComDlg.CommonDialog"); fd.Filter = "*.*";...

2013-08-19 19:26:03 252

原创 oracle查询一年之内的记录，一个月之内的记录。

查询当年得第一天和最后一天select trunc(sysdate, 'year') currentYearFirstDay, add_months(trunc(sysdate,'yyyy'), 12)-1 currentYearLastDay from dual查询去年的第一天和最后一天select add_months(trunc(sysdate,'yyyy'),-12) la...

2013-06-28 16:01:28 4908

flex4 添加滚动条

方法- [color=red]* 注意scroller的宽度和高度设置，否则看不到滚动条[/color]方法二[color=red]* viewport="{group}" ，group为组件的id，对某个组件添加[/color][color=red]* 注意宽度，指定组件在父坐标中的宽度的数字（以像素为单位）。默认值为 0，但当 Fle...

2013-06-28 12:05:10 351

flex4 ComboBox下拉框怎么清空？？

数据源：var aa:ArrayCollection=new ArrayCollection([{label:"1",data:1},{label:"2",data:2}]);selectedIndex：选中项目的基于 0 的索引；或者如果未选中项目，则为基于 -1 的索引。设置 selectedIndex 属性会取消选择当前选定的项目并选择指定索引位置的数据项目。该值始终在...

2013-06-24 18:16:43 532

flex4 label换行,不知道label要显示多少个字？

通过height,lineHeight,lineBreak,maxDisplayedLines控制换行，属性如下：height，高度，设置label的高度。lineHeight 文本行距，控制行与行的距离。lineBreak="toFit"，换行。maxDisplayedLines如果值为 0，则不会发生截断。相反，如果文本不在组件的界限内，则将只是剪辑文本。...

2013-06-21 16:59:24 125