ForeverSunshine-CSDN博客

原创关于ICE传输文件大小的限制跟踪

一、问题背景项目遇到升级包上传过程中，出现文件上传失败的问题，这里本地通过测试，查找是否存在文件上限导致失败的问题。二、问题跟踪1.经测试，当上传文件小于等于1048516字节时（约0.9999M)时，均未出现文件传输问题。 2.当使用1M大小文件传输时，出现如下异常，传输失败。 3.源码分析 IceInternal\Instance.java 可以看到，默认情况下，未设置最大文件大

2017-11-20 17:03:54 2747 3

原创记一次WebUploader的使用

WebUploader是百度开源的一个文件上传组件，因为其操作简洁大方，就在项目中使用了，记录一下。效果是这样子：这个样子是默认的效果。这个是选择上传的图片，可以批量，选择后可以删除和添加更多。这个是上传过程显示的效果。<div id="container" style="background-color: #F7F7F7;">

2017-03-27 09:20:12 16835 7

默认情况下，如果在一个算子的函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是做不到的。 Spark为此提供了两种共享变量，一种是Broadcast Variable（广播变量），另一种是Accumulator（累加变量）。Broadcast Variable会将使用到的变量，仅仅为每

2017-03-19 22:51:45 2002

原创 Spark RDD持久化策略

RDD持久化Spark一个重要的特性是将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD，而不需要反复计算多次该RDD。要持久化一个RDD，只要调用其cach

2017-03-19 13:52:35 966

原创 Spark transformation操作

对一个集合调用SparkContext的parallelize方法，集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集。使用Scala实现如下： 1、map：将集合中每个元素乘以2object TransformationOperation { def main(args: Array[String]):Unit = { val conf = new SparkCo

2017-03-19 01:10:24 979

原创 Java通过http post交互数据

服务端进行数据交互的时候，通常会通过代码进行http跨系统请求，通常使用post或get方式。在post方式的时候，我们可以使用HttpClient也可以自己实现方法：public static String sendPost(String url, String param) { PrintWriter out = null; BufferedReader in = null;

2017-03-16 16:55:00 1383

原创 Spring的国际化

写在前面: 低头走路，更应抬头看路为什么写这个Spring作为Web层框架的经典框架，已经走过了十几年了。在项目过程中使用的点滴，如不整理便容易流于琐碎，不成系统。而单纯学习某个知识点不运用到项目之中变不深刻。近期打算把最近几个月做的项目整理一下，以作梳理和总结。这里主要记录下在项目中使用的国际化操作，因为要在系统支持中英文，所以可以使用国际化来对操作的日志信息进行记录，并做可视化以被查验。怎么做使

2017-03-14 13:03:12 682

原创使用web程序导出Excel，PDF和CSV三种文件

写在前面最近参与了一个后台的项目，时间一直比较忙，也连续有段时间没有记东西了。这两天做了个节目广告排期的导出功能，里面有用到三种文件的导出，分别是Excel，PDF和CSV文件。网上有很多文章讲解的比较详细，这里只是做下记录以便以后遇到查看。导出Excel之前用过POI的方式，这次用的是jxl，可以自行下载jxl.jar。一般自己也喜欢看可以直接跑的小demo，简洁明了下面就稍微把代码整理下：下

2017-01-11 19:52:37 3929 2

原创 Android使用已有so库自己实现jni封装

为什么写这个最近项目需要在盒子上实现内容的加解密，方案是使用机顶盒内部主芯片加解密算法对存储在内容分区的资源进行加密，然后由机顶盒平台提供本地库的方式给应用使用。所以也就有了这个事情。一般情况下，完全可以由C层代码直接实现和封装JNI本地接口然后打成so文件，然后提供给应用开发者使用。今天要说的情况基于这样的场景：底层代码实现者已经将C代码编译成so库，然后直接提供给上层开发者使用，这样他们

2016-11-30 21:07:02 6710 1

原创 Ubuntu 16.04 编译Android 6.0系统源码

准备环境1.安装open-jdk7 【使用open-jdk8会报错】,原因是：在build/core/main.mk中默认指定的是jdk1.7# Check for the correct version of java, should be 1.7 by# default, and 1.8 if EXPERIMENTAL_USE_JAVA8 is setifneq ($(EXPERIME

2016-11-21 09:42:14 4941 2

原创 Android自定义竖直方向SeekBar

写在前面因为有这样的一个场景，需要实现竖直方向的多色进度条，然后在网上也找了下，没看到符合需要的，于是自定义了一个，效果如下：具体实现本来想定义水平的，然后旋转一下，后来发现还不如直接定义竖直方向来的直接，就直接在竖直方向画了下。首先讲一下思路，就是通过继承View，然后通过onDraw()方法进行绘制。具体绘制的时候，需要处理一些小细节。比如，我们需要画一个圆形的滑动块，那么我们的背景色带

2016-10-21 23:28:27 4606 4

原创通过ssh实现服务器文件上传下载

通过ssh实现服务器文件上传下载写在前面的话之前记录过一篇使用apache的FTP开源组件实现服务器文件上传下载的方法，但是后来发现在删除的时候会有些权限问题，导致无法删除服务器上的文件。虽然在Windows上使用FileZilla Server设置读写权限后没问题，但是在服务器端还是有些不好用。因为自己需要实现资源管理功能，除了单文件的FastDFS存储之外，一些特定资源的存储还是打算暂时存放服务

2016-09-14 15:22:46 3855

原创 Android Java层DNS流程（图）

之前跟的Java层DNS流程：

2016-08-31 23:22:26 901

原创 spring整合springmvc和mybatis

本文的主要目的是自己记录笔记。SpringSpring提供了一站式解决方案： 1） Spring Core spring的核心功能： IOC容器, 解决对象创建及依赖关系 2） Spring Web Spring对web模块的支持。 - 可以与struts整合,让struts的action创建交给spring

2016-08-31 13:09:41 1274

原创 Android 5.1 vold模块ntfs扩展

准备需要下载ntfs-3g驱动包，并做相应修改，这个网上已经可以下载到修改好的包，本文最后也会附加。为什么要移植在Android原生代码中，只支持了FAT格式的挂载，并未支持NTFS格式的存储设备挂载。一般来说，在手机上并不需要实现这种功能，但是在机顶盒上，USB挂载却是必须的。那为了达到这种目的，一种比较便捷的解决办法就是移植现有的驱动以支持当前的系统，NTFS-3G在Android上无疑是一个可

2016-08-30 11:28:45 4157 2

原创常用的Linux命令

序平时在开发中经常使用到一些Linux命令，虽然熟能生巧，很多命令都比较简单，但是好记性不如烂笔头，所以还是记录下来，以后忘记的时候可以方便查看，以节约上网搜索的时间。命令汇总(1)查找文件find / -name filename.txt 根据名称查找 /目录下的filename.txt文件find . -name "*.xml" 递归查找所有的xml文件find . -name "*.xml

2016-08-04 14:19:45 648

原创 Android 5 消息机制源码分析

消息模型基本要素：消息队列、消息发送、消息读取、消息分发、消息循环线程。操作系统原理中的生产者线程和消费者线程有着类似的过程： Android中的消息机制跟这个很类似，关键的几个名词如下：HandlerMessageMessage QueueLooper总览这里是从网上找的一张图，在此感谢原作者。从这张图上我们可以大致

2016-07-27 14:48:37 782

原创 fastdfs-zyc监控系统的使用

写在前面前面有介绍过怎么安装与使用FastDFS来进行分布式的文件存储，以及怎么使用FastDHT对上传文件去重，还有怎么使用varnish来配合FastDFS做内存缓存，进一步减轻FastDFS访问本地硬盘的压力。以上这些操作都是作为程序开发与部署的部分，当我们的系统正式搭建起来并线上使用时，我们显然不能要求使用者每次都登录Linux终端去查看当前集群的运行状况以及负载等信息。这个时候要是有一个系

2016-07-14 11:21:58 10741 7

原创 Varnish4.1.2配合FastDFS构建内存缓存

Varnish是什么Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid，性能居然比以前更好。Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬

2016-06-28 20:14:07 4571 1

原创 Android系统时间同步机制

Android系统开机后，自动获取网络时间的流程跟踪，一张图表示：

2016-06-28 17:28:20 1904

原创 FastDFS安装与nginx反向代理配置

操作系统 Ubuntu Server nginx相关软件nginx-1.10.1 http://nginx.org/en/download.html nginx清除缓存模块 ngx_cache_purge-2.1 http://labs.frickle.com/nginx_ngx_cache_purge/ pcre-8.36 https://sourceforge.net/proje

2016-06-28 16:42:38 9605 4

原创 Ubuntu服务器之间进行Sersync+Rsync同步

为什么写这个对于服务器之间的文件，如果想做同步，可以采用sersync+rsync+inotify组合的方式来做到主从方式的自动同步。最近恰好也是用到这个，所以在此简单记录一下。模型服务器：数据从83—>84 和85 10.10.10.84（从） 10.10.10.85（从） 10.10.10.83（主）安装与配置sersync和rsync(从)在Ubuntu server上，rsync和in

2016-06-14 14:02:19 2882

原创 Ubuntu下切换用户免密与smb挂载开启

切换用户免密设置有时候自己在虚拟机中使用Ubuntu，每次需要root权限时切换用户都显得挺麻烦，可以通过修改配置文件来让每次切换时不用输入密码。root@server:~# vim /etc/sudoers## This file MUST be edited with the 'visudo' command as root.## Please consider adding local

2016-04-27 11:40:17 1488

原创在机顶盒上被移除adb后恢复的办法

最近使用公司总部的盒子做些适配，发现adb被移除了，虽然可以使用串口调试方式查看打印和操作，但是有些同事习惯使用Eclipse工具，直接使用adb操作，于是，我就帮忙解决了一下。恢复adb调试的方法如下： 1./system目录执行mount -o remount /system。 2.把adb和adbd通过cp命令拷贝到/system/bin目录下。 3.将adbd &加到某个开机启动的脚本

2016-04-26 10:58:22 9509 2

原创 Android几种签名方法总结

在Android中，对应用签名，让其获取系统权限，有几种方式：方法一直接把应用源码放在源码/package/app/目录下进行编译，这种方式，需要拥有源码编译环境。以系统Launcher为例，需要在Project目录下创建一个Android.mk文件，内容如下：LOCAL_PATH := $(call my-dir)include $(CLEAR_VARS)LOCAL_MODULE_TAGS

2016-04-23 14:58:54 2519

原创 FastDHT配合FastDFS进行文件上传去重

为什么写这个最近因为工作需要，使用了FastDFS，这是一款国产的开源DFS软件，但是这个软件本身不能对重复上传的文件进行去重，需要我们自己去处理，一种可行的方案是，在文件上传之前进行md5校验，把每个文件保存在数据库中，然后进行对比，这个md5值如果在数据库中已经存在的话，就不上传。不过这个效率可能不怎么高。FastDFS作者余庆也开源了一个解决的资源，就是FastDHT了，使用这个也可以做到去重

2016-04-23 14:12:33 12953 16

原创 Java FTP工具类

因工作需要，需要在后台处理一些小文件，比如网页资源到服务器上保存，本来计划使用DFS来进行压缩存储，考虑到需要再次解压生成访问连接，暂时先直接通过FTP直接保存在服务器上。就看了下Java下的ftp上传的实现方法，参照了网上的代码。这里给出我封装的一个工具类，可以直接使用，应该需要再优化。使用了Apache的commons-net-1.4.1.jar开源组件。对应的API地址如下： h

2016-03-30 15:22:54 8886 2

原创 Wifi启动流程分析

因工作需要，对Android的Wifi模块做了些分析与跟踪。从Android的启动开始进入Android的入口是SystemServer，在这里面注册了许多的Service。这里主要看与Wifi相关的服务。上述代码中，初始化了wifiService和ConnectivityService对象。并把这两个对象加到ServiceManager上，然后通过创建的对象wifi调用w

2016-03-12 16:50:46 2556

原创 txt文件转成bin文件shell脚本

#!/bin/shfor file in `ls -1 *.txt`dodos2unix ${file}#echo "file:${file}"rm -rf ${file}.binwhile read linedo#echo "line:${line}"echo -e -n "`echo "${line}" | cut -d : -f 2 | sed 's/ //g' | sed 's/../\\

2016-03-10 09:09:09 5204

原创 Wifi列表中文乱码

同事拿了块海思平台的板子过来，说是Wifi列表中文显示乱码，让我帮忙分析下原因。然后自己查看了下/data/misc/wifi目录：查看了一下wpa_supplicant.conf文件，如下图，在那个板子上发现这里的中文是正常显示的，然后跟踪了一下Setting调用到Framework的WifiSsid.java中，发现在进行字符编码的时候，Hisi默认处理为GB2312，修改为UTF

2016-03-09 19:38:31 37742 2

原创过滤Android系统设置中Wifi

过滤Android系统设置中Wifi因项目需要，对机顶盒做了不同配置的版本，低配版Wifi模组不支持5.8G的Wifi，所以需要把系统设置中的Wifi列表中的5.8G显示信息屏蔽掉。信号参数(WorldWide Available)2.4G信号: 　　　Frequency range:2.400G—-2.500GHz，即（2400MHz—–2500MHz）, 　　　Bandwidth：100

2016-03-09 17:36:23 1724

原创在机顶盒上控制网页焦点的方法

在机顶盒上控制网页焦点的方法之所以写本文，是因为之前在android机顶盒上处理过焦点的问题。目前看到很多IPTV的盒子中，展示的界面不再使用native app，也是因为工作需要，所以尝试看了一下。默认情况下，在Android系统中会自行处理这个焦点问题。在之前接触过的几个平台的系统中，发现对于Html5的支持不够理想。Android4.2系统采用webkit内核，在Android4.4

2016-02-24 09:13:06 6066 1

原创 Android ADB常用命令

1.查看已连接的设备使用此命令查看所有的连接设备，并列出它们的ID：adb devices如果存在多个设备连接，可以使用 adb -s DEVICE_ID 来指定特定的设备。2.安装应用使用 install 命令来安装apk，如果设备上已经安装了应用，可以使用可选参数 -r 重新进行安装并保留所有

2016-01-04 23:22:13 1170

原创随手记

从Eclipse中导出项目到Android Studio中，选中build.gradle文件；注意Project和Module的区别，module中的src，main文件夹为源代码主文件夹Android Studio中对于应用的管理都是通过Module进行的，可通过在Project或者Module上右键菜单进入Module Setting。删除Module时先进入Module Sett

2015-10-08 21:59:15 901

转载 ListView的HeaderView

今天突然发现ListView的OnItemClickListener监听事件中的position返回是从1开始的，一直觉得很奇怪，在群里问了后，可能是headerView的问题，特意去查了一番，原来是如此：特此记过！（1）添加HeaderView之后尺寸布局被忽略。通常添加头部的方法是 ?123Layo

2015-07-27 20:43:51 802

转载 Error inflating class android.support.v4.view.ViewPager问题的解决办法

ViewPager是个很好很强大的控件，很多应用用它来实现很酷的效果，但是很多情况下在运行时会遇到Error inflating class android.support.v4.view.ViewPager这个问题，这个问题的解决方法很简单：右键项目选择Build Path ->Configure Build Path,然后选择Order and export 选项.置顶android-supp

2015-06-27 19:33:34 786

转载 android中string.xml中%1$s、%1$d等的用法

一、使用xliff的用法：标签介绍：属性id可以随便命名属性值举例说明%n$ms：代表输出的是字符串，n代表是第几个参数，设置m的值可以在输出之前放置空格 %n$md：代表输出的是整数，n代表是第几个参数，设置m的值可以在输出之前放置空格，也可以设为0m,在输出之前放置m个0 %n$mf：代表输出的是浮点数，n代表是第几个参数，设置m的值可以控制小数位数，如m=

2015-06-22 16:56:24 595

原创 Fragment在Android机顶盒上的应用

Fragment，很多人将其翻译为碎片，是一个依附于Activity而存在的控件。网上基本上大多是介绍Fragment的生命周期，或者从Google上翻译的文档。在机顶盒的环境下使用略有不同。首先，因为机顶盒的操作主要依赖于遥控器，而不是像手机那样可以触摸，所以，必然就要涉及到焦点的处理，而且非常频繁。Fragment的焦点处理主要是以下两种，对于有左侧导航，右侧为Fragment的应用来说，

2015-06-22 11:55:18 1064

原创 Java中关于字符与字符串的处理

Java中关于字符与字符串的处理：1. char转为Stringchar c = 'a'; String s = String.valueOf(c); System.out.println(s); 不用String.valueOf()实现： char a = 'x';

2014-04-19 00:37:26 708

转载 sleep和wait的区别

1、这两个方法来自不同的类分别是，sleep来自Thread类，和wait来自Object类。sleep是Thread的静态类方法，谁调用的谁去睡觉，即使在a线程里调用了b的sleep方法，实际上还是a去睡觉，要让b线程睡觉要在b的代码中调用sleep。2、最主要是sleep方法没有释放锁，而wait方法释放了锁，使得其他线程可以使用同步控制块或者方法。sleep不出让系统资源；w

2014-04-19 00:35:40 451