- 博客(99)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 [JAVA] 生成MD5 java.security.MessageDigest BUG
数据校验用的MD5：def getMessageMd5(string: String): String = { try { val mD5 = MessageDigest.getInstance("MD5") mD5.update(string.getBytes()) BigInt(1, mD5.digest()).toString(16)
2017-08-22 17:33:22
861
转载 数据仓库建设
概念：浅析数据仓库与数据库的区别数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。所谓的（1） 面向主题：指数据仓库中的数据是按照一定的主题域进行组织。（2）集成：指对原有分散的数据库数据经过系统加工, 整理得到的消除
2017-08-15 11:58:42
402
转载 MySQL 存储过程
入门：MYSQL中存储过程的创建，调用及语法 我们常用的操作数据库语言SQL语句在执行的时候需要要先编译，然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。 一个存储过程是一个可编程的函数，它在数据库中创建并保存。它可以有SQL语句和一些特殊的控
2017-08-14 15:18:35
442
原创 databricks notebook 笔记
我们要做的 大数据平台 打算使用spark 来做 ，我很开心spark 软件栈丰富全面，涵盖了离线数据清洗、流处理、迭代的机器学习想不起来了暂时Databricks是Berkeley AMPLab Spark大牛们的新作， 定位是”Databricks is a managed platform for running Apache Spark”It’s a point and clic
2017-08-14 14:50:24
2395
转载 java虚拟机笔记
Java 内存区域与内存溢出异常相比于c++,Java在内存管理机制的帮助下，不容易出现内存泄露，内存溢出的问题but,由于内存的控制权不在coder手里，所有一旦出现内存问题，。。。 所以要了解Java虚拟机是怎样使用内存的运行时数据区域jvm是什么
2017-08-11 10:57:56
301
原创 ipython notebook
ipython notebook 是用Python 做教学，科研 计算的工具 Ipython 用浏览器做界面，后台想Ipython 服务器发送请求，获得结果 使用 websocket 不支持IE浏览器 反正我用chrome websocket: WebSocket是HTML5开始提供的一种浏览器与服务器间进行全双工通讯的网络技术。 WebSocket通信协议于2011年被IETF
2017-08-08 15:37:39
344
转载 shell 看门狗
应用是通过nohup java -jar xx.jar & 难免遇到unkown error 挂掉，所以有必要编写看门狗 保护一下 #!/bin/bash now=date ‘+%Y-%m-%d %H:%M:%S’`grepFlag=’datawarehouseLoader.jar’ thisLog=’/loader/watchDogLog.log’baseDir=”/loader/”
2017-08-02 10:12:38
1073
原创 Mastering Http Response
HTTP请求报文和HTTP响应报文http 报文是面向文本的，报文中的每一个字段都是一些ASCII码串，各个字段的长度是不确定的。分两种，请求报文和响应报文。请求报文//ToDo响应报文http响应由四部分组成，分别是： 状态行、消息报头、空行、 响应正文格式: //[]状态行格式如下：HTTP-Version Status-Code Reason-Phrase CRLF其
2017-08-01 09:14:13
260
原创 Apple MackBook 选购比较
结论先行Macbook air 虽然便宜，但是屏幕不是Retina 显示屏，可以排除候选行列，15寸MacBook Pro的太沉，也排除Macbook 屏幕是Retina 显示屏，屏幕12寸，性价比不高Macbook pro 带touch bar版13寸，配置最高、性能最好、特别是在图像处理方面的性能尤佳Macbook pro 不带touch bar版13寸，性价比最高，我司前端开发多数
2017-08-01 09:14:10
1114
原创 Todo
TodoList:3 docker 了解 1 scala implicit 复习5 scaladoc 学习 1 redshift 插入效率1 数据库连接线程池 ok 暂时用不到1 redis1 完善log ok4 类加载器2 偏函数3 JVM 参数 等等3 sbt1 睡眠十率 ok 5*1.5 = 7.5- 还有点小复杂，暂时不用了，之情项目都没有用，现在自己来做这件事
2017-08-01 09:14:07
295
原创 Redis Learning
应用场景：redis 适用于小而热的数据Redis应用场景Redis作者谈Redis应用场景我们在应用redis的场景是 缓存将收到的post报文缓存下，然后批量插入redshiftgithub上的scala版redis client官方推荐了好几款开源的scala 版客户端，都不知道选哪个比较好了，应该迅速读一遍scala 并发编程Redis is an open source(
2017-08-01 09:14:04
298
原创 Hash 算法
散列算法(Hash Algorithm),又称哈希算法，杂凑算法，是从任意文件中创造小的数字[指纹]的方法。散列算法是一种以较短的信息来保证文件唯一性标志，这种标志与文件的每一个字节都相关，而且难以找到逆向规律。因此，当原有文件发生改变时，其标志值也会发生改变，从而告诉文件使用者当前文件已经不是你所需求的文件。先举个例子。我们每个活在世上的人，为了能够参与各种社会活动，都需要一个用于识别自己的
2017-08-01 09:14:01
263
原创 Spray handle Post request
应用rest层使用的是spray库，之前使用GET REQUEST比较多，现在用到POST REQUEST了，现在记录总结下HTTP/1.1 协议规定的 HTTP 请求方法有 OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT 这几种。其中 POST 一般用来向服务端提交数据，本文主要讨论 POST 提交数据的几种方式。我们知道，HTTP 协议是以 A
2017-08-01 09:13:58
652
原创 Using Ubuntu16.04LS
使用ubuntu有段时间了，有些问题解决了没记录，有时间找回来在这里将使用过程中遇到值得记录的Ｍａｒｋ下来卸载软件由于software总是打不开，所以选择用apt-get卸载//列出所有已安装的软件包dpkg --list结果ii xserver-common 2:1.18.3-1ub all common files used by various X seii
2017-08-01 09:13:55
759
原创 scala implicit
why应用中自己写的代码和调用的第三方函数库有着一个基本的区别：也就是你可以任意修改和扩展自己写的代码，而一般来说在没有源码的情况下很难扩展第三方函数库，只能利用函数库提供什么就是什么。在Scala中解决这个问题是使用隐含类型变换和隐时参数。它们可以使调用函数库变得更加方便，并避免一些繁琐和显而易见的细节。Scala 的implicit 可以有implicit 类方法参数。扩展的
2017-08-01 09:13:50
249
原创 了解Docker
DockerWhat is Docker?我的理解：在操作系统上新增的一层抽象解决的痛点：同一台服务器上多应用间的依赖冲突问题优势：很多，比如将多个应用部署在同一个云主机上，该云主机弹性扩展，这样能够节约不少成本目前的项目暂时用不到docker教程
2017-08-01 09:13:47
254
原创 Mastering Akka
程序是怎样运行的？进程和线程在当前抢占式多任务操作系统中，程序员几乎或者彻底失去了命令处理器调整程序执行次序的权利将程序中的各个可执行部分分配给指定的处理器，通常是操作系统OS的工作，这种机制称作多任务处理，而且对计算机用户透明进程是指被执行的计算机程序的一个实例在同一个进程中出现的独立控制流实体称为线程，在执行程序的过程中，每个线程都会描述程序栈和程序计数器的当前状态可以将进程视为一组OS线
2017-08-01 09:13:44
398
原创 SBT增加国内镜像并生效
第五章 SBT国内源配置２０１７－０６－１３ １４：０７：０７前几天执行：sbt update 失败主要是 project/plugins.sbt里的插件下载失败resolved xx failed,说找不到该插件试了n多方法未果，今天发现用idea中的sbt插件可以正常获取到plugins.sbt中插件，所以严重怀疑是本机安装SBT有问题，sudo apt-get remove sbt然后,按
2017-08-01 09:13:41
1808
原创 Mastering HTTP侧
Http调试工具Postman使用Postman Postman测试接口之JSON结构化数据提交Postman使用详解JSONJSON:JavaScript Object NotationJSON is a syntax for storing and exchanging dataJSON is text,written with JavaScript object notation
2017-08-01 09:13:38
235
原创 Python 爬虫框架 scrapy
xpath教程 ： w3c通过路径来。。。scrapy教程：http://scrapy-chs.readthedocs.org/zh_CN/latest/
2017-07-31 10:42:49
290
转载 以终为始. 反馈是学习的唯一途径. 输入只是娱乐, 输出才是学习.
我该学什么? 这是一个错误的问题这个问题可以有很多出发点. 今天讨论基于的假设是对工作方向的迷惘, 即不知道自己下一步努力的重点是什么, 但又不想时光虚度, 总觉得该学点什么, 又不知从何学起.想学习是好的, 但考虑下面这种场景. 你走进领导的办公室说: “我要加薪, 因为我参加了两个培训, 看了三本书”. 你觉得领导会答应吗?再考虑第二种场景. 你走进领导的办公室说: “
2017-07-31 10:39:51
584
原创 基于Raspberry Pi Raspbian 的 Hadoop 安装
一、安装Raspbian准备：1·Rsapberry Pi2·8G内存卡一张（格式化）3·网络（有线） 开始安装：这里使用的是官方推荐的NOOBS,将下载的NOOBS解压后，将NOOBS文件夹中的全部文件拷贝到已经格式化的内存卡中，然后将内存卡插入树莓派中，上电自动开机，出现系统安装选择界面，这里选择的是比较成熟的Raspbian操作系统（本地文件安装），也
2017-07-31 10:36:14
400
原创 REST: resource representation state transfer
REST: resource representation state transfer下面两篇文章讲的不错，有时间再总结下自己的心得基于REST架构的Web Service设计RESTful架构: 理解RESTful架构
2017-07-31 10:26:25
430
原创 Sublime+scala
Sublime工具->编译系统->新的编译系统里面内容：{ "cmd": ["scala", "$file"], "selector": ["source.scala"], "shell": "true"}
2017-07-31 10:18:26
297
原创 centos6.5下yum重装MySQL
今天终于把虚拟机弄得连上网络了，寻思跑跑代码试试，发现MySQL以前弄的时候删乱了，于是乎重装MySQL一 ·防止之前装的MySQL添乱，先删掉之前的 （ｒｏｏｔ权限） yum remove mysql mysql-server mysql-libs; find / -name mysql 找到的文件用 rm -rf 'file path'
2017-07-31 10:16:08
365
原创 Java Serialize Java序列化
Java序列化是指： 将那些实现了serializable接口的对象转换成一个字节序列// TODO:总结
2017-07-31 10:05:43
388
原创 ubuntu操作系统下spark源码走读环境搭建
准备：1.ubuntu操作系统2.百度一下 IDEA， 到官网下载IDEA安装包 下载完成解压到指定目录下如：tar -zxvf xxx,xxx -C /opt/idea运行/optt/idea/xxx/bin/idea.sh如： sh idea.sh这个过程中可以选择安装 scala sbt 开始：3.sbt update gen-idea4.用idea open 该目
2017-07-30 14:29:33
264
原创 用python训练机器学习
//样本数据编号,色泽,根蒂,敲声,纹理,脐部,触感,密度,含糖率,好瓜 1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,0.697,0.46,是 2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,0.774,0.376,是 3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,0.634,0.264,是 4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,0.608,0.318,是 5,浅白,蜷缩,浊响,清晰,凹陷,
2017-07-30 14:29:30
382
原创 爬虫总结
一开始接触用python 写爬虫用的是bs4 request urllib2 这些库，简单爬取网页简直不要太简单类似这种：# -*- coding: utf-8 -*-#---------------------------------------# 程序：百度贴吧爬虫# 版本：0.1# 作者：why# 日期：2013-05-14# 语言：Python 2.7
2017-07-30 14:29:25
258
原创 爬虫框架scrapy安装
花了将近一下午才装好#scrapy#,我也真是毙了狗了------------------------------------------------上为背景，其中的艰难困苦自不必题。参考指导的文档：1· 安装指南 （不太详细）2·Python爬虫进阶三之Scrapy框架安装配置（较详细） 问题：1·缺少python依赖的c++库，
2017-07-30 14:29:22
261
原创 linux shell awk sed
这篇博文总结的够好了--awkawk是強大的文本分析工具，相对于grep的查找，sed的编辑，awk在对数据分析生成报告时，显得尤为重要简单来说awk 就是把文件逐行读入，以空格为默认分隔符，切开的部分再进行各种分析处理。 ps:-v是选项不是参数，用于定义变量，variable变量，该选项需要一个参数，如: -v var=value。 sed 看这篇 -- se
2017-07-30 14:29:08
279
原创 linux shell dirname basename
[root@hadoopname ~]# clear[root@hadoopname ~]# lltotal 136-rw-------. 1 root root 2696 Jun 24 04:41 anaconda-ks.cfgdrwxr-xr-x. 2 root root 4096 Jun 24 06:13 Desktopdrwxr-xr-x. 2 root root 4096
2017-07-30 14:29:05
322
原创 linux 特殊变量 亲测
#!/bin/bash# $$ 该shell本身的PIDprintf "The complete list is %s\n" "$$"# $! shell 最后运行的后台的Process 的PIDprintf "The complete list is %s\n" "$!"# $? 最后运行的命令的结束代码printf "The complete list is %s\n" "$?"
2017-07-30 14:29:03
262
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人