原创 为什么说微信小程序一定会流产

APP垂直扁平化是趋势，拐弯抹角去找应用有意思吗？     微信小程序不论性能还是用户体验都不及app,何况跟微信绑定在一起，不但没增加用户选择自由度，相反加剧了更多限制，难道微信能成为世界主流吗，腾讯在五年后难道不走下坡路吗？小程序的诸多弊端和腾讯这家局域网公司的各种局限性决定了小程序只是鸡肋的试验品，成不了大气候。    小程序位于微信的一个犄角旮旯里，找半天才能进入目标应

原创 为什么男人要有自己的实业

看清楚哦，男人要有自己的实业，而不止事业，如果你离开公司，不再有工作收入，你还能养活自己吗？这是一个很值得反思的问题，中国经济持续下滑，未来失业的人口会越来越多。作为一个男人，首先要养活自己，如果你失去工作了，你怎么办，等死吗？啃老吗？乞讨吗？我想，作为一个真正的男人，你应该不会走这样无下限的道路。所以说，男人要有自己的实业，有自己的资产，就算你不再为别人打工，你也有稳定的收入来源，

原创 hadoop要点（四）

101、经验：kafka的comsumer groupID对于spark direct streaming无效102、启动hadoop yarn,发现只启动了ResourceManager，没有启动NodeManager解决方法：yarn-site.xml配置有问题，检查并规范各项配置103、如何查看hadoop系统日志 解决方法：Hadoop 2.x中YARN系统的服务日志包

转载 redis+lua+nginx打造CDN云加速

原创 hadoop要点（三）

51、linux批量多机互信 解决方法：pub秘钥配成一个52、org.apache.spark.SparkException: Failed to get broadcast_790_piece0 of broadcast_790解决方法：去除spark-defaults.conf中spark.cleaner.ttl配置53、Yarn HA环境下，通过web访问history

原创 项目上传git仓库步骤

加载远程git目录到本地git  clone  仓库地址进入仓库目录把需要上传的项目文件拷贝到git目录中添加新的文件到gitgit  add  .查看状态git  status提交项目并给予注释git  commit  -m  "comment"查看git日志git  log

原创 spark集群搭建（标准版）

搭建hadoop2.6-yarn-spark1.6大数据集群详细步骤（三个节点,每个节点都要执行一遍）：配置/etc/hosts(覆盖原来的配置):192.168.3.61 namenode1192.168.3.62 datanode2192.168.3.63 datanode3由于机器数量有限，这里把datanode和namenode放在同一个节点，实际生产环境中建议

原创 kafka0.9-spark1.6-ElasticSearch2.1集成

kafka0.9-spark1.6-ElasticSearch2.1集成：工程目的：将kafka读入的数据流，经过spark streaming数据分析，最后写入ESeclipse卡顿：内存不足所以会卡死,修改一下eclipse.ini-XX:MaxPermSize=768m-Xms1024m-Xmx3072m使用maven-assembly，在pom.

原创 hadoop要点（二）

踩坑集锦

原创 搭建hadoop2.6-yarn-spark1.6大数据集群详细步骤

搭建hadoop2.6-yarn-spark1.6大数据集群详细步骤（三个节点,每个节点都要执行一遍）：配置/etc/hosts:192.168.3.61 namenode1192.168.3.62 datanode2192.168.3.63 datanode3由于机器数量有限，这里把datanode和secendarynamenode都放在datanode2，实际生产

原创 Spark要点

Spark要点：内存计算，DAG；RDD：Resilient Distributed Dataset    弹性分布式数据集RDD可以基于工作集应用RDD特征：有很多partition（数据分片），并行度从上一个RDD继承；每个split（数据分片）对应一个函数function()，函数处理就是以任务方式运行；RDD依赖一组其他的RDD；对于key-value RDD，它的Part

原创 Scala进阶

scala进阶：开发环境：idea或者scalaIDE for eclipse元组（tuple）：val triple = (100,”scala”,”spark)数组（array)：val arr = Array(1,2,3,4,5)Map：val = ages = Map(“oddo” -> 12 , “jucy” ->18)File：val file = Source.f

原创 java多线程小结

java多线程小结：进程是指一个内存中运行的应用程序，每个进程都有自己独立的一块内存空间，线程是指进程中的一个执行流程，一个进程可以启动多个线程，线程总是属于某个进程，进程中的多个线程共享进程的内存。在java中，“线程”指两件不同的事情：1，java.lang.Thread类的一个实例 2，线程的执行。一个Thread实例只是一个对象，像java中的任何其他对象一样，具有变量和方法，

原创 linux文本处理三剑客

linux文本处理三剑客：linux正则表达式：用于快速过滤、替换需要的内容linux三剑客：grep（文本抓取器）、sed（流编辑器）、awk（报表生成器）基于greplinux命令基于行处理^winber以winber开头win$以win结尾^$表示空行，不是空格.代表且只能代表任意一个字符    （其他功能：当前目录，加载文件）\转义字

原创 web应用自动部署脚本

自动部署脚本：#!/bin/bash{flock -n 100[ $? -eq 1 ] && { echo -e "\033[41;1m wait for deploying \033[0m"; exit; }echo "start to deploy..."SERVER_PATH=/data/server/webproject-server-808

原创 Scala基础

scala基本语法：特点：可扩展（面向对象，函数式编程）；兼容java（类库调用，互操作）；语法简洁（代码行短，类型推断，抽象控制）；静态类型化（可检验，安全重构）；支持并发控制（强计算能力，自定义其他控制结构）；函数式编程：函数也是对象声明与定义（赋值）：val,常量声明val x:T val x:T=evar,变量声明var x:T var x:

原创 HIVE的MAP/REDUCE原理

原创 java多线程处理Excel

package net.winbox.util;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.InputStream;import java.sql

原创 python基础

python基本语法：递归：1、调用自身，2、收敛条件(最小可能性问题：有基本返回值）eg:   阶乘def factorial(n):     if n==1:return 1     else:return n*factorial(n-1)eg:  幂def power(x,n):if n==0:return 1else:return x*p

原创 hadoop要点（一）

hadoop要点（一）：YARN支持多种计算模型（hadoop离线,storm实时,spark内存计算），支持数据共享；hadoop部署方式：本地，伪分布，集群模式hadoop1.0块文件默认64M,hadoop2.0块文件大小默认128M；配置ssh免密码登录：处于同一网段的ip才能通信，cd .ssh/  ,  ls   ,  ssh-keygen  -t  rsa 生成i

原创 mongoDB快速入门

mongoDB入门：mongoDB常用于前端数据加速读写，提升用户体验，且不涉及原子复杂事务，或者用于表字段不确定的场景，主要针对一些廉价数据。BSON : JSON扩展，增加了新的数据类型，而且能转成二进制码存储；mongoDB   表： 集合list ；  表的一行数据（对象｛｝） ：  文档document；mongoDB查询使用内置的find函数，基于BSON的特殊查询工具

原创 Tips for SQL and Bash

Database and Linux shell:#Oracle#Oracle服务器: Oracle数据库（磁盘）和 Oracle实例（内存）Oracle集群（cluster): 一个数据库映射多个实例副本（负载均衡，失败迁移）oracle的方案：基于用户的管理方案ordinary user login: sqlplus scott/11super user login

原创 Hadoop生态概览

Hadoop生态概览：#hadoop＃HDFS两种文件格式（基于文件的数据结构）：1，SequenceFile,2,MapFileSequenceFile特性：SequenceFile文件是Hadoop用来存储二进制形式的对而设计的一种平面文件(Flat File）；可以把SequenceFile当作一个容器，把所有文件打包到SequenceFile类中，可以高效地对小文件进行存储和处

原创 基本排序算法java实现

七种排序算法记忆口诀：冒择入希速归堆（冒失选择入口的希望是快速回归马王堆）冒泡排序：public class BubbleSort {public static void sort(long[] arr) {long tmp = 0;for(int i = 0; i for(int j = arr.length - 1; j > i; j--) {if(arr[j]

原创 Induction to Hadoop

induction to hadoop：Yarn:管理多个不同的集群，提升资源利用率；HIVE：能将HQL转化为map-reduce作业；Mahout:提供了数据挖掘库，包含丰富的大数据相关算法；HBase:Table,Column Family,Row key:主键，Timestamp:时间戳（版本号）；Zookeeper:解决分布式环境下数据管理问题（统一命名，状态同步，集

原创 Tips for Storm

Storm:spout,tuple,boltStorm记录级容错原理：A xor A = 0A xor B … xor B xor A =0,其中每个操作数出现且仅出现两次。在storm做实时计算，必须创建topology;topology是计算图，其中每个节点包含一个处理逻辑，节点之间的链接表明了数据如何在节点之间被传输。sorm的核心是stream，stream是无边界

原创 Tips for Lucene

Lucene:search engine contains three parts：索引系统，分词系统，搜索系统。＃索引和搜索＃in lucene,the relation between file and field is similar to the relation between table and field in database.the flow of luc

原创 ThreadLocal

ThreadLocal（线程局部变量）线程同步会造成性能损耗。概括起来说，对于多线程资源共享的问题，同步机制采用了“以时间换空间”的方式，而ThreadLocal采用了“以空间换时间”的方式。前者仅提供一份变量，让不同的线程排队访问，而后者为每一个线程都提供了一份变量，因此可以同时访问而互不影响。线程局部变量(ThreadLocal)其实的功用非常简单，就是为每一个使用该变量的线程都提

原创 Redis Util For java common use

import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.Closeable;import java.io.IOException;import java.io.ObjectInputStream;import java.io.ObjectOutputStrea

原创 亚信campaign对接twitter预研成果

Campaign与Twitter对接预研成果分享                         日期：2015.4.28   作者：程文博 笔者声明：本文档的技术资料主要引用自Twitter官网，全文介绍了笔者在整个Twitter实践过程中的一些见闻和感悟，其中一些总结与论断属于个人见解，由于笔者的英语水平和代码能力有限，所以阐述中难免存在纰漏，欢迎您提出宝贵意见和建议，本文档最终解

转载 如何成为一个C++高级程序员

C++这门语言从诞生到今天已经经历了将近30个年头。不可否认，它的学习难度都比其它语言较高。而它的学习难度，主要来自于它的复杂性。现在 C++ 的使用范围比以前已经少了很多，java、C#、python 等语言在很多方面已经可以代替C++。但是也有很多地方是其他语言完全无法替代的，主要集中在需要运行效率比较高的行业，比如游戏、高效的服务器。　　现在学习 java、C#等语言的人数远远高于C

原创 亚信CRM7.0新框架AppEngine3.0培训摘要

南京培训： FTP下载地址：10.11.20.110端口号：21用户名：crmftpdownload密码：crmftpdownloadjar包路径：/AppEngine-PUB/AppEngine_V3.X/appengine_V3.0_20150210文档路径：/AppEngine-PUB/AppEngine_doc/AppEngineV3.0/集成工具：/App