nethub2-CSDN博客

原创 Spark 以及 spark streaming 核心原理及实践 - (2)

Spark Streaming运行原理spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理。从原理上看，把传统的spark批处理程序变成streaming程序，spark需要构建什么？需要构建4个东西：一个静态的 RDD DAG...

2018-08-19 15:45:53 1088

原创 Spark 以及 spark streaming 核心原理及实践 - (1)

导语spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。本文依次从:spark生态，原理，基本概念，spark streaming原理及实践，还有spark调优以及环...

2018-08-19 15:44:55 345

原创推荐系统架构详解

背景介绍：对于推荐系统，大家应该不陌生。可以说现在已经随处可以看到它的身影。比如你浏览网页时，如在京东上购物，对应页面会根据你的浏览内容给你推荐诸多类似功能的商品。页面上的看了又看以及猜你喜欢，这2个功能背后都是大数据的推荐系统做支持。以及你看今日头条时，你会发现，系统不断动态展现你喜欢的内容，这也是根据大数据而做的推荐内容。尤其现在倡导千人千面的app应用中，每个人浏览的内容都是根据个人...

2018-05-10 14:33:05 618

原创 Hadoop分布式集群的搭建

https://bigdata.163yun.com/product/article/35 本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显，但能够为新手们提供一个参考，让像我一样的小白们对Hadoop的环境能够有一定的了解。环境：系统环境：CentOS7.3.1611 64位 Java版本：OpenJDK 1.8.0 ...

2018-05-09 17:22:27 214

原创管理项目干系人时，巧用工具可以事半功倍

管理项目干系人时，巧用工具可以事半功倍（1/3）[导入案例1]市民抗议钼铜项目污染环境2012年6月29日，什邡市西去16公里的灵杰镇上，一块巨大的空地上，一场盛大的奠基典礼在这里举行。四川什邡宏达集团正式宣布将在这里投资104亿元建设钼铜项目生产基地，而作为“5·12”特大地震重灾区的什邡市，亦将通过该项目而获得超40亿元的年利税收入。等这个项目开工的消息在当地电视播出后，一...

2018-05-02 00:09:18 1243

转载 sbt仓库设置

sbt 构建 scala 应用> sbt is a build tool for Scala, Java, and more. It requires Java 1.6 or later.正如官网所说, sbt是一个为 scala、java 而生的构建工具，在mac上安装十分的方便。bash brew install sbt只要你构建的目录有如下的层级bashsrc/ main/ r...

2018-03-25 21:45:16 1551

原创 /etc/profile和/root/.bash_profile有什么区别

/etc/profile,优先级最高,是全局的，是私有的,用于整个系统所有用户，~/.bashrc和 ~/.bash_profile, ~/.profile 用于各个用户，这里的"~"符号就是各当前用户的$HOME~/.bash_profile 和 ~/.profile 只在登陆时读取一次。~/.bashrc 每次都读取 ~/.bash_profile 和 ~/.profi...

2017-11-19 21:37:40 920

原创 python 结巴分词(jieba)学习

目录(?)[-]jieba特点在线演示安装说明算法主要功能1 分词2 添加自定义词典载入词典调整词典3 关键词提取基于 TF-IDF 算法的关键词抽取基于 TextRank 算法的关键词抽取基本思想使用示例4 词性标注5 并行分词6 Tokenize返回词语在原文的起止位置7 ChineseAnal...

2017-11-11 18:08:06 171

原创大数据高并发系统架构实战方案

大数据高并发系统架构实战方案http://bbs.chinaunix.net/thread-4077840-1-1.html 课程简介: 随着互联网的发展，高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。通过该课程的学习...

2017-11-02 21:46:43 318

原创关于异步化带来的高并发和高吞吐量的分享

对于系统的并发量的提高的优化，除了对模块内部性能以及切分，分流等的考虑外，我把以前做过的开放平台的并发和吞吐量的优化的经验分享一下 A、B、C、D之间是分布式调用，统一由http接入A系统传统方式：各个系统之间是同步的阻塞调用，包括Http接入也是阻塞式的。当用户并发比较大的时，常见的现象时各个系统线程处于阻塞状态，线程相...

2017-11-02 21:46:14 572

原创 Java高并发解决方案

一：高并发高负载类网站关注点之数据库没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。一般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的优化措施是M-S（主- 从）方式进行同步复制，将查询和操作和分别在不同的服务器上进行操作。我推荐的是M-M-Slav...

2017-11-02 21:32:33 129

原创 Hadoop的dfs -ls 报错:ipc.Client: Retrying connect to server

参考网站:http://blog.csdn.net/zhangheng1225/article/details/8246785 有项目需要用到HBase，配置Hadoop集群的情况如下：OS ： Ubuntu 11.04Hadoop 2.02三台虚拟机IP分配如下：192.168.128.131 master 兼slave192.168.128.132 slav...

2017-11-02 21:31:23 333

原创下载网页视频的方法：网站视频下载方法技术分享或者用遨游5浏览器(下载视频)...

http://www.pc6.com/infoview/Article_68373.html 这是我多年做开发的经验，你不需下载专业软件，几步就可以拿到视频资源。在度娘搜索的时候，大多数方法都是去缓存里面找，这并不是很好的，首先你要清理缓存，一清理，各种登录都没了，也不一定能找到。首先说明，各大专业视频网站（如：优酷，土豆，酷6等）未必好使，他们的视频开发模式特殊，捕获不到。优酷下载你...

2017-10-10 22:19:16 2743 1

转载 Hadoop 常见问题总结

http://blog.csdn.net/huoyunshen88/article/details/9077245http://cloud.riaos.com/?p=8001390http://shirley-ren.iteye.com/blog/1174622出现问题以后先查看日志，以下是常见的错误情况1 地址占用org.apa

2017-10-08 20:15:41 915

原创修改android studio的Gradle本地仓库的位置

由于Android studio默认使用自带的Gradle 将Gradle的默认目录复制到你期望仓库的盘符例:我复制到F盘新建环境变量: GRADLE_USER_HOME 修改之后要重启下系统！！重启之后打开AS查看Gradle发现他的仓库地址改了 http://bl...

2017-09-11 00:06:37 2144

原创 Gradle 修改本地仓库的位置

老话，适合的才是最好的。此处不做gradle和maven的比较。只说下我，一个偏执的maven用户如何尝试使用gradle的经验。我用maven好些年了，自己机器上还搭了个nexus。最近看到有个demo需要gradle才能跑起来，于是打算尝试下。首先gradle的下载、配置，对一个程序猿来说，这都不是事，如果这都搞不定，可能你有点点不太适合做这一行。Win7下，直接用setx设置环境...

2017-09-10 23:57:33 131

原创手把手教你用Spring Cloud和Docker构建微服务

什么是Spring Cloud?　　Spring Cloud 是Pivotal提供的用于简化分布式系统构建的工具集。Spring Cloud引入了云平台连接器(Cloud Connector)和服务连接器(Service Connector)的概念。云平台连接器是一个接口，需要由云平台提供者进行实现，以便库中的其他模块可以与该云平台协同工作。　　Spring Boot　　Spring...

2017-08-09 10:36:29 163

原创一句话概括下spring框架及spring cloud框架主要组件

spring 顶级项目Spring IO platform:用于系统部署，是可集成的，构建现代化应用的版本平台，具体来说当你使用maven dependency引入spring jar包时它就在工作了。Spring Boot:旨在简化创建产品级的 Spring 应用和服务，简化了配置文件，使用嵌入式web服务器，含有诸多开箱即用微服务功能，可以和spring cloud联合部...

2017-07-01 18:49:34 76

原创 Spring Boot SLF4J日志实例 / Logback

默认情况下，SLF4j日志记录包含在Spring Boot Web应用程序中，只需要启用它就可以了。注意：查看此Spring Boot Logback XML模板以了解默认的日志记录模式和配置。SLF4j示例我们将在接下来的文章中，创建一个项目：web-slf4j-logging，演示这几种常用的日志配置方法。1. application.properties要...

2017-06-18 18:12:12 169

原创 Spring Boot文件上传示例（Ajax和REST）

本文介绍如何使用Ajax请求在Spring Boot Web应用程序(REST结构)中上传文件。本文中使用的工具：Spring Boot 1.4.3.RELEASESpring 4.3.5.RELEASEThymeleafjQuery (webjars)MavenEmbedded Tomcat 8.5.6Google Chrome浏览器1. 项目结构...

2017-06-18 17:52:48 181

原创 Spring Boot文件上传示例

本文介绍如何在Spring Boot Web应用程序中上传文件。使用的工具：Spring Boot 1.4.3.RELEASESpring 4.3.5.RELEASEThymeleafMaven 3Embedded Tomcat 8.5.61. 项目结构标准项目结构如下图所示 -2. 项目依赖Spring boot依赖关系，无需额外的文件上...

2017-06-18 14:14:50 148

原创 jQuery - ajax

var prospectData = { "prospectID" : '${CustomerHolisticView.clientID}' }; if(confirm("Are you sure to delete this prospect record?")){$.ajax({url: '<portlet:resourceURL id='delete...

2017-06-13 14:36:31 75

原创 JSON.parse()和JSON.stringify()

parse用于从一个字符串中解析出json对象,如var str = '{"name":"huangxiaojian","age":"23"}'结果：JSON.parse(str)Objectage: "23"name: "huangxiaojian"__proto__: Object 注意：单引号写在{}外，每个属性名都必须用双引号，否则会抛出异

2017-05-09 21:44:15 115

原创 Spring Boot系列教程一：Eclipse安装spring-tool-suite插件

一.前言一直使用eclipse，个人习惯选用Eclipse+spring-tool-suite进行开发，特别注意Eclipse要选用对应的spring-tool-suite进行安装，这点笔者浪费了好长时间，以下为对应的版本。eclipse-kepler.4.3.1–>springsource-tool-suite-RELEASE-e4.3.1-updatesit...

2017-05-09 14:09:43 100

原创 Spring Session + Redis实现分布式Session共享

Maven依赖配置FilterSpring配置文件解决Redis云服务Unable to configure Redis to keyspace notifications异常通常情况下，Tomcat、Jetty等Servlet容器，会默认将Session保存在内存中。如果是单个服务器实例的应用，将Session保存在服务器内存中是一个非常好的方案。但是这种方案有一个...

2017-04-20 13:50:45 124

原创为什么选择Spring Boot作为微服务的入门级微框架

1. Spring Boot是什么，解决哪些问题 1) Spring Boot使编码变简单 2) Spring Boot使配置变简单 3) Spring Boot使部署变简单 4) Spring Boot使监控变简单 5) Spring Boot的不足2. Spring Boot在平台中的定位，相关技术如何融合 ...

2017-04-14 17:43:35 72

原创为什么越来越多的开发者选择使用Spring Boot

Web应用开发背景使用Java做Web应用开发已经有近20年的历史了，从最初的Servlet1.0一步步演化到现在如此多的框架，库以及整个生态系统。经过这么长时间的发展，Java作为一个成熟的语言，也演化出了非常成熟的生态系统，这也是许多公司采用Java作为主流的语言进行服务器端开发的原因，也是为什么Java一直保持着非常活跃的用户群。最受Java开发者喜好的框架当属spring，...

2017-04-02 19:15:55 135

原创 ZooKeeper典型应用场景一览

查看PDF版本ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众...

2017-03-30 11:07:39 93

原创使用Log4j将程序日志实时写入Kafka

收集了日志后，可以给别的地方做实时计算很多应用程序使用Log4j记录日志，如何使用Kafka实时的收集与存储这些Log4j产生的日志呢？一种方案是使用其他组件（比如Flume，或者自己开发程序）实时监控这些日志文件，然后发送至Kafka。而另外一种比较便捷的方案是使用Kafka自带的Log4jAppender，在Log4j配置文件中进行相应的配置，即可完成将Log4j产生的日志实...

2017-03-30 09:26:19 143

原创 Spring Boot基础教程3-配置文件详解：Properties和YAML

Spring Boot基础教程1-Spring Tool Suite工具的安装Spring Boot基础教程2-RESTfull API简单项目的快速搭建Spring Boot基础教程3-配置文件详解：Properties和YAMLSpring Boot基础教程4-配置文件-多环境配置Spring Boot基础教程5-日志配置-logback和log4j2 ...

2017-03-30 09:25:32 110

原创关于redis、memcache、mongoDB 的对比

从以下几个维度，对Redis、memcache、MongoDB 做了对比，欢迎拍砖1、性能都比较高，性能对我们来说应该都不是瓶颈总体来讲，TPS方面redis和memcache差不多，要大于mongodb2、操作的便利性 memcache数据结构单一 redis丰富一些，数据操作方面，redis更好...

2017-03-29 14:50:56 60

原创大数据量、高并发数据库的高性能、高可用性解决方案

大数据量、高并发数据库的高性能、高可用性解决方案：1.拆表：大表拆小表（垂直拆，水平拆；分表，分区partition，分片sharding），可以在应用层实现，也可以在大数据量、高并发数据库的高性能、高可用性解决方案： 1.拆表：大表拆小表（垂直拆，水平拆；分表，分区partition，分片sharding），可以在应用层实现，也可以在数据库层面实现一部分；提...

2017-03-29 14:30:46 883

原创将JSP/Servlet项目转换为Spring Boot项目

创建Spring Boot应用在基于Spring来重构JSP应用之前，我们先引入Spring Boot，使之成为一个Spring Boot应用。你只需要在原来的代码基础上，增加简单的配置和少量的代码即可引入Spring Boot，整个过程5分钟就能完成。这里我们使用Maven来管理依赖，因为我们需要增加Spring Boot相关的依赖。也可以在Eclipse或者IntelliJ中创建...

2017-03-28 21:26:49 1816

原创基于Spring提供支持不同设备的页面

之前有篇文章基于Spring boot的设备类型检查现在继续讲下【基于Spring提供支持不同设备的页面】通常不同的设备访问我们是通过响应式设计来统一处理各种设备的尺寸的。但是如果希望针对不同的设备，显示不同的内容呢？ Spring对于这一点同样提供了很好的支持，来看看如何实现。准备工作我们通过一个简单的例子来演示，基于Spring MVC来实现一个简单的HTTP GET请...

2017-03-24 12:39:32 99

原创 Spring RestTemplate介绍

http://www.cnblogs.com/softidea/p/5977375.html http://www.cnblogs.com/rollenholt/p/3894117.htmlRestTemplate这篇文章打算介绍一下Spring的RestTemplate。我这边以前设计到http交互的，之前一直采用的是Apache HttpComponents 。后来发现S...

2017-03-18 21:59:15 171

前面介绍过spring的MVC结合不同的view显示不同的数据，如：结合json的view显示json、结合xml的view显示xml文档。那么这些数据除了在WebBrowser中用JavaScript来调用以外，还可以用远程服务器的Java程序、C#程序来调用。也就是说现在的程序不仅在BS中能调用，在CS中同样也能调用，不过你需要借助RestTemplate这个类来完成。RestTemplat...

2017-03-09 10:03:16 92

原创 Maven构建项目后项目报Error错误Java compiler level does not match the version of the instal

Maven构建项目后项目报Error错误Java compiler level does not match the version of the installed Java project fac 项目->右键->Properties ->Project Facets->修改facets中Java版本（下拉箭头出）为要用的版本Maven构建项目需注...

2017-02-04 10:37:20 119

原创 Spring boot中使用 JdbcTemplate

JDBC首先，我们来看看传统的JDBC是如何连接数据库并操作数据库的吧：package main;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;public class ...

2017-01-22 16:41:29 175

原创 AngularJS教程

AngularJS 是什么?AngularJS是一个非常强大的JavaScript库，用于在单页应用程序（SPA）项目。它扩展了HTML DOM的附加属性，使之更适应用户操作。 AngularJS是开源的，完全免费的，并且由数千名世界各地的开发。它是根据Apache许可证2.0版许可。 AngularJS是一个开源Web应用程序框架。它最初是由Misko Hevery和Adam Abrons...

2017-01-22 16:21:19 215

原创 No plugin found for prefix 'spring-boot' ...的问题解决方法

我在出初学spring boot时，用idea启动项目没问题，但是用maven启动项目时报错信息如下： [ERROR] No plugin found for prefix ‘spring-boot’ in the current project and in the plugin groups [org.apache.maven.plugins, org.codehaus.mojo] av...

2017-01-22 14:23:57 428

J2EE项目整合FLEX项目.doc

空空如也