czliuming-CSDN博客

转载人工智能、机器学习、深度学习、神经网络

在经历了蛮荒的PC互联网时代，混战的移动互联网时代，到现今最火的人工智能时代。大数据、云计算、机器学习的技术应用，已经使得IT从业者的门槛越来越高。套用一句樊登读书会的宣传口号“keep learning”，保持对新鲜技术的好奇心，保持对技术应用的责任心，持续关注、学习是每个IT从业者的必备技能。一、什么是人工智能？人工智能（Artificial Intelligence），英文缩写为AI。它是一个

2017-12-21 11:38:04 23328 5

原创 VMware上部署双网卡网络环境

为虚拟机添加第2块网卡，如下图所示配置网卡信息 (1)进入/proc/sys/net/ipv4/conf目录查看网卡设备信息 (2)编辑/etc/network/interfaces 文件，配置网卡信息如果不能上网，需要将宿主机可以上网的网卡共享，具体如下 (1)设置可上网网卡共享 (2)设置虚拟机网卡其中，ip设置成虚拟机局域网网段

2016-12-01 17:08:15 1384

原创 Hadoop与Spark整合

搭建Hadoop集群搭建Hadoop集群请参考博文《Hadoop集群搭建及wordcount测试》，在此不再赘述。安装Scala 在scala官网下载合适的版本，将scala安装包拷贝到linux安装目录，执行解压缩命令进行安装：sudo tar -zxvf scala-2.11.7.tgz -C /usr/opt/spark解压缩完成后，进入etc目录，修改profile，追加以下内容e

2016-05-24 16:48:47 3646

原创大数据日知录--数据分片与路由

概念目前主流的大数据存储与计算系统通常采用横向扩展(Scale Out)的方式支持系统可扩展性，即通过增加机器数目来获得水平扩展能力。对于待存储处理的海量数据，需要通过数据分片(Shard/partition)来将数据进行切分并分配到各个机器中去，数据分片后如何找到某条记录的存储位置就成为必然要解决的问题，这一般被称为数据路由(Data Routing)。数据分片和数据路由的抽象模型如下

2016-05-23 16:38:57 2826 1

原创 Hadoop集群搭建及wordcount测试

1. hadoop三种安装模式单机模式无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。伪分布式模式 Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。完全分布式模式 Hadoop运行在一个真实的集群中，本文以hadoop-2.6.3为例讲解此模式配置。2. hado

2016-05-05 23:00:45 5922

转载 Hadoop常见问题汇总-转载

An internal error occurred during: “Map/Reducelocation status updater”.java.lang.NullPointerException，如图所示解决：尝试向HDFS中上传一个文件，然后再新建目录。

2016-05-05 22:48:13 932

原创机器学习实战--决策树

决策树概述决策树利用分层的概念将一个复杂的决策问题分解为多个简单的判断问题，最后逐级得到最大支持度的决策结果。决策树优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据缺点：可能产生过度匹配问题适用数据类型：数值型和标称型决策树算法原理决策树概念比较简单，用一个男女相亲的例子来描述决策树原理如下：示例：使用决策树实现分类器 1

2016-05-03 17:32:27 8127

原创机器学习实战--基于概率论的分类方法：朴素贝叶斯

朴素贝叶斯概述朴素贝叶斯算法就是利用我们在概率论中学习的条件概率公式来处理一些分类问题。朴素贝叶斯优点：在数据较少的情况下仍然有效，可以处理多类别问题缺点：对于输入数据的准备方式较为敏感适用数据类型：标称型数据朴素贝叶斯算法原理概率论中有一个大名鼎鼎的概率公式，贝叶斯公式：推到过程如下：举一个例子来阐述贝叶斯公式，据统计百分之八十的女孩会留长

2016-04-29 15:18:47 9001

转载 Git使用与配置(转载)

这篇文章主要介绍了Git客户端TortoiseGit（Windows系统）的使用方法,需要的朋友可以参考下本文环境：操作系统：Windows XP SP3Git客户端：TortoiseGit-1.8.8.0-32bit一、安装Git客户端全部安装均采用默认！1. 安装支撑软件msysgit: https://code.goog

2016-04-28 21:30:04 648

原创机器学习实战——k-近邻算法（KNN）

k-近邻算法(KNN)概述简单的说，k-近邻算法采用测量不同特征值之间的距离方法进行分类，它是一个分类算法。 k-近邻算法优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。k-近邻算法原理

2016-04-25 17:46:21 1126

转载数据挖掘-文本特征提取方法研究

一、课题背景概述文本挖掘是一门交叉性学科,涉及数据挖掘、机器学习、模式识别、人工智能、统计学、计算机语言学、计算机网络技术、信息学等多个领域。文本挖掘就是从大量的文档中发现隐含知识和模式的一种方法和工具,它从数据挖掘发展而来,但与传统的数据挖掘又有许多不同。文本挖掘的对象是海量、异构、分布的文档(web);文档内容是人类所使用的自然语言,缺乏计算机可理解的语义。传统数据挖掘所处理的数据是结

2016-04-25 17:33:29 41511

原创 Hadoop安装与配置

1. java安装与配置在oracle官网下载最新的Linux版本的jdk，然后利用ssh将jdk压缩包传输到待安装Linux系统的指定目录下（详见博客《windows利用ssh向Ubuntu传文件》），进入Linux系统切换到jdk压缩包所在目录，执行解压缩命令，将jdk安装在指定目录。命令如下： tar -zxvf jdk1.8.0_77 -C /usr/java安装完成后需要配置

2016-04-10 17:23:06 951

原创机器学习实战——机器学习基础

何为机器学习机器学习就是把无序的数据转换成有用的信息。关键术语属性（特征）：从各个方面描述一个事物，这些方面称作属性或者叫特征训练集：用于训练机器学习算法的数据样本集合目标变量：机器学习的结果主要任务机器学习主要分为监督学习和无监督学习，监督学习必须知道即将预测的标称变量是什么，如分类和回归。无监督学习数据没有类别信息，也不会给定目标值，主要包括聚类，密度估计等。监督学习：

2016-03-31 13:41:32 700

原创 MongoDB学习-入门

基本概念集合（collection）类似于关系型数据库的表，它是无模式的。文档(doucument)是MongoDB中数据的基本单元，类似于关系型数据库中的行。虽然集合是无模式的，但是仍然需要使用多个集合，原因如下：把各种各样的文档都混在一个集合里面，不利于整理。在一个集合里查询特定类型的文档在速度上很不划算，分开做多个集

2016-03-08 18:41:52 519

原创 MongoDB学习-环境搭建与配置

一.MongoDB的安装与配置1.MongoDB下载可以登录MongoDB官网https://www.mongodb.org/downloads下载相应版本的mongodb。小提示：由于mongodb从3.2版本开始将默认的存储引擎更改成了WiredTiger，我下载32位的3.2.1版本安装启动不成功，尝试过网上的一些解决方法依然失败，所以出于无奈换成了3.0.8版本。2.安装与

2016-01-27 11:13:36 888

原创 Python学习-安装与配置

一.Python开发环境搭建1.python下载与安装https://www.python.org/downloads/下载相应的python版本，下载完毕后进行安装，一直下一步即可不再赘述。2.搭建集成开发环境（1）为Eclipse安装插件pydev打开Eclipse-help-Eclipse Mraketplace，搜索pydev然后点击安装，eclipse会在线自动为

2016-01-24 17:48:43 712

转载网络爬虫源码

这是一个web搜索的基本程序，从命令行输入搜索条件（起始的URL、处理url的最大数、要搜索的字符串),它就会逐个对Internet上的URL进行实时搜索,查找并输出匹配搜索条件的页面。这个程序的原型来自《java编程艺术》，为了更好的分析，站长去掉了其中的GUI部分，并稍作修改以适用jdk1.5。以这个程序为基础，可以写出在互联网上搜索诸如图像、邮件、网页下载之类的“爬虫”。先

2015-08-17 21:26:43 586

转载 HTML5移动开发：手机屏幕分辨率和手机浏览器分辨率

在桌面电脑端，浏览器的分辨率与电脑屏幕的分辨率是一致的。而智能手机的屏幕分辨率往往和手机浏览器分辨率不同，因为手机的屏幕相对来说比较小，如果要显示高清画质，那么它的分辨率就要高。比如说，苹果iPhone4手机的屏幕分辨率是640*960，而其自带的Safari浏览器的分辨率却只有320*480。所以，我们在用HTML5+CSS3开发移动网站和移动应用时，就要注意了。假设，我们现在要针对

2015-08-17 17:20:32 3220

原创 windows利用ssh向ubuntu传文件

1.为Ubuntu安装ssh执行apt-get install openssh-server,安装ssh服务器。安装完毕后执行ps -e | grep sshd命令，查看安装是否成功。2.ubuntu关闭防火墙sudo ufw disable3.在windows上下载putty，连接Ubuntu查看是否能够成功。4.在windows上下载pscp.exe,打开dos命令窗口

2015-07-08 16:03:16 3560

转载 div代替iframe

$(document).ready(function() {$("#button").click(function() {$("#content").load("index.jsp");});});只要代码就是这么多，其中#button就是一个button的id，content就是你要插入html的div而且不能直接用$("#button").click(functio

2015-06-14 11:20:38 3360

转载 struts2文件下载的时候,处理中文文件名的问题

在文件下载的时候,一般是这么配置 attachment;filename="${filename}" downloadFile 但是,如果filename里有中文的话,就会造成获取到的名字为乱码.但是不报错..解决这个的方法是 public String download() { Text

2014-11-18 16:20:31 454

转载 struts2下载文件功能（边下载边打包）

多个文件，目录不同，通过条件查询如何进行打包下载呢？1.利用ZipEntry进i行文件的压缩2.前台jsp传入需要打包下载的一系列的文件的路径（数组类型）。因为是在checkBox中，表单提交会自动将其定义成数组。只需要将name名称命名成后台需要得到的路径数组名称比如前台downLoadZip.jsp--------checkBox处代码---------

2014-11-17 18:20:43 629

转载 uml开发过程转载自网易博客

UML&开发过程 UML学习学习UML的三个阶段，就是要解决三个问题：1. 如何使用UML画图？（How）2. 为什么要使用UML？（Why）3. 什么时候使用UML？（When）三个问题对应三个阶段（Stage）：Stage1：学习UML的基本语法，包括各种UML的大图适用情形。目标是能够看懂UML图，理解模型所表达的意思

2014-05-21 21:39:17 914

转载基于uml的需求分析与系统设计-转载于http://yunzhu.iteye.com

小序：从学生时代就接触到UML，几年的工作中也没少使用，各种图形的概念、图形的元素和属性，以及图形的画法都不能说不熟悉。但是怎样在实际中有效地使用UML使之发挥应有的作用，怎样捕捉用户心中的需求并转换成明确的UML图形，怎样把自己心中的设计意图通过UML图形准确地表达出来，以及各职责人员如何通过UML图形进行有效沟通，关于这些，却深感迷茫。最近有幸得到了一个台湾人赖信仁写的《UML团队开发

2014-05-06 14:56:36 1062

转载 uml-类图总结

什么是类？类是具有相同属性和方法的一组对象的抽象，是面向对象设计中的基本单位。比如老虎、鱼、鸟等这些动物都有生命，都需要进行新陈代谢，他们都有这些共同的属性和方法，所以“动物”就是一个类；如果再往下分比如鸟有燕子、喜鹊、啄木鸟等种类，但它们都有翅膀，它们都可以飞翔，所以说，“鸟”也是一个类。什么是类图？

2014-05-06 14:31:34 830

转载用例图总结

用例图主要用来描述“用户、需求、系统功能单元”之间的关系。它展示了一个外部用户能够观察到的系统功能模型图。　　【用途】：帮助开发团队以一种可视化的方式理解系统的功能需求。　　用例图所包含的元素如下：　　1. 参与者(Actor)　　表示与您的应用程序或系统进行交互的用户、组织或外部系统。用一个小人表示。　　2. 用例(Use Case) 　　用例就是外部可见的系统功能，

2014-05-06 14:11:18 2051

转载 jquery置顶div的方法-转载自http://www.jb51.net脚本之家

jquery代码 $(function () { var elm = $('#pordAttr'); var startPos = $(elm).offset().top; $.event.add(window, "scroll", function () { var p = $(window).scrollTop(); $(elm).css('position'

2014-03-24 16:30:30 1442

czliuming的博客