约瑟夫的杂货店-CSDN博客

原创 PyChram+anaconda配置Mysql环境

本博客解决在配置好PyChram+anaconda环境后，且在anaconda中安装了mysql-python，但在PyChram中仍然无法使用的问题。首先保证anaconda中成功安装mysqlPyChram所用python为anaconda的python在PyChram中进行如下配置在PyChram中进行如下配置我这里的截图是已经配置好的，如果未配置好，则mysql会被标出...

2018-10-13 10:13:37 919

原创《Hadoop权威指南》笔记－关于MapReduce

本笔记主要总结记录2.4节横向扩展。本小结简单介绍了Hadoop中MapReduce的执行流程，即对数据流的处理过程，和多map对应多reduce的情况。数据流Mapduce主要分成一下五步： 1. MapReeduce作业（job）：客户端需要执行的一个工作单元，包括输入数据、MapReduce程序和配置信息。其主要分为两大类任务：map任务和reduce任务，这些任务运行在集...

2018-05-23 17:11:29 348

原创 Linux的有效用户和实际用户及安全问题

主要参考： Linux进程的实际用户ID和有效用户ID 实际用户和有效用户无死角理解保存设置用户ID，设置用户ID位，有效用户ID，实际用户ID一. 概念在Unix进程中涉及多个用户ID和用户组ID，包括如下：实际用户ID和实际用户组ID：标识我是谁。也就是登录用户的uid和gid，比如我的Linux以simon登录，在Linux运行的所有的命令的实际用户ID...

2018-02-26 13:26:15 864

转载工厂（Factory）模式

转载自 http://blog.csdn.net/eson_15/article/details/512231241.工厂模式的定义工厂模式使用的频率非常高，我们在开发中总能见到它们的身影。其定义为：Define an interface for creating an object, but let subclasses decide which class to instantia...

2018-02-22 12:21:13 251

转载 C/C++之回调函数

转自： C/C++之回调函数 - 淡水求咸 - 博客园今天讨论下C/C++中的回调函数。在理解“回调函数”之前，首先讨论下函数指针的概念。函数指针（1）概念：指针是一个变量，是用来指向内存地址的。一个程序运行时，所有和运行相关的物件都是需要加载到内存中，这就决定了程序运行时的任何物件都可以用指针来指向它。函数是存放在内存代码区域内的，它们同样有地址，因此同样可以用指针来存取函数，把这种指向函数

2017-12-27 14:19:10 239

原创 apache hive + sentry测试

环境： 1. ubuntu 16.04STL 2. hadoop-2.6.0-cdh5.13.0 3. hive-1.1.0-cdh5.13.0 4. sentry-1.5.1-cdh5.13.0 —————————————————————————————— 各版本下载地址：（http://archive-primary.cloudera.com...

2017-11-25 11:49:31 1901 1

原创关于hadoop，hive，sentry版本问题

最初因为懒得找资源直接在apache官网上下载hadoop，hive，sentry，结果因为各个版本之间的兼容问题导致互相集成出现各种这样那样的错误。现在已经改为cloudera下的各个软件，版本控制清楚，不会因为版本问题导致各种不必要的错误。。。血的教训！！更多关于apache和cloudera之间的区别请移步Cloudera的CDH和Apache的Hadoop的区别。

2017-11-03 15:53:12 677

1 什么是量子一个物理量如果存在最小的不可分割的基本单位，则这个物理量是量子化的，并把最小单位称为量子。量子英文名称量子一词来自拉丁语quantus，意为“有多少”，代表“相当数量的某物质”。在物理学中常用到量子的概念，指一个不可分割的基本个体。例如，“光的量子”（光子）是一定频率的光的基本能量单位。而延伸出的量子力学、量子光学等成为不同的专业研究领域。其基本概念为所有的有形性质是“可量子化的”。“

2017-10-31 09:53:59 8857

转载 Maven详解

转载自：Maven详解一.前言以前做过的项目中，没有真正的使用过Maven，只知道其名声很大，其作用是用来管理jar 包的。最近一段时间在项目过程中使用Maven，用Maven构建的web项目，其项目结构只停留在了解阶段，没有深入的使用与理解，刚好最近看了一篇关于Maven的详解；就开始深入学习一下Maven的具体应用。二.Maven的作用在开发中，为了保证编译通过，我们会到处去寻找jar包，当编译

2017-10-27 10:10:01 287

翻译 Sentry简单的shell命令

概述简单的shell命令是Sentry用于管理元数据的命令行工具，比如：bin/sentryShell --grant_role_privilege --role analyst --privilege server=server1->db=db2->table=tab1->action=select --conf sentry-site.xmlShell命令目前仅限于Hive授权元数据，支持一下命

2017-10-26 17:46:51 1380 1

转载为什么Cloudera要创建Hadoop安全组件Sentry？

要说清楚这个问题，还得从大数据平台安全体系的四个层次说起：外围安全、数据安全、访问安全以及访问行为监控；

2017-10-26 09:34:12 756

转载 Apache Sentry架构介绍

转载自JavaChen Blog，作者：JavaChen本文链接地址：http://blog.javachen.com/2015/04/29/apache-sentry-architecture.html 参考文献：开源大数据治理与安全软件综述介绍Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度...

2017-10-25 20:38:02 778

原创基于角色的访问控制

RBAC概述基于角色的访问控制（Role-Based Access Control， RBAC ）的核心思想就是将访问权限与角色相联系，通过给用户分配合适的角色，让用户与访问权限相联系。角色是权限的集合，对于一个系统中可以有多个角色，每个角色对不同的资源有不同的权限，当用户访问资源时，首先系统识别用户的角色，然后决定该用户是否具有访问该资源的权限。角色是一种抽象的概念，将用户权限从每个单一用户抽

2017-10-25 16:04:45 2039

原创 apache sentry安装

环境Ubuntu STL 16.0.4Hadoop 2.7.4Hive 2.1.1sentry 1.7.0maven 3.5.0//注：伪分布式环境安装maven1.apache maven官网下载maven，用于编译sentry源码。 2.修改～／.bashrc文件，添加maven路径。export MAVEN_HOME=/etc/usr/local/maven export

2017-10-19 20:50:56 1131

原创 ubuntu16.04配置hive2.1.1详解及相关问题解决

主要参考博客Ubuntu系统下安装并配置hive-2.1.0mysql安装配置安装mysql服务 ‘sudo apt-get install mysql-server mysql-client’ 启动mysql服务 ‘sudo service mysql start’ 注释：重启mysql服务： ‘service mysql restart’ 停止mysql服务： ‘serv

2017-10-06 23:27:52 1391

转载 Cloudera的CDH和Apache的Hadoop的区别

目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本，

2017-10-04 18:20:17 640

原创第一个Hadoop程序WordCount

参考博客：ubuntu安装hadoop详细步骤环境： ubuntu16.04LTS＋Hadoop2.7.4 配置可参考ubuntu16.04 Hadoop安装本地新建一个文件，笔者在~/Documents目录下新建了一个wordCount.txt文档，里面的内容可以随便填写。 I have an apple I have a pen emmmmm applep

2017-10-02 22:36:14 370 1

原创 ubuntu16.04 Hadoop安装

主要参考：在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1（伪分布式）配置ssh免密码登录安装ssh server：sudo apt-get install openssh-servercd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhostssh-keygen -t rsa

2017-10-02 21:55:09 5357

原创 RSA加密算法简介

背景RSA加密算法是公钥密码最著名的算法之一，是由MIT三位（Ron Rivest, Adi Shamir, Len Adleman）提出的，也就以三位的名字首字母命名。该算法的理论基础是“大数分解和素数检测“，如果说有一天，大数分解和素数检测的数学理论被证明可以简单解决，那么RSA算法的加密将没有任何意义。有提出说量子计算机的出现可以大大提高RSA的破解效率。下面我们将简单学习RSA加密算法的

2017-09-19 12:39:02 1923

原创公钥密码的基本原理

公钥密码：基于数学函数而非基于代替和置换；公钥密码使用两个独立的密钥。公钥密码术语：非对称密钥：公钥和私钥，用来加密和解密，或用来生成签名或验证签名；公钥证书：是有签证机构用自己的私钥签名的数字文件；公钥密码算法：从公钥推私钥是不可行的；公钥基础设施（PKI）：用于管理证书，公私钥对，并负责产生，维护和废除公钥证书的集合。公钥密码学解决了传统密码学中最困难的两个问题：1）密钥分配问题；2）

2017-09-11 11:05:59 8665 5

原创公钥密码之素数，费马定理与欧拉定理

素数素数是我们中学就知道的知识，关于概念就不再赘述，我们来给出形式化的定义：任意整数a > 1都可以唯一的因子分解为多个素数的积，设P为所有素数的集合，则对任意正整数a可唯一表示为：，其中每一个特性：若，定义k＝ab，我们知道：，则可以推出有费马定理描述如下：若p是素数，a是正整数且不能被p整除，则另一种表示方式：若p为素数且a为任意正整数，则证明：

2017-09-08 22:05:26 1514

原创对称密码之分组密码的工作模式

介绍了几种常见的加密模式：电码本，密文分组链接模式，密文反馈模式，输出反馈模式，计数器模式。

2017-09-07 23:37:15 1112

原创量子通信 VS. 信息安全探讨

今天在某群里看到一段关于量子通信与密码学之间的关系，觉得很有意思，总结如下：－量子通信只能用于密钥协商阶段，不能用于加密数据。－理论上，对现行对称加密算法不会造成冲击，基于数论的非对称加密，一个重要应用是数字签名，这个量子通信也没办法替代。－我是说量子通信的发展可能会使加密变得没有必要。数据的安全传输需要： 1. 一种加密算法，用于保证数据的保密性 2. 产生这种

2017-09-05 22:24:13 666

原创对称密码之分组密码的多重加密

分组密码的工作模式之多重加密与三重DES算法DES在穷举攻击下相对脆弱，使用DES进行多次加密且使用多个密钥的方式是能够保护已有软硬件的投资的较好方式。本文从简单的双重密钥开始，直到最广泛应用的三重DES（3DES）算法。双重DES 给定明文P及密钥K1，K2，密文C的生成如下： C = E( K2, E( K1, P ) )解密时逆序使用这两个密钥： P = E( K1, E(

2017-08-31 15:10:17 1166

原创对称密码之整除与欧几里得算法

数论简介该部分简单介绍数论基础，包括整除性，欧几里得（Euclid）算法和模算术。1.整除性和除法1.1 整除性设a，b，m是整数，若a＝mb，我们说非零整数b整除a，用b｜a表示。 a是被除数，b是除数。 //摘自《密码编码学与网络安全》我还以为整除性是什么高深的东西，其实就是小学里的整除而已，除完没余数。性质： a) 如果a｜1，则a ＝ 1/－1； b) 如果a｜b且b

2017-08-17 16:18:43 527

原创对称密码之分组密码与数据加密标准

传统加密技术略分组密码和数据加密标准数据加密标准（Data Encryption Standard，DES）：是使用最广泛的对称密码，尽管注定要被高级加密标准（Advanced Encryption Standard，AES）取代，但仍为极其重要的算法。我们先讨论对称分组密码原理，然后介绍DES。分组密码原理事实上，现在使用的大多数对称分组加密算法基于Feistel 分组密码结构。

2017-08-16 17:06:00 2039

原创网络安全之概述

一. OSI安全框架OSI安全框架主要关注安全攻击，安全机制，安全服务。-安全攻击威胁信息系统安全的行为，分为主动攻击和被动攻击。主动攻击：对数据流进行修改或者伪造数据流，可分为四类，伪装，重播，消息修改和拒绝服务。特点是难于预防，易于检测。拒绝服务：阻止或者禁止对通信设施的正常使用和管理。被动攻击：对传输进行窃听和监测，主要有信息内容泄漏和流量分析两种方式，目标是获取传输的消息。与主动

2017-08-16 15:25:12 412 1

转载 SIFT原理

转载请注明出处：http://blog.csdn.NET/luoshixian099/article/details/47377611相关： KD树+BBF算法解析 SURF原理与源码解析 SIFT的原理已经有很多大牛的博客上做了解析，本文重点将以Rob Hess等人用C实现的代码做解析，结合代码SIFT原理会更容易理解。一些难理解点

2017-07-07 15:19:51 1292

转载 KD树详解及KD树最近邻算法

转载自：http://blog.csdn.net/app_12062011/article/details/51986805之前blog内曾经介绍过SIFT特征匹配算法，特征点匹配和数据库查、图像检索本质上是同一个问题，都可以归结为一个通过距离函数在高维矢量之间进行相似性检索的问题，如何快速而准确地找到查询点的近邻，不少人提出了很多高维空间索引结构和近似查询的算法。

2017-07-07 15:17:19 934

原创 KD tree算法（2）－最近邻搜索KD tree

书接上文，我们这一张来讨论KD Tree的最近邻搜索。首先来看一下《统计学习方法》书中给出的算法描述：我们用网上很常见的例子进行分析：（7，2），（5，4），（9，6），（2，3），（4，7），（8，1）待测节点：（2，4.5）我们先不管在坐标上是怎么划分的，先看看在KD Tree上是如何遍历的。我们先来进行分析：（1）在kd树中找出包含目标点x的叶节点。这一步比较简

2017-07-07 11:23:38 1618

转载 K-D Tree详解

转载自：http://blog.csdn.net/zhjchengfeng5/article/details/7855241首先来一个问题：给定平面上一个点集 E ，还有一个定点 V ，怎么在一群点中找出一个点 U，使得 V 与 U 的距离最近（欧几里得距离）？当然，我们能够想到一种做法：枚举 E 中所有的点，找出它们中距离V 最近的点 U。但是，假设现

2017-07-07 08:35:32 698

原创 KD tree算法（1）－简介&构建KD tree

KD tree算法是KNN（K-nearest neighbor）实现的重要算法之一，下面我们先简单介绍一些KNN的知识，然后开始我们KD tree的讲解。KNN分类算法KNN是一种简单的分类方法：分类时，对新的实例，根据k个最近邻的训练实例的类别，通过多数表决等方式进行预测。以上是《统计学习方法》中对KNN的解释，简单明了。那么问题就在于如何快速有效找到K个近邻就是该算法的关键了。关于KN

2017-07-06 18:15:40 1695

转载 CSDN-markdown编辑器

为了避免忘记怎么用，先保存一下子本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl +

2017-07-06 16:43:00 316

原创统计学习方法之逻辑回归(Logistic Regression)

逻辑回归之所以叫逻辑是因为他用到了逻辑分布: 图形如下：还是按照老样子，根据李航老师的统计学习方法三部分进行学习。 1 模型假设输入为任意范围内的属性值，输出为0－1之间的概率。给定一个阈值，当概率大于该阈值时，Y ＝ 1，否则Y＝ 0。（在等于阈值部分随意设定，毕竟一点之差不算差）利用逻辑分布表示之： w*

2017-06-26 18:44:26 2522

原创统计学习方法之感知机(Perception Mechine)

感知机（Perceptron）是一种简单的分类算法，只能用于数据集线性可分的情况。线性可分的意思是在欧几里得空间内，存在一个超平面可以将数据集分成两部分。在这里我刚好看了一眼逻辑回归（Logistic Regression）（PS：李航老师叫他逻辑斯提，其实是一个意思），都是分类方法，有什么区别呢？我发邮件问了徐悦甡老师，但是还没理我。我觉得区别就是： 1）感知机的要求比较高，必须是数据集线

2017-06-25 11:02:14 963 1

约瑟夫的杂货店