- 博客(55)
- 收藏
- 关注
RSS订阅原创 聚类算法
分类和聚类聚类：把相似的东西分成一组。常用算法K-means算法首先需要制定K值，即簇的个数，也即分成的堆数。质心，也即数据的均值，指向量各维求平均即可。距离的度量，常用欧几里得距离和余弦相似度计算。优化目标：优点简单、快速、适合常规数据缺点K值比较难指定，复杂度和样本呈线性关系，样本越多，计算时约复杂；很难发现任意形状的簇。 DBSCAN算...
2018-11-04 09:47:54
608
原创 集成算法
集成算法目的：让机器学习效果更好Bagging模型各个弱学习器之间没有依赖关系，可以并行拟合，如随机森林。随机森林其中随机就是数据采用随机，特征选择随机，其中森林就是很多决策树并行放在一起。由于二重随机性，使得每个树基本上都不会相同，所以最终的结果也不同。 Boosting模型个弱学习器之间有依赖关系，如Adaboost、Xgboost算法Adaboost会根据前一...
2018-11-02 14:26:30
289
原创 支持向量机
支持向量机1.超平面公式n 维空间中的超平面由下面的方程确定:其中，w 和 x 都是 n 维列向量，x 为平面上的点，w 为平面上的法向量，决定了超平面的方向，b 是一个实数，代表超平面到原点的距离。且 2.距离公式如果在二维空间中有直线Ax+By+C=0,(x0,y0)到该直线的距离为如果在三维空间中有直线Ax+By+Cz+D=0,(x0,y0,z...
2018-10-30 19:10:52
833
原创 贝叶斯分类算法
贝叶斯公式公式描述：公式中，事件Bi的概率为P(Bi)，事件Bi已发生条件下事件A的概率为P(A│Bi)，事件A发生条件下事件Bi的概率为P(Bi│A)。朴素贝叶斯算法朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。是一种贝叶斯分类算法中最简单、最常用的一种分类算法。分类算法的任务就是构造分类器。通过以上定理和“朴素”的假定，我们知道：P( Category ...
2018-10-07 18:48:13
6018
原创 决策树算法
决策树算法决策树本质上是通过一系列规则对数据进行分类的过程。如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。特征选择：通过一种衡量标准，来计算通过不同特征进行分支选择后的分类情况，找出来最好的那个当成根节点，以此l类推，而衡量的标准就是熵。计算公式熵值不确定性越大，得到的熵值也就越大。当p=0或...
2018-09-29 22:55:46
363
原创 机器学习中欠拟合和过拟合/上采样和下采样
过拟合和欠拟合机器学习模型在训练数据集上表现出的误差叫做训练误差，在任意一个测试数据样本上表现出的误差的期望值叫做泛化误差。 欠拟合under-fitting：机器学习模型无法得到较低训练误差。过拟合over-fitting：机器学习模型的训练误差远小于其在测试数据集上的误差。但是训练误差的降低不一定意味着泛化误差的降低。机器学习既需要降低训练误差，又需要降低泛化误差。图像表示...
2018-09-27 21:28:05
23356
3
原创 机器学习中模型评估方法
交叉验证什么是交叉验证(CV)交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。交叉验证的分类1.随机抽样验证(Hold-OutMeth...
2018-09-24 21:54:29
429
转载 机器学习项目实战 交易数据异常检测
https://blog.csdn.net/u010057965/article/details/80614278
2018-09-24 18:24:39
352
原创 K-近邻算法(KNN)
K-近邻算法介绍如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K-近邻算法是一种分类算法。K-近邻算法步骤k-近邻算法步骤如下：计算已知类别数据集中的点与当前点之间的距离； 按照距离递增次序排序； 选取与当前点距离最小的k个点； 确定前k个点所在类别的出现频率； 返回前k个点所出现频率最高的类别作为当前点的...
2018-09-18 13:47:33
241
原创 逻辑回归算法
逻辑回归介绍逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。 如给的一封邮件，判断是不是垃圾邮件。逻辑回归一般是提供样本和已知模型求回归参数。 逻辑回归算法模型以及模型推导将任意的输入映射到了[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到Sig...
2018-09-16 15:43:43
5399
1
原创 线性回归算法
线性回归什么是线性回归如果我们能够建立了回归背后的数学模型，我们便可以根据输入变量来预测输出量。这个数学模型就是回归方程，里面的系数就是回归系数。求解这些回归系数的过程就是回归。一元线性回归一元回归的主要任务是从两个相关变量中的一个变量去估计另一个变量，被估计的变量，称因变量，可设为Y；估计出的变量，称自变量，设为X。回归分析就是要找出一个数学模型Y=f(X)，使得从X估计Y可以用...
2018-09-09 22:08:38
2551
原创 常见的概率公式总结
1.古典概率般说来,如果在全部可能出现的基本事件范围内构成事件A的基本事件有a个,不构成事件A的事件有b个,则出现事件A的概率为:P(A)=a/(a+b)例子:同时掷两枚硬币，可能出现正正、反反、正反、反正四种可能的结果，每种可能出现概率1/42.条件概率公式描述：公式中P(AB)为事件AB的联合概率，P(A|B)为条件概率，表示在B条件下A的概率，P(B)为事件B的...
2018-09-08 23:58:46
69359
转载 数据分析时None和NaN区别
None vs NaN区别在pandas中， 如果其他的数据都是数值类型， pandas会把None自动替换成NaN, 甚至能将s[s.isnull()]= None,和s.replace(NaN, None)操作的效果无效化。 这时需要用where函数才能进行替换。None能够直接被导入数据库作为空值处理， 包含NaN的数据导入时会报错。numpy和pandas的很多函数能处理NaN，但是如果遇...
2018-07-14 12:12:11
8792
原创 Android逆向中的常用调试方法和使用代码总结
0x01 smail语言的调式方法a.动态分析法，利用log日志输入或者toast输出。利用Toast进行调试java代码Toast.makeText(this, "Toast text", 1).show(); smail代码const-string v0, "Toast text"const/4 v1, 0x1invoke-static {p0, v0, v
2017-01-11 23:03:57
3251
原创 ARM汇编中的常用指令总结
数据传送指令mov指令mov {cond}{s} ,Rd目标寄存器，operand 常数/可用寄存器例子 mov r0, #10 // r0 = 10;对应C语言形式 mov r0, r1 // r0 = r1 MVN指令按位取反指令MVN R0, #0 MVN R1,R2 算术指令add指
2016-12-24 23:41:01
1454
转载 HTTPS证书生成原理和部署细节
今天摸索了下 HTTPS 的证书生成，以及它在 Nginx 上的部署。由于博客托管在 github 上，没办法部署证书，先记录下，后续有需要方便快捷操作。本文的阐述不一定完善，但是可以让一个初学者了解大致的原理，同时跟着操作可以为自己的博客/网站部署一个 HTTPS 证书。网站部署 HTTPS 的重要性看看下面，部分电信用户访问京东首页的时候，会看到右下角有一个浮动广告
2016-12-20 14:14:13
748
转载 OpenSSL 的使用详解
OpenSSL 是一个开源项目，其组成主要包括一下三个组件：openssl：多用途的命令行工具libcrypto：加密算法库libssl：加密模块应用库，实现了ssl及tlsopenssl可以实现：秘钥证书管理、对称加密和非对称加密 。1、对称加密对称加密需要使用的标准命令为 enc ，用法如下：openssl enc -ci
2016-12-19 09:59:38
9801
原创 Android移动安全中的安全风险点总结对比
0x01 四大组件安全对四大组件进行对比，私有组件是采取的措施，均为设置exported属性为False，公有组件设置权限和更加详细的权限控制。0x02 WebView组件安全详细介绍了WebView中常见的风险类型，并根据风险类型触发漏洞的原因不同，采取相应的安全措施。0x03 意图使用安全根据隐式意图和Intent schem
2016-12-15 23:11:44
785
原创 WEB漏洞测试payload整理
常用web漏洞测试的payload整理，把写的一个类sqlmap的web安全漏洞测试工具的Payload整理下来，供大家测试时参考。[反射型xss][在html形成]"'>document.title="[random]";document.title="[random]";[在js形成]document.title="[random]";//;document.titl
2016-12-14 17:51:10
9423
转载 android中的系统权限详解
系统权限本文内容安全架构应用签署用户 ID 和文件访问使用权限正常权限和危险权限权限组定义和实施权限自定义权限建议...在 AndroidManifest.xml 中...发送广播时其他权限实施URI 权限关键类Manifest.permissionManifest.permission_group另请参阅使用
2016-12-14 17:39:05
513
原创 python中装饰器的使用和类装饰器在类中方法的使用
前面一遍讲述了装饰器的基本知识，正好最近有个系统需要进行权限控制，那么我们就实例分析下装饰器的使用。装饰器是一个面向切面编程，主要作用就是权限控制，插入日志，性能测试，事务处理，缓存等。对于重要的系统我们仅仅控制登录是不够的，对于固定人员使用到的系统我们还是要进行权限的细分。下面是bollte框架下的一个简单的例子。def www_auth(func): ''' 装
2016-12-07 10:26:15
13857
转载 安卓开发中的安全要点(安卓官方Security Tips)
安全要点PreviousNext本文内容存储数据使用权限使用网络执行输入验证处理用户数据使用 WebView使用加密使用进程间通信动态加载代码虚拟机中的安全性原生代码中的安全性另请参阅Android 安全性概览权限Android 操作系统内置了安全功能，可显著降低应用出现安全问题的频率及其造成的影响。系统经过精心设计，您在通常情况
2016-11-25 15:50:31
1018
原创 linux下抓取http数据包的两种方式
0x01 利用pcap包进行抓包利用pcap对http进行抓包，缺点是pypcap包要安装一系列的依赖包，安装比较麻烦。且pypcap包更新缓慢。#_*_coding=utf-8_*_import pcapimport dpktclass Capute(object): ''' 类的作用是抓取http请求 ''' def __init__(s
2016-11-17 10:36:05
8143
3
转载 详解Android逆向之Smali语法
数据类型Dalvik字节码只有两种格式：基本类型和引用类型。对象和数组属于引用类型语法含义Vvoid，只用于返回值类型ZbooleanBbyteSshortCcharIintJlong
2016-10-20 11:37:24
817
原创 Android中的加密解密安全
0x01不安全的加密hash函数常见的hash函数，像md5,sha1,sha256，它们都是不可逆加密函数。由于计算机运算能力的提高，md5和sha1函数现在都有比较成熟的破解方法，像彩虹表，字典库等，故建议使用安全的sha256函数对message字符串做哈希。sha256函数在java中的使用方法，参考链接如下。http://blog.csdn.net/joyous/arti
2016-10-14 15:46:25
2257
原创 Android中其他常见的安全问题
0x01.app备份风险2.log敏感信息泄露风险3.uri泄露用户敏感信息4.zip文件目录遍历漏洞5.KeyStore风险6.初始化IVParameterSpec函数出错7.PendigIntent误用风险8.Fragment注入漏洞9.android寄生兽漏洞
2016-10-14 15:34:12
2019
原创 Andriod中HTTPS安全使用
中间人攻击1.java中ssl/stl的使用https即http+ssl/stl组成的网络安全传输协议，目的是防止数据在传输的过程中产生信息泄露或篡改。https在正确使用的时候是可以防止中间人攻击的，当时由于开发者在开发过程中编码不正确导致https的错误使用，以至于攻击者可以获取或修改https传输的数据。Android https的开发过程中常见的
2016-09-28 16:50:16
884
原创 Android中的文件存储安全
APP在创建内部存储文件时，将文件设置了全局的可读或者可写的权限，攻击者可以恶意读取和修改文件的内容，造成信息泄露或者信息篡。函数的第二个参数，代表文件的操作模式。在设置模式时如果设置成可读或者可写模式可能会造成安全问题。第二个参数的模式 MODE_PRIVATE 私有 只有自身能够访问，重复写入时会文件覆盖 MODE_APPEND 私有 只有自身能够访问，重复写入时会
2016-09-14 17:53:38
1609
2
原创 Android中的Intent意图安全
什么是意图Intent（意图）主要是用于激活组件和解决Android应用的各项组件之间的通讯。意图有分为显式意图和隐式意图。意图的使用显式意图使用代码，贴出主要显示意图跳转的代码。public class MainActivity extends ActionBarActivity { @Override protected void onCrea
2016-08-30 10:45:18
4028
原创 Android中的WebView组件安全
WebView组件介绍和使用第一部分WebView组件远程代码执行漏洞第二部分WebView绕过证书校验漏洞第三部分WebView明文存储密码风险WebView组件系统隐藏接口漏洞WebView File域同源策略绕过WebView外部URl可控
2016-08-23 10:57:22
2891
原创 Android中的组件安全漏洞介绍和检测
首先我们介绍下我们常见的Android的activity组件，Activity是Android四大组件之一，它用于展示界面。Activity是一个应用程序组件，提供一个屏幕，用户可以用来交互为了完成某项任务。Activity中所有操作都与用户密切相关，是一个负责与用户交互的组件，可以通过setContentView(View)来显示指定控件。在一个android应用中，一个Activity通常
2016-08-22 10:44:02
11329
1
转载 python中的装饰器
作者：zhijun liu链接：http://www.zhihu.com/question/26930016/answer/99243411来源：知乎著作权归作者所有，转载请联系作者获得授权。装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处
2016-08-13 11:48:13
887
原创 详解Javaweb中常见漏洞的防御二
0x01 Token的使用可以有效防止csrf漏洞和http请求批量提交。esapi中token的使用过程a.在用户刚登录的时候，产生一个新的不可预知的CSRF Token，并且把此Token存放在用户的session中。b.在任何一个需要保护的表单中，增加一个隐藏的字段来存放这个Token；对于需要保护的URL，增加一个参数来存放此Token。c.提交此请求的时候，在
2016-07-29 15:13:43
3932
原创 某服务器安全事件分析过程分析和总结
0x01 攻击入口的查找首先我们分析可能遭到攻击的服务。根据服务器上面正在开启的服务，总结了如下服务可能遭受攻击。有开放的22端口ssh服务,开放80端口的http服务，以及开防3306端口mysql服务等。经过查看mysql日志，发现攻击时段并没有被攻击的日志，而且mysql数据库禁止外部ip进行连接的，所以我们排除了从mysql数据库攻击的行为。对http服务的日志进行查找，发现23日对h
2016-07-26 18:39:17
2326
原创 详解Javaweb中常见漏洞的防御
上一篇给大家介绍了SpringMVC中常见的客户端数据输入点，这一篇给大家讲解下java中常见漏洞的防御方法。0x01.sql注入下面我们就用利用SpringMVC自带的数据库操作类jdbcTemplate举例。不如下面Dao中有如下的两个函数。函数一save使用的是绑定变量的形式很好的防止了sql注入，而queryForInt_函数接收id参数直接进行了拼接，测试时出现sql
2016-07-20 15:29:48
5263
原创 代码审计之SpringMVC框架的安全攻防问题研究
SpringMVC中数据的接收下面我们先介绍SpringMVC中能从外部接收参数的几种方式。1.通过@RequestParam 注解指定客户端的参数代码如下：package com.pc.controller;'''导入的包...'''@Controllerpublic class PathController { @RequestMapping("/ac
2016-07-15 12:27:32
1839
原创 nginx安全日志分析脚本的编写
由于日志太多，没条日志都要进行分析逐条分析很难做到的，那么我们就利用shell脚本进行相应的分析，大大节约我们的时间。由于有了waf，进行更准确的拦截模式，所以我们这里不需要更加的精确，所以我们就大范围的搜索关键字。首先第一部分我们先搜索sql注入的攻击，搜索出的日志均为访问服务器成功的日志。sql注入攻击的关键字匹配组成，盲注关键字，报错注入常用关键字，延时注入关键字联合查询关键
2016-07-15 10:20:57
3653
1
转载 Python logging模块详解
简单将日志打印到屏幕：[python] view plain copyimport logging logging.debug('debug message') logging.info('info message') logging.warning('warning message') logging.error('erro
2016-07-01 11:21:47
412
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人