CLAY&Loser-CSDN博客

原创 ROC曲线及AUC计算

让我们从头说起，首先AUC是一种用来度量分类模型好坏的一个标准。这样的标准其实有很多，例如：大约10年前在machine learning文献中一统天下的标准：分类精度；在信息检索(IR)领域中常用的recall和precision，等等。其实，度量反应了人们对” 好”的分类结果的追求，同一时期的不同的度量反映了人们对什么是”好”这个最根本问题的不同认识，而不同时期流行的度量则反映了人们认识事物的

2017-06-16 19:08:08 543

原创准确率与召回率（Precision & Recall）、F-score

准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索出来了。正确率、召回率和

2017-06-15 19:58:15 1097

原创 Hive 查询优化总结

一、join优化Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个ma

2016-05-29 20:15:35 306 1

原创 JSON for java入门总结

一、JSON介绍JSON（JavaScript Object Notation），类似于XML，是一种数据交换格式，比如JAVA产生了一个数据想要给JavaScript，则除了利用XML外，还可以利用JSON;JSON相比XML的优势是表达起来很简单；官网：http://www.json.org/JSON是AJAX中的X（就是可以取代XML）;

2016-05-29 20:11:59 279

原创 hbase安装过程详解

1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了，之前的博文有详细的安装教程）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_65//告诉hba

2016-04-17 19:18:51 421

原创 hive安装与mysql对接

Hive只在一个节点上安装即可必须有hadoop的支持1.上传tar包2.解压tar -zxvf hive-0.9.0.tar.gz3.配置mysql metastore（切换到root用户）配置HIVE_HOME环境变量rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps

2016-04-13 17:16:49 1629

原创 hadoop2.4以后版本的HA高可用模式配置详解

1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等集群规划：主机名 IP安装的软件运行的进程weekend01 192.168.1.201 jdk、hadoopNameNode、DFSZKFailoverController(zkfc)weekend02 19

2016-04-13 17:13:45 1620 1

原创 java使用数组实现循环队列

package com.Alg;import java.io.Serializable;import java.util.Arrays;/** * @ClassName: LoopQueue * @Description: 循环队列 * @date 2014年1月20日下午3:47:14 */public class Round_RobinQueue implements S

2016-04-07 16:23:54 709

原创 java使用数组实现链式队列

package com.Alg;import java.io.Serializable;/** * @ClassName: LinkQueue * @Description: 链式队列 * @date 2014年1月21日下午3:24:38 * @param */public class LinkedQueue implements Serializable { /**

2016-04-07 16:20:00 519

原创 java使用数组实现顺序队列

java使用数组实现顺序队列

2016-04-07 15:38:42 517

原创 mysql数据库权限

mysql表用户的权限控制进入mysql的控制命令行（root权限下，推荐命令大写）新增用户mysql>insert into mysql.user(Host,User,Password) values(“localhost”,”username”,password(“123456”)); mysql>flush privileges;修改用户密码mysql>update mysql.user

2016-04-06 19:57:14 258

原创 linux&shell

Linux常用命令登录时显示信息放在/etc/motd和/etc/profile.d/xxx.sh motd放置字符串profile.d下放置脚本文件echoecho -e 处理特殊字符，若字符串中出现以下字符，则特别加以处理，而不会将它当成一般文字输出： \a 发出警告声；\b 删除前一个字符；\c 最后不加上换行符号；\f 换行但光标仍旧停留在原来的位置；\n 换行且光标移至行

2016-04-05 09:11:41 1428

原创 storm单机伪分布详细

storm单机伪分布详细

2016-04-05 08:57:37 1515 2

CLAY&Loser的博客