- 博客(29)
- 收藏
- 关注
RSS订阅原创 算法常用功能收藏夹
1.AUC可视化绘图工具GitHub - lanpa/tensorboardX: tensorboard for pytorch (and chainer, mxnet, numpy, ...)需要注意，cd到模型存储文件夹级路径下2.NN模型压缩框架TinyNeuralNetwork/tinynn at main · alibaba/TinyNeuralNetwork · GitHub3.python转C++MNN框架4.腾讯AI lab的Word2Vec词集5.各种各
2021-12-09 21:03:35
877
原创 我的sql逻辑坑汇总
1.任何xx<>'xxxx'等式，考虑补上or xx is null2.源数据生命周期不一致时：方案一：按照最远的那个表来方案二：两套代码拆分得到两套输出方案三：union all整合3.concat函数很蠢，遇空则空，改用bi:concat4.任何一套代码开发完成，回头检验条数和数据一致性。...
2018-12-17 15:09:10
244
1
原创 黑客学习顺序书单
1.白帽子讲web安全2.0day 安全：软件漏洞分析技术3.漏洞战争：软件漏洞分析精要4.Web安全深度剖析5.信息安全必读书单https://www.douban.com/doulist/3339701/安卓《Android Security Cookbook》、《Android 软件安全与逆向分析》
2017-07-12 16:36:21
3629
原创 HiveSQL常见问题总结
1.column repeated in creation: member_id在所有之前的select里，对应字段如果有名字一样的，必须加表名防混淆2.去重（完全重复的行）select distinct * from ( ）如果是要删除表中存在的重复记录，那就逻辑处理，如下：select Test from Table group by Test having cou
2017-06-01 11:08:45
2324
原创 JAVA重点备忘
7-1.private\protected\public可见性：本类\同包其他类或子类\其他包的类或其子类7-2.静态方法不能使用this及调用非静态方法;7-3 主方法main是静态方法且只有一个7-4 静态成员意味着不同的对象中的相同名字的静态成员指向同一个内存快，即不独立;7-5 ==比较内存地址，.equals()比较内容;7-6 垃圾：凡是超过作用范围
2017-04-14 21:20:03
271
转载 MapReduce任务参数调优
转载自JavaChen Blog，作者：JavaChen原文链接地址：http://blog.javachen.com/2014/06/24/tuning-in-mapreduce.html本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xmlhdfs-d
2017-04-12 21:01:13
318
原创 JAVA编译器报Syntax error on token ";", { expected after this token错
今天复习反射这一章的时候，依照书本敲代码如下public class Main_01 { visitConstructors example = new visitConstructors();//实例化类 Class exampleC = example.getClass();//得到Class对象 Constructor[] dC= exampleC.getD
2017-03-31 15:25:25
19342
3
转载 hadoop fs shell常用命令列表
调用文件系统(FS)Shell命令应使用 bin/Hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目
2017-03-30 16:20:23
691
原创 Streaming框架多输入时报Streaming Command Failed!错误解决
今天写sh脚本的时候居然Streaming Command Failed!原因找了半天，还好有之前正确的对比，原因如下：我定义了两个不同的输入input1,input2,然后在下面这部分hadoop jar $streaming_jar \-D mapreduce.job.queuename=root.default \ -input $input,$input2
2017-03-28 18:16:26
4825
原创 Spark读Hbase代码call()函数报错解决
报错原文：The method call(String) of type new VoidFunction(){} must override a superclass method源代码：JavaRDD cars = myRDD.flatMap(new FlatMapFunction, String>(){ private static final long ser
2017-03-22 21:11:11
1014
原创 hadoop 打印configeration信息到控制台
conf声明后：for (Entry entry: conf) {//Entry 是一个pair类 用getkey（） getvalue（）方法获取键值对 System.out.printf("%s=%s\n", entry.getKey(), entry.getValue()); }这里的entry需要导入import java
2017-03-11 16:02:39
398
原创 hbase获取所有版本（时间戳）的数据
首先，每一个cell里，可能包含多个时间戳的数据，系统默认显示在时间范围内最新的那个。在hbase里建立一个测试库，根据网上的资料，实验如下，首先我们要修改库的version,默认是1，当默认的情况下，是不会保留以前时间戳的数据的。hbase shellput 'lyx_test','wanglei','info:age','100'put 'lyx_test','wa
2017-02-22 16:23:59
19929
原创 hbase-map(ImmutableBytesWritable key,Result value,Context context)数据解析
代码如下：public static class CountMapper extends TableMapper { public void map(ImmutableBytesWritable key,Result value,Context context){ byte[] b=key.get(); S
2017-02-17 15:38:53
2896
2
原创 hbase报错解决
1.报错内容Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader@daac15bjava.lang.NullPointerException+java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client
2017-02-17 12:37:22
2002
原创 maven编译报错解决
在项目工作目录的带pom。xml的路径下，运行mvn package1.Description Resource Path Location TypeMissing artifact org.apache.hadoop:hbase-client:jar:0.98.24-hadoop2 pom.xml /example line 50 Ma
2017-02-14 10:45:34
346
原创 hbase配置问题解决
按照这篇文章配置http://www.aboutyun.com/thread-12057-1-1.html两个问题：1.stopping hbasecat: /tmp/hbase-hadoop-master.pid: 没有那个文件或目录方法1由于系统删了临时文件：在/usr/hbase-0.98.24-hadoop2里新建pids文件夹修改/usr/hbase-0.98.24-hado
2017-02-13 10:57:41
3856
原创 OpenCV问题汇总
1.Mat类不识别：Mat类型对应的头文件是"highgui.h"，在编译的时候仅仅加上#include "highgui.h" 这句话是不行的，得告诉系统你的作用域是什么，两种办法：1、在程序的最开始加上： using namespace cv;2、把Mat改为 cv::Mat2.imshow显示灰屏增加waitKey(0);
2016-12-28 21:12:54
2286
原创 pandas常用功能整理
1.读写读指定格式txt：train = pd.read_table('/home/hadoop/jzzz/train/subsidy_train.txt',sep=',',header=-1) #助学金train.columns = ['id','money']读写csv：college.to_csv('/home/hadoop/jzzz/input/college1.csv
2016-12-22 15:53:42
591
原创 pydev安装
用eclipse安装，适应eclipse3.8+java7版本的是pydev4.5.5https://dl.bintray.com/fabioz/pydev/4.5.5/
2016-12-14 16:53:59
204
原创 anaconda安装报错解决
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 13: ord。。。。这个问题是因为我的安装路径里含中文“桌面”二字。。。
2016-12-14 16:10:34
1293
原创 锁->ReetranLock学习笔记
1. ReentrantLock 类实现了 Lock ，它拥有与 synchronized 相同的并发性和内存语义，但是添加了时间锁等候、可中断锁等候、无块结构锁、多个条件变量、锁投票等一些特性。此外，它还提供了在激烈争用情况下更佳的性能。2.有一个与锁相关的获取计数器，如果拥有锁的某个线程再次得到锁，那么获取计数器就加1，然后锁需要被释放两次才能获得真正释放3. Lock 和 syn
2016-11-23 13:19:48
1072
原创 hadoop编译找不到类解决方法
Mahout算法解析与案例实战P32页的代码编译运行报错，提示找不到类：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/mahout/common/AbstractJobat java.lang.ClassLoader.defineClass1(Native Method) at java
2016-11-18 17:18:20
3904
2
原创 m2eclipse安装
网上说的方法全是扯淡，照着来全有版本问题;So，找到eclipse对应版本号，如3.8对应juno,则在help-> install new software->add->http://download.eclipse.org/releases/juno其他版本则修改网址最后的如juno->indigo在下拉列表中依次搜索安装SVN、GEF、m2e即可
2016-11-15 22:18:58
182
原创 hadoop下编译运行mahout示例的问题解决方案
对于命令行：$HADOOP_HOME/bin/hadoop jar $MAHOUT_HOME/mahout-examples-0.12.2-job.jar org.apache.mahout.clustering.syntheticcontrol.cannopy.Jobprob1：Retring connect to server:0.0.0.0/0.0.0.0:8030.Already tr
2016-11-15 20:59:41
541
原创 Maven环境配置
根据mahout算法解析与案例实战这本书，maven的环境配置p21第4行的代码是有误的正确配置应该是这样：sudo vim ~/.bashrc按f12进插入以下代码从第一行开始写：JAVAHOME=/usr/lib/jvm/jdk1.7.0_79/M2=/home/hadoop/mahout/apache-maven-3.3.9/PATH=$JAVA_HOME/bin:$
2016-11-14 16:52:20
201
原创 代码备查
第六课http://open.163.com/movie/2010/12/J/J/M6UTT5U0I_M756SE0JJ.html随机化快排import java.util.Random;import java.util.stream.IntStream;public class randomSelect { public static int randoms
2016-10-27 11:06:01
224
转载 机器学习精品博客备查
支持向量机通俗导论（理解SVM的三层境界）：http://blog.csdn.net/v_july_v/article/details/7624837
2016-10-20 17:20:27
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人