- 博客(209)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Hive1.2.1<常用操作示例>
版本：apache-hive-1.2.1 使用到的数据：链接：http://pan.baidu.com/s/1c2xmk1M 密码：uucs1. train 01.创建10min数据托管表。create table TenminData_tg ( `DATASOURCE` string ,`FAN_NO` string ,`DATA_DATE` string,`FAN_STATUS`
2017-07-01 21:39:09
1216
原创 Python<H2o使用分布式随机森林建模分类>
1.安装H2ocmd:输入pip install h2o2.启动pythonimport h2oh2o.init()启动成功之后可以在浏览器中输入：localhost:54321 3.数据准备使用到的数据在我的github 3.建模a.读入数据 b.解析文件 c.查看Job d.创建模型 e.选择随机森林 f.选择特征，响应列，其他参数按需调整 g.参数填好之后，建模h.
2017-07-01 13:34:03
3759
2
原创 Spark2.1.1<SparkSQL中常用四大连接>
环境：Spark 2.1.1 准备工作persons.csv: +----+--------+---------+--------------+--------+ |Id_P|LastName|FirstName| Address| City| +----+--------+---------+--------------+------
2017-06-30 18:42:33
2574
原创 JVM<汇总一个JVM进程中的线程的状态>
1. 首先通过Jps命令查看所有的JVM进程[root@master ~]# jps23089 HMaster2357 Worker2535 NameNode2999 ResourceManager49879 Kafka22938 QuorumPeerMain2811 SecondaryNameNode23227 HRegionServer2269 Master2637 Data
2017-06-23 18:54:10
1434
原创 JVM<对象的四种引用>
无论是通过引用计数算法判断对象的引用数量，还是通过可达性分析算法判断对象的引 用链是否可达，判定对象是否存活都与“引用”有关。 在JDK 1.2以前，Java中的引用的定义很 传统：如果reference类型的数据中存储的数值代表的是另外一块内存的起始地址，就称这块 内存代表着一个引用。 这种定义很纯粹，但是太过狭隘，一个对象在这种定义下只有被引用 或者没有被引用两种状态，对于如何描述一些“
2017-06-23 16:20:24
913
原创 Spark2.1.1<spark写入Hbase的三种方法性能对比>
测试条件以下是我的PC信息 依赖：<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.1.1</version> </dependency>
2017-06-21 11:21:19
12733
原创 Spark2.1.1<通俗易懂理解combineByKey-combineByKeyWithClassTag>
combineByKey是Spark中一个比较核心的高级函数， groupByKey,reduceByKey的底层都是使用combineByKey实现的，这是我要弄清楚它的原因1.6.0版的函数名更新为combineByKeyWithClassTagcombineByKey会调用combineByKeyWithClassTag，源码 def combineByKey[C]( creat
2017-06-16 18:26:06
1842
2
原创 Hadoop2.8.0<Mapreduce模型+shuffle过程>
1.Mapreduce模型 map阶段有一定量的maptask组成，其实就是多线程在处理我们的任务，多个task分布在物理上的多台机器上执行，reduce阶段是由一定数量的reduceTask组成的map阶段：输入数据格式的解析：inputformat输入数据的处理：mapper数组分组：partitionerreduce阶段从map阶段的输出结果做一个数据拷贝，把对应的数据拷贝大red
2017-06-16 11:14:30
804
原创 「LEETCODE-15」三数之和
题目简介：解题思路：a+b+c=0,无非有一下几种情况：1⃣️a,b,c三个数字有两个是相同的，相同的数字在数组中出现的次数必须大于1；2⃣️a为负数，b为正数数，c小于a或者c大于b;3⃣️c=0.(除此之外，之所以不考虑：负数<c<正数是因为恰恰这么做可以去除“重复的三元组”，比如[-3,-2,5],[-2,-3,5])代码：def threeSum(self, n...
2019-04-05 22:29:46
429
原创 「LEETCODE-1」两数之和
题目简介：解决思路：可借助“互补”概念来解决，遍历数组，当前元素如果不在词典镜像词典内，则将target-num 以及num对应的下标存入镜像中；如果在镜像中，则将当前下标与镜像中与当前数字“互补”的数字的下标返回。代码：class Solution: def twoSum(self, nums: List[int], target: int) -> List[int]:...
2019-04-05 19:47:23
428
原创 R<match.call(expand.dots=FALSE)详解>
在R语言很多源码中会看到match.call(expand.dots=FALSE)的代码，刚开始还是看不懂这是什么意思。查一下API：https://www.rdocumentation.org/packages/base/versions/3.5.1/topics/match.call简单看，这个函数会在一般都是写在另外一个函数里边。其会返回其宿主函数体的入参的匹配关系。具体看下面的代码：...
2018-11-14 22:47:24
2703
2
原创 IDEA【搭建Maven开发环境】
Jetbrain的IDEA工具是集成了Maven的，但是经过试验我发现在学校使用校园网是不需要做任何操作就可以将maven的依赖项目下载下来。但是，非校园网就没有这么顺利了。此博客将记录搭建IDEA中的Maven环境。初始环境下的IDEA的Maven设置是Bundled(Maven3)：将候选项目下拉然后选择IDEA默认插件位置中的maven： 进入到相应位置打开settings.x...
2018-07-14 17:17:35
3308
原创 ubuntu18.04[阿里云源]
deb http://us.archive.ubuntu.com/ubuntu/ bionic main restricteddeb http://us.archive.ubuntu.com/ubuntu/ bionic-updates main restricteddeb http://us.archive.ubuntu.com/ubuntu/ bionic universedeb htt...
2018-04-28 15:44:57
3016
原创 Pytorch[GPU版Pytorch(caffe2)安装教程]
caffe2和pytorch是FaceBook的两大开源深度学习框架，caffe2于2018年04月并入了pytorch:所以效果要安装拥有最新特性的caffe2,就直接安装pytorch吧。 硬件配置：软件配置：CUDA8.0+cudnn6.0gcc 5.4.1 g++5.4.1cmake 3.5.11.安装依赖：sudo apt-get updatesu...
2018-04-24 17:57:54
8953
12
原创 Tensorflow-GPU[解决Tensorflow：ImportError：libcusolver.so.9.0]
由于重重原因我把机子的环境中CUDA9.0+CUDNN7.0.5+tensorflow-GPU1.6的变成了：CUDA8.0+cudnn6.0+tensorflow-gpu1.6 之后在引入了：import tensorflow的时候就抛出异常：Tensorflow：ImportError：libcusolver.so.9.0刚开始还很纳闷，还以为是CUDA没有卸载干净，又重...
2018-04-24 16:46:33
2028
原创 python[对多维数组排序]
有四个点，每一个点有x,y坐标，如何根据x坐标或者y坐标进行排序？以下是解决办法:if __name__ == '__main__': alist = [[0, 10], [5, 6], [2, 7], [3, 8], [1, 12]] alist.sort() print('按照X排序:{}'.format(alist)) alist.sort(key=lambd
2018-04-10 15:45:09
1918
原创 Opencv[cv2.findContours解决image data type = 0 is not supported]
在找二值图片的轮廓，给cv2.findContours函数传递二值图片的时候，抛出一下异常：(_, cnts, _) = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)TypeError: image data type = 0 is not supported于是将例子简化，得到一下例子，运行正常...
2018-04-09 14:31:02
12553
7
原创 Opencv<python版本在图片中插入中文>
当前Opencv使用puttext()函数显示文字的时候，插入中文会有问题，至于什么问题，我不赘述。以下我实现的效果：以下是实现代码：import cv2import numpyfrom PIL import Image, ImageDraw, ImageFontdef text_to_Image(text, image, position, font_size, font_color):
2018-03-28 22:38:48
903
原创 Ubuntu16.04《解压7z.001文件》
在网上下了一个数据集，解压开来如下： Google一波之后发现这是7z文件，使用7zr解压一下就好了：sudo apt-get install p7zip-full然后在当前路径输入：7zr e +.7z.001结尾的文件名即可解压...
2018-03-14 16:27:26
5906
原创 ubuntu16.04<源码编译安装OpenCV3.4.0>
网上对Opencv的安装教程一大片，不过我发现能真正安装起来的几乎没有，于是乎在不断探索之后，自己写一个吧，一下就是我从源码编译和安装的结果，先来看一下啊： 特别说明:此教程会同时在Ubuntu16.04默认安装的Python2.7和python3.5配置好Opencv3.4.0大道至简，Start my show:1.更新系统sudo apt-get -y updates
2018-01-27 11:35:10
5213
2
原创 ubuntu16.04<The system is running in low-graphics mode终极解决办法>
大道至简，这个问题有很多人有很多解决办法，以下是我的简单但是很有用的解决办法：sudo apt updatesudo apt upgrade
2018-01-27 10:40:43
7123
2
原创 Ubuntu16.04<从源码编译opencv3.4.0遇到的坑>
在buildopencv3.4.0的时候执行make 的时候执行到百分之九十九，突然抛出以下错误：Please submit a full bug report,with preprocessed source if appropriate.See file:///usr/share/doc/gcc-5/README.Bugs> for instructions.modules/py
2018-01-27 09:20:03
1619
1
原创 Docker<删除所有的container和Image>
#!/bin/bash# Delete all containersdocker rm $(docker ps -a -q)# Delete all imagesdocker rmi $(docker images -q)
2018-01-18 15:57:53
4316
原创 Docker< map has no entry for key "Volumes">
1.Docker版本信息Client: Version: 17.12.0-ce API version: 1.35 Go version: go1.9.2 Git commit: c97c6d6 Built: Wed Dec 27 20:11:19 2017 OS/Arch: linux/amd64Server: Engine: Version: 17.1
2018-01-17 17:27:12
1325
3
原创 DeepLearning<数据集>
学习深度学习的时候，不免要翻墙下载一些数据，有的时候虽然能够勉强下到数据，但是有的时候网速慢的感人，特意将此篇博客作为常用数据的仓库，不断更新中…..1.FaceNet两个生成图片128维的与训练模型 20170512-110547.zip 链接：https://pan.baidu.com/s/1nwsH6Vf 密码：hVrT20170511-185253.zip 链接：https:
2018-01-15 22:27:40
1753
9
原创 ubuntu16.04<使用umake安装pycharm-professional>
一定要通过这个源安装umake,否则下面搜不到pycharm-professional版本sudo add-apt-repository ppa:ubuntu-desktop/ubuntu-makesudo apt-get update sudo apt-get install ubuntu-make安装pycharm-professionalumake ide pycharm
2018-01-11 15:44:13
1039
原创 Opencv3.4.0---将视频中的帧保存为图片
现在有一个收集人脸的需求，每一张照片只有一个人。我的解决办法是用收集录制一段视频，然后上传到PC上。在PC上使用OpenCV将图片中的每一帧保存为JPG图片。以下是代码：import timeimport cv2if __name__ == '__main__': # 填写视频的绝对路径 vidcap = cv2.VideoCapture('/home/shus...
2018-01-04 17:25:07
2821
原创 Ros-Kinetic<使用cv_bridge进行OpenCV和ROS图像处理>
1.环境准备Ubuntu16.04ROS-kineticopencv3.3.1video-stream-opencv一个USB摄像头video-stream-opencv是USB摄像头驱动，关于它的介绍，请看github:https://github.com/ros-drivers/video_stream_opencv安装video-stream-opencvcd ~/catkin_ws/
2018-01-03 15:06:16
4350
原创 Ubuntu16.04<批量转换图片格式>
下边的命令将会一次性的讲当前文件夹下的所有bmp格式的图片修改为jpg格式for i in *.bmp;do convert ${i} ${i%bmp}jpg;donerm -rf *.bmp
2017-12-28 13:22:10
1440
原创 OpenFace<使用OpenFace进行人脸识别>
1.OpenFace简介http://cmusatyalab.github.io/openface/2.素材准备准备两个人的不同角度的照片我这准备了李、王两个人各三十张照片作为训练集，各六张张做为测试集；训练数据放在openface/ws_train_data路径下 下图是训练集图片： 测试集数据： 这里需要注意的是bmp文件是不被支持用于目标检测的3.预处理（目标检测）进入openface的
2017-12-27 17:37:15
8034
1
原创 Torch7<Ubuntu16.04下的安装>
git clone https://github.com/torch/distro.git ~/torch --recursivecd ~/torch; bash install-deps;./install.shsource ~/.bashrcNew packages can be installed using Luarocks from the command-line:# run lu
2017-12-27 11:10:20
941
原创 Face_recognition<人脸检测>
前提是装好Face_recognition, 准备一张图片，图片中有三个人 face_detect.py#!/usr/bin/python# -*- coding: utf8 -*-import face_recognitionfrom PIL import Image# Load the jpg file into a numpy array ddddimage = face_recogn
2017-12-26 11:34:35
1356
原创 ROS -Kinetic<在ubuntu16.04上安装rbx1和arbotix模拟器>
1.安装rbx1cd ~/catkin_ws/srcgit clone https://github.com/pirobot/rbx1.git cd ..catkin_makerospack profile2.安装Arbotix模拟器cd ~/catkin_ws/srcgit clone https://github.com/vanadiumlabs/arbotix_ros.gitcd
2017-12-21 18:05:30
3280
1
原创 ROS<ERROR: cannot launch node of type>
在学习ros/tf2函数库的时候，在launch文件中添加了节点之后发现无法启动，出现一下错误：... logging to /home/xzchuang/.ros/log/76b69150-e5f4-11e7-a49a-484d7ec9f3d5/roslaunch-Vostro-14838.logChecking log directory for disk usage. This may ta
2017-12-21 14:20:52
6165
3
原创 Ros<一个空格惹的祸>
在学习ROS kinetic wiki中的编写简单的Service和Client (Python)中编写服务端的时候运行的时候发现：from: can't read /var/mail/beginner_tutorials.srv/home/xzchuang/catkin_ws/src/beginner_tutorials/scripts/add_two_ints_server.py: 行 6:
2017-12-20 16:27:57
734
原创 Ubuntu<使用crontab执行定时爬虫任务>
之前在windows下使用python 脚本调用爬虫程序，做成定时任务的时候，都挺顺利的，以下是代码video_command.py# -*- coding: utf-8 -*-# !/usr/bin/python2.7import osimport timedef run_spider(spider_name, folder_name): try: c
2017-11-07 16:54:23
626
原创 spark<实现SQL中的GroupBY后取组内TopN>
实现的思路是使用Spark内置函数，combineByKeyWithClassTag函数，借助HashSet的排序，此例是取组内最大的N个元素一下是代码：createcombiner就简单的将首个元素装进HashSet然后返回就可以了；mergevalue插入元素之后，如果元素的个数大于N就删除最小的元素；mergeCombiner在合并之后，如果总的个数大于N，就从一次删除最小的元素，知道Hash
2017-11-06 10:34:08
3580
原创 Redis4.0.2<Centos上安装redis>
环境：Centos 1708redis4.0.2准备：yum install gccyum install tcl在官网上下载了redis-4.0.2.tar.gz之后，使用tar命令解压 make MALLOC=libc完成之后会发现src目录下多了几个文件（粗体部分） 启动redis服务：至此redis安装成功了
2017-11-05 14:45:30
819
Tomcat安装程序
2016-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人