自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(67)
  • 资源 (1)
  • 收藏
  • 关注

原创 elasticsearch通过使用快照备份实现数据迁移

环境: name3主机 elasticsearch-1.7.2 data1主机 elasticsearch-1.7.2 测试的elasticsearch都为单机版,所以产生的快照文件都在一个目录。 需求: 现在需要将name3中的数据都迁移到data1中 实...

2019-09-26 18:09:00 618

原创 CDH6.0.1集成tez-0.9.1计算引擎

撸了今年阿里、头条和美团的面试,我有一个重要发现.......>>> ...

2019-09-19 14:07:00 1448 1

原创 python启动服务器相关服务

由于服务器机房没有散热设施,夏天下班经常需要关机,导致应用经常重启...

2019-07-05 11:17:00 415

原创 excel动态导入数据库---mysql

2019独角兽企业重金招聘Python工程师标准>>> ...

2019-06-06 21:28:00 638

原创 spark读取myslq优化--单机版

2019独角兽企业重金招聘Python工程师标准>>> ...

2019-06-05 09:20:00 153

原创 Elasticsearch 多字段聚合 结果封装为map

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2019-04-07 20:06:00 1907

原创 sqlalchemy的基本使用

开发十年,就只剩下这套架构体系了!>>> ...

2019-03-28 16:43:00 447

原创 list, dict, tuple,rowproxy 转dataframe

开发十年,就只剩下这套架构体系了!>>> ...

2019-03-28 14:46:00 1502

原创 CentOS误删 ython2.7,不能使用yum,重新安装python

开发十年,就只剩下这套架构体系了!>>> ...

2019-03-13 23:28:00 524

原创 python操作neo4j

开发十年,就只剩下这套架构体系了!>>> ...

2019-01-25 13:33:00 1606

原创 scala结合slick操作MySQL数据库

开发十年,就只剩下这套架构体系了!>>> ...

2019-01-25 11:53:00 693

原创 离群节点算法lof分析

本次主要针对医保数据,按照病种分组后,进行异常数据分析。主要分为两步: 一、数据预处理 1.处理9个费用指标 次均费用、日均住院费用、药品费用占比、自付药品费用占比、护理费用占比、检查费用占比、高值耗材费用占比、 ...

2019-01-16 14:32:00 1917

原创 Python爬取QQ音乐并下载

参考博客:https://www.w3cschool.cn/article/14374 import requestsimport osimport timeimport reimport urllibclass Downloader(): id=1 d...

2019-01-01 17:05:00 2056 3

原创 docker宿主机访问docker容器服务失败

原因: 因为docker的虚拟ip网段是172.17.*。*与局域网的ip网段172.17冲突了,所以有两种方式: 解决方法: 一、 修改docker网卡信息,将网段改为与局域网不同的即可 参考博客:http://blog.51cto.com/wsxxsl/2060761 ...

2018-12-21 10:40:00 2835

原创 文本数据按照字段实现groupby操作

开发十年,就只剩下这套架构体系了!>>>    ...

2018-11-25 13:37:00 1006

原创 常用的时间字符串转换

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-11-08 23:14:00 398

原创 linux_centos安装openslide

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-11-01 00:02:11 2681

原创 spark使用partition写入数据库

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-10-30 14:24:00 942

原创 poi通过事件模式sax解析大excel文件,防止内存溢出

1.解析类 package com.cetc.ExcelPoi;...

2018-10-12 13:38:00 935

原创 spark中的分区操作回顾--mapPartition

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-10-11 13:06:00 1356

原创 dropzone上传多文件,java后台接受不到文件数据

1--修改js源码(后台使用的是MultipartFile[]数组...

2018-10-10 17:17:00 1597 1

原创 hive 回顾---字段拆分为 多行+多列

  一、拆分为多行   测试数据:huangbo a,1:...

2018-09-30 12:56:00 17890

原创 spark中dataFrame的一些方法回顾

1.文本转dataframe //加入spark隐士转换im...

2018-09-29 17:26:00 511

原创 spark +hive 自定义聚合函数回顾--group_concat实现

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-09-27 13:22:00 1426

原创 poi的excel解析工具类

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-09-26 16:24:00 527

原创 python爬取双色球数据+数据统计

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-09-17 20:23:00 4452

原创 opencv舌头监测模型+keras神经网络(LeNet)

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-08-20 12:09:00 4896 31

原创 elasticsearh6.3.2+kibana-6.3.2+logstash-6.3.2+ik

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-08-10 09:46:00 441

原创 scala实现pageRank梳理+textRank生成文本摘要

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-08-03 17:45:00 717

原创 最小二乘法之一元线性拟合

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-06-29 15:22:00 1489

原创 opencv图片分类+特征图片截取

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-06-05 17:35:00 2065

原创 opencv训练舌头分类器

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-05-31 13:21:00 5843 27

原创 docker两个容器之间连接---centos7容器+mysql容器

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-05-04 15:05:00 4380

原创 在docker镜像中安装软件windows+liux版

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-04-28 17:18:00 1365

原创 Centos7+win10下安装Docker

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-04-27 10:05:00 350

原创 tensorflow图片基本处理

一、图片的读取--使用gfile(单张图片样例)img_raw_data=tf.gfile.FastGFile("F:\\自己研究项目\\TensorFlow\\cat.jpg","rb").read()二、matplotlib.pyplot添加title中文乱码问题myfont = fm.FontProperties(fname='C:/Windows/Fonts/msyh.ttc')plt....

2018-03-26 15:42:14 352

原创 tensorflow的图片预处理

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-03-26 15:34:00 157

原创 pyspark的调用

在windows中使用pychar编写的spark程序,直接调用pyspark,创建sparkSession的时候总是报端口不能绑定? 解决办法: cmd中输入hostname指令,查看主机名。 然后进入C:\Windows\System32\drivers\etc\hosts文件,...

2018-03-19 15:04:00 213

原创 hive的优化

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-02-09 14:48:00 103

原创 hive自定义函数udf,hiveserver2的使用

开发十年,就只剩下这套Java开发体系了>>>    ...

2018-02-09 09:47:00 1681

spark原理剖析图

spark内核结构图。Spark是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台,是Apache软件基金会下所有开源项目中三大顶级开源项目之一。

2018-03-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除