- 博客(23)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 基于docker的kibana 7.5.1搭建
Kibana可视化1.2.1 拉取Kibana docker 镜像docker pull kibana:7.5.11.2.2创建Kibana绑定数据卷mkdir /root/kibana/config/vi /root/kibana/config/kibana.yml1.2.3配置文件kibana.ymlserver.name: kibanaser...
2020-04-09 14:58:00
776
1
原创 基于docker的elasticsearch 7.5.1 搭建
Es数据库（单节点）1.1.1拉取ES docker 镜像docker pull elasticsearch:7.5.11.1.2创建ES绑定数据卷mkdir /root/ES/config/mkdir /root/ES/data/chmod 777 /root/ES/data1.1.3创建ES主节点 es.ymlvi /root/ES/confi...
2020-04-09 14:52:19
1888
原创 docker 环境下 supervisor中出现的一些问题
1.运行supervisorctl时报错supervisor.sock refused connection网上普遍说是superviored挂掉了，但是ps -A 查看进程时并没有问题我怀疑可能是在docker环境下使用unix配置supervior服务端时会启动失败开始的安装配置方法：https://www.jianshu.com/p/39b476e808d8出现问题1.我的...
2019-10-09 11:08:20
1487
原创 git 配置上传到gitlab（Windows7）
1. 安装git2. 注册gitlab3. 在桌面右键点击git bash here4.ssh-keygen -t rsa -C "邮箱" 然后一路回车5.复制id_rsa_pub文件里面的所有内容加到gitlab中6.首次上传（1）在git bash命令行里进入项目目录（2）git init（3）git add . ("."代表加入目录所...
2019-08-27 20:38:23
249
原创 rinetd 端口转发
1.rinted 安装apt-get install rinetd2.rinted 配置在安装后，需对此软件进行配置，其配置文件在/etc/rinetd.conf ，配置文件格式如下[bindaddress] [bindport] [connectaddress] [connectport]绑定的地址 绑定的端口 连接的地址 ...
2019-08-21 09:47:56
742
原创 autossh 内外网穿透配置
AutoSSH 能让 SSH 隧道一直保持执行，他会启动一个 SSH 进程，并监控该进程的健康状况；当 SSH 进程崩溃或停止通信时，AutoSSH 将重启动 SSH 进程1. 安装autossh[root@localhost ~]# apt install autossh2. 配置SSH免密登录[root@localhost ~]# ssh-keygenGeneratin...
2019-08-19 14:50:08
2060
原创 Python Factory 工厂方法
工厂的意义模拟现实工厂，通过“工厂”获取“产品”，用户只需通过固定的接口获得一个对象的实例。降低了维护的复杂性。下面我将对无工厂方式，简单工厂方式，工厂方式，抽象工厂方式进行对比与分析。无工厂代码祭天：#encoding=utf-8class IPhone(object): #苹果 def __repr__(self): return "IP...
2019-08-17 14:35:01
3756
6
原创 cloudsim基于例子自己建立自己云计算仿真平台（仿CloudSimExample6.java）
package clousimtest;import java.text.DecimalFormat;import java.util.ArrayList;import java.util.Calendar;import java.util.LinkedList;import java.util.List;import org.cloudbus.cloudsim.Cloudlet;...
2018-05-06 13:18:30
1532
1
原创 cloudsim基于例子自己建立自己云计算仿真平台（仿CloudSimExample4.java）
package clousimtest;import java.text.DecimalFormat;import java.util.ArrayList;import java.util.Calendar;import java.util.LinkedList;import java.util.List;import org.cloudbus.cloudsim.Cloudlet;...
2018-05-06 13:17:52
948
原创 cloudsim基于例子自己建立自己云计算仿真平台（仿CloudSimExample2.java）
package clousimtest;import java.text.DecimalFormat;import java.util.ArrayList;import java.util.Calendar;import java.util.LinkedList;import java.util.List;import org.cloudbus.cloudsim.Cloudlet;...
2018-05-06 13:16:49
889
原创 cloudsim基于例子自己建立自己云计算仿真平台（仿CloudSimExample1.java）
package clousimtest;import java.text.DecimalFormat;import java.util.ArrayList;import java.util.Calendar;import java.util.LinkedList;import java.util.List;import org.cloudbus.cloudsim.Cloudlet;...
2018-05-06 13:11:59
3107
原创 spark 2.2.0 accumulator使用方法 java版 python版
java版package cn.spark.study.core;import org.apache.spark.Accumulator;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext
2018-01-14 14:53:35
755
原创 spark 2.2.0 共享变量使用方法 python版
import osimport sysos.environ['SPARK_HOME'] = '/opt/spark'sys.path.append("/opt/spark/python")from pyspark import SparkContextfrom pyspark import SparkConffactor =2if __name__ == '__main__':
2018-01-14 14:24:57
328
原创 spark 2.2.0 共享变量使用方法 java版
package cn.spark.study.core;import java.util.*;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org
2018-01-14 14:23:43
592
原创 spark 2.2.0 action操作python版
import osimport sysos.environ['SPARK_HOME'] = '/opt/spark'sys.path.append("/opt/spark/python")from pyspark import SparkContextfrom pyspark import SparkConfdef reducetest(): sc = SparkConte
2018-01-14 13:07:09
200
原创 spark 2.2.0 action操作 java版
package cn.spark.study.core;import java.util.List;import java.util.Arrays;import java.util.Map;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.s
2018-01-14 13:05:33
400
原创 spark 2.2.0 各个计算因子的使用方法 python版
map:def map(): sc = SparkContext("spark://node0:7077", "map") list=[1,2,3,4,5] listRdd=sc.parallelize(list) listmap =listRdd.map(lambda s:s*2) print listmap.collect() sc.stop()
2018-01-12 17:48:21
459
原创 spark 2.2.0 各个计算因子的使用方法 java版
map: private static void map(){ SparkConf conf =new SparkConf().setAppName("map").setMaster("local"); JavaSparkContext sc =new JavaSparkContext(conf); List numbers = Arrays.asList(1,2,3,4,5);
2018-01-12 17:36:27
655
原创 spark 2.2.0 WordCount scala版
安装scala Ide for eclipse导入spark/jar 下面的所有jar包package cn.spark.study.coreimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject WordCount { def main(args : Array[String]){
2018-01-11 17:16:01
1392
原创 spark 2.2.0 wordcount python版
import osimport sysos.environ['SPARK_HOME'] = '/opt/spark'sys.path.append("/opt/spark/python")from pyspark import SparkContextfrom pyspark import SparkConfsc = SparkContext("spark://node0:7077"
2018-01-11 17:04:36
352
原创 spark2.2.0 wordcount JAVA版
1. 本地运行代码 注意点：spark2.2.0-FlatMapFunction中call返回类型从Iterable变成了Iterator package cn.spark.study.core;import java.util.Arrays;import java.util.Iterator;import org.apache.spark.SparkConf;
2018-01-11 15:20:34
2622
spark 框架word count scala源文件
2018-01-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人