自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(55)
  • 资源 (2)
  • 问答 (2)
  • 收藏
  • 关注

原创 Vue3-03_组件基础_上

单页面应用程序(英文名:Single Page Application)简称 SPA,顾名思义,指的是一个 Web 网站中只有唯一的一个 HTML 页面,所有的功能与交互都在这唯一的一个页面内完成。组件化开发指的是:根据封装的思想,把页面上可重用的部分封装为组件,从而方便项目的开发和维护。类似后端逻辑的通用函数。3.x 中一个组件可以定义多个根节点,这是与2.x不同的地方。<template>但是渲染透传的时候,单根节点组件有所不同,有着多个根节点的组件没有自动 attribute 透传行为。

2024-03-16 12:53:00 558

原创 Vue3-02_Vue基础入门

官方给出的概念:Vue (读音 /vjuː/,类似于 view) 是一套用于构建用户界面的前端框架。vue 是一套用于构建用户界面的前端框架。MVVM 是 vue 实现数据驱动视图和双向数据绑定的核心原理。它把每个 HTML 页面都拆分成了如下三个部分:在 MVVM 概念中:View 表示当前页面所渲染的 DOM 结构。Model 表示当前页面渲染时所依赖的数据源。ViewModel 表示 vue 的实例,它是 MVVM 的核心。

2023-10-28 01:16:05 267

原创 Vue3学习-01_前端工程化与webpack

webpack 是前端项目工程化的具体解决方案。主要功能:它提供了友好的前端模块化开发支持,以及代码压缩混淆、处理浏览器端 JavaScript 的兼容性、性能优化等强大的功能。好处:让程序员把工作的重心放到具体功能的实现上,提高了前端开发效率和项目的可维护性。注意:目前企业级的前端项目开发中,绝大多数的项目都是基于 webpack 进行打包构建的。在 webpack.config.js 配置文件中,通过 entry 节点指定打包的入口。通过 output 节点指定打包的出口。

2023-07-03 23:42:23 549

原创 k8s_3节点集群部署

这一步问题比较多,容易超时可以失败后先参考该链接操作: https://www.cnblogs.com/ltlinux/p/11803557.html。在master上,将master中的admin.conf 拷贝到node中,这里是scp的方式,使用客户端手动上传也是可以的。因此最后决定根据官方的文档来部署,还能更熟悉一下基本的角色组成。sysctl -p /etc/sysctl.d/k8s.conf # 使配置生效。修改配置文件 /etc/sysctl.d/k8s.conf。

2023-04-22 20:25:10 789 1

原创 Oracle RAC 更改DB_UNIQUE_NAME

遇到一个场景是更改 RAC 架构下的 Oracle DB_UNIQUE_NAME ,使得跟DB_NAME不一致,尝试了网上的方法,都没能成功,最后是看了官方support的solution,下面是主要操作步骤,11g203版本,已经验证是没问题的。

2023-04-21 19:08:49 889

原创 Kerberos简单介绍及使用

Kerberos 下的用户可以称为 Principal,当每添加一个用户或服务的时候都需要向kdc添加一条principal, principal的形式为:主名称/实例名@领域名。第一部分是service的名字,比如imap, AFS, ftp. 通常’host’这个名字被用于指明对一台机器的通用的访问(telnent, rsh, ssh)。简单来说安全相关一般涉及以下方面:用户认证(Kerberos的作用)、用户授权、用户管理.。其中Instance是可选 的,通常用于更好地限定用户的类型。

2023-02-12 19:28:00 1833

原创 qinglong-青龙面板部署

简介:支持python3、javaScript、shell、typescript 的定时任务管理面板项目地址:支持多种脚本语言(python3、javaScript、shell、typescript)支持在线管理脚本、环境变量、配置文件支持在线查看任务日志支持秒级任务设置支持系统级通知支持暗黑模式支持手机端操作。

2022-12-29 15:51:10 6608

原创 Joplin插件推荐-持续更新

之前因为印象笔记、语雀等笔记软件使用起来都不满足自己的需求,所以后面自己调研后使用了Joplin这个开源笔记软件,项目主页: https://joplinapp.org 。目前搭建在自己的服务器上。最近发现有很多好用的插件。所以记录分享一下。插件主页: https://github.com/joplin/plugins/blob/master/README.md#plugins进入 工具-选项-插件-直接搜索,点击安装即可访问 插件主页:https://github.com/joplin/plugins/

2022-12-25 15:51:07 6283 1

原创 NextCloud-Docker迁移-跨版本升级

迁移服务器之后正常迁移nextcloud服务,因为是部署在docker中,所以升级也比较方便,但是因为docker-compose.yml 中是镜像latest,所以迁移后自动更新了版本。因为已经提前做了备份,所以直接删除当前持久化目录,从备份中恢复,然后更改docker-compose的yml文件,更改镜像版本为上面查询的版本,最终启动正常,恢复服务。备注:命令执行可能需要切换用户 --user www-data,具体命令搜索nextcloud 修复索引,搜索到相关命令。

2022-12-17 18:23:11 2171

原创 Docker服务迁移

近期之前活动购买的百度智能云到期了,续费太贵,所以重新参加了华为云的活动。升级到了2C8G5M 但是单核2.2G 比之前百度智能云的2C4G5M,单核2.4G 略低,但是3年1360 还要什么轮子。上车。 docker 升级问题、nextcloud问题

2022-12-17 18:22:31 641

原创 TPCDS-Hive-testbench运行报错status-139的解决方法

前阵子在用Tpcds对hive做性能测试的时候,遇到过报错 Process failed with status code 139## 问题剖析通过源码查看,找到了最终异常抛出的地方: hive-testbench-hdp3/tpcds-gen/src/main/java/org/notmysock/tpcds/GenTable.java

2022-12-08 21:01:34 770

原创 内存自动释放工具-Mem Reduct

内存自动清理工具

2022-12-05 23:47:34 9076

原创 wordpress 添加版权信息

wordpress 添加固定的内容声明:如版权信息

2022-12-05 23:41:41 361

原创 FIO测试磁盘顺序写的性能

FIO测试随机写的性能命令:fio --filename=./test.big -iodepth=32 -ioengine=libaio -direct=1 -rw=write -bs=256k -size=2g -numjobs=4 -runtime=60 -group_reporting -name=test-write -time_based具体参数都比较好搜索,这里就不详细讲了,提几个自己遇到的点。需要注意的点设置了size 与runtime参数 默认是以 大小size写完停止,需要

2021-01-13 21:33:38 1456

原创 mr从hdfs读取数据处理之后写入到Hbase

需求:使用mr从hdfs读取数据处理之后写入到Hbasepackage pers.nebo.mrtohbase;/**@ author fnb@ email [email protected]@ date 2019/12/17@ des :/import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import

2021-01-13 01:20:41 736

原创 Kafka获取最新offset

需求: 获取kafka 最新的offset方法: 获取kafka每个分区的offsetmethod1 使用consumer.seektoend()method2 使用consumer.endOffsets()版本 <dependency> <groupId>org.apache.kafka</groupId> ...

2020-01-02 23:08:27 2307

原创 Accumulator-累加器的简单使用及注意事项

累加器用于在executors中做变量更改。官方文档: 官方文档地址基于spark 2.3.3版本编写的示例demo :package pers.nebo.sparkcoreimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport org.apache.spark.util.LongAcc...

2019-12-29 17:30:14 1424

原创 Spark学习:求网址的top3访问地区及网站pv、uv

思路: 生成用户不同时间访问不同网站的数据,计算出pv 、uvpv 页面访一次加1 ,uv 不同用户访问 加1//ip val IP = 223 //地址 val ADDRESS = Array("北京", "天津", "上海", "重庆", "河北", "辽宁","山西", "吉林", "江苏", "浙江", "黑龙江", "安徽", "福建", "江西", "...

2019-11-26 23:30:40 1020

原创 Scala:基础知识介绍

最近复习了一下Scala 语法,看的课程 https://www.bjsxt.com/dashujushipin.html这里分享一下下面是练习的代码。有困惑的地方也加了自己的理解。

2019-11-22 22:59:54 165

原创 python调用ambari rest api 获取、更改集群中节点的服务状态

需求: 想用python 调用ambair的rest api,来获取集群中节点服务的状态,根据需求更改组件状态主要参考: https://github.com/apache/ambari/blob/trunk/ambari-server/docs/api/v1/具体参数的获取,以启动某主机上的某个服务为例(这只是我的方法,如果有更好的方法,欢迎留言):'''请求体参数获取方法:我这里是直...

2019-11-15 13:12:39 1085

原创 Linux模拟磁盘、网络、电源异常的方法小结

一 . 模拟拔盘 **#拔盘脚本:传入 盘符名称入 :sdx** disk=$1 res=`ls /sys/block/$disk/device/scsi_disk/ | grep -oE '[0-9]+:[0-9]+:[0-9]+:[0-9]+'` echo 1 > /sys/bus/scsi/devices/$res/delete if [ $? -e...

2019-11-05 13:12:21 1885

原创 MR 案例分析: 求每个月温度最高的两天

最近看到一个mr的例子,感觉有些收获这里分享一下需求: 求每个月温度最高的两天,日期格式为:1949-10-01 14:21:02 34c思路一: mr job 将key 封装为 year-month的格式 传递给 reduce, reduce 中遍历每个key 的值,取出温度,进行比较。 遍历完成之后输出 思路二: 利用key的排序, 实现自定义分组 。根据 ,yea...

2019-10-28 23:44:22 626

原创 GangLia搭建使用

需求: 采集多个节点中的负载情况,多个节点划分为多个集群监控ganglia的简单角色划分 ganglia-web : web展示 ganglia-gmetad 数据收集处理 ganglib-gmond 数据采集发送这里不再详细介绍:查看文末的...

2019-09-30 15:06:37 436

原创 Java 解析 Excel 文件读取文件内容

需求: 使用 java 解析 excel文件的 字段内容。主要是利用 &lt;dependency&gt;&lt;groupId&gt;org.apache.poi&lt;/groupId&gt;&lt;artifactId&gt;poi&lt;/artifactId&gt;&lt;version&gt;3.14&lt;/version&gt;&lt;/depe

2018-09-08 18:32:03 2008

原创 Canal安装配置与Client监听Msql数据变更

求: 使用Canal将Mysql的变更数据实时同步到大数据平台(hdfs/hive/hbase)环境:jdkmysqlzookeepr(没有配置Ha的情况下不必配置,这里暂时未配置)环境配置比较简单,这里略过。 Canal配置 下载安装包 wget https://github.com/alibaba/canal/releases/download/canal-1.0.22/canal....

2018-08-03 19:53:27 2226 6

原创 Otter实现Msql主从同步

需求:实现主机a(hadoop2)的mysql数据同步到主机b(hadoop4)的mysq中。参考文档:https://github.com/alibaba/canal https://github.com/alibaba/otter/wiki/QuickStart https://segmentfault.com/a/1190000010772134#articleHeader0配置...

2018-07-29 19:41:23 1374 1

原创 Linux 脚本 统一启动集群中其它角色节点服务的脚本

需求: 启动服务的时候,有时候需要每个节点都要启动,所以很麻烦。所以通过脚本的配置在一个节点上启动其他节点的服务,或者同时启动用一种角色节点的服务在学习的过程中,因为遇到每个节点都要启动相同的服务。反复操作很繁琐,所以为了节省效率,找到了一些脚本用来方便操作,这里简单讲一些。(脚本不是自己写的。也是网上找的资源,这里只是做一下思路分析。) 思路: 将每个节点与其对应的角色在文件中配置好与主机...

2018-07-11 20:09:47 1458

原创 Linux 开机自启服务

**需求: 需要在linux启动的时候开启某些服务比如说: 开启 zookeeper ,hdfs ,yarn服务**注意: 因为这些服务需要用到ssh通信所以要保证 ssh服务先启动,并且网络服务启动方法一: 非最终解决方法 在/etc/rc.local中添加 如果不想将脚本粘来粘去,或创建链接什么的, 则: step1. 先修改好脚本,使其所有模块都能在任意目录启动时正常...

2018-07-11 15:51:30 727

原创 hadoop集群搭建三: hbase分布式集群搭建

需求:在三台主机上搭建hbase分布式集群 版本: hbase-0.98.11-hadoop2 环境jdk1.8 主要角色txynebo1 master, zookeeper, regionservertxynebo2 master, zookeeper ,regionservertxynebo3 zookeeper ,regionse...

2018-03-25 13:32:56 594

原创 hadoop集群搭建二: hadoop+zookeeper 配置namenode与resourcemanager的高可用

需求: 配置由zookeeper实现的hdfs namenode的高可用 ,以及resourcemanager高可用 。centos7.3 jdk1.8(默认已经安装好) hadoop 2.6.0 zookeeper 3.4.6ssh免密登陆已经配置好。 时钟同步已经完成 防火墙已经关闭。 主要角色分配 txynebo1:namenode ,resourcemanage...

2018-03-23 15:52:46 1707

原创 hadoop集群搭建一: 集群 配置ssh免密码登陆

需求 : 主机 txynebo1 , txynebo2 , txynebo3 配置ssh免密码登陆 。 1 .首先更改hosts文件 将三个主机的ip与hostname对应(这边是三个云服务器。所以将对应的公网ip与 hostname对应 ,这里十分抱歉,hostname是不能加下划线 _ 的。不然后面...

2018-03-22 19:26:50 982

原创 flume+kafka实现根据消息的标识分配到不同的分区

需求在使用flume 收集 log的时候根据 不同的 消息表示可能是uid。或者是日期。等关键字段 。 将消息发送到 kafka不同的分区 这里就不再贴详细代码 主要讲一下自己的思路 。思路一: 自定义在flume拦截器中 使用 kafka producer 。直接将关键信息 获取之后。根据逻辑。发送到不同的分区 。 主要实现如图: 配置文件修改: flume-co...

2018-03-19 16:48:48 4948

原创 根据源码查看mapreduce作业分块逻辑

1.首先我们知道inputformat接口有两个方法 (旧版api 放置在 org.apache.hadoop.mapred 新版 api放置在 org.apache.hadoop.mapreduce)第一个getSplits是获取分块的方法 第二个createRdcordReader是获取RecordReader 查看第一个方法 : 2.查看其子类FileInputformat...

2018-03-14 12:36:21 405

原创 centos6.5 中 git+maven 编译 spark过程

centos6.5中使用git+maven编译spark踩到了很多坑,最后成功编译。所以发篇文章记录一下,希望能给后面遇到相同问题的人一些帮助。 首先要安装 maven 3.3 +,如果没有安装可以百度一下具体步骤。1. 首先是从github中clone spark源码 报错如下: 使用git clone 源码报错 : git clone [root@nebo1 o...

2018-03-07 16:42:38 345

原创 Maven遇到的问题总结

最近 总结了一下在使用maven中常遇到的几个问题,及解决方法如下: 1 . maven 每次uodate之后都会发现jdk的编译版本发生了改变。 解决方法: pom文件中添加 &lt; build &gt; &lt; plugins &gt; &lt; plugin &gt; &lt; ...

2018-02-12 13:07:23 504

原创 MapReduce执行流程的一点总结

首先,通过任务的控制台log,可以看到,首先任务在执行的时候,先连接集群的resourceManager。 然后计算出split的个数 下一步才提交任务 而在mr任务提交之后 。InputFormat 接口决定了输入文件如何被 Hadoop 分块(split up)与接受。 InputFormat 能够从一个 job 中得到一个 split 集合(InputSplit[])(

2018-01-25 20:03:42 1352

原创 centos7.2 替换apache默认的test页面

今天在访问自己域名之后看到了apache的默认测试页面,感觉想换成自己的专属页面。步骤如下首先我是将自己的页面(nebo文件夹中的index.html)中 发布到 /var/www/html 然后将   /etc/httpd/conf的 httpd.conf文件打开将其中的DocumentRoot "/var/www/html"  改为 DocumentRoot "/var

2017-03-07 14:39:59 2836

原创 HttpURLConnection getResponseCode() 返回-1

今天在进行android开发时,需要请求网络数据  HttpURLConnection 请求时出现空指针,打断点发现是    conn.getResponseCode() 返回-1,多次查看之后发现没有代码上的错误。查找了一下资料,发现uses-permission android:name="android.permission.INTERNET"/>权限添加一下就行了。

2017-02-20 15:02:46 6207

原创 matlab r2012b 安装

1.准备matlab r2012b镜像(安装包) 迅雷链接 :  http://dl1.c10.sendfile.vip.xunlei.com:8000/Matlab%202012b%20for%20windows%2Eiso?key=f02bc69c158abe846860eb0b94032a29&file_url=%2Fgdrive%2Fresource%2FAE%2FE4%2

2017-02-18 20:34:51 3609

原创 Thread的start与run

首先是java多线程编程核心技术里面有一个demo,让自己产生了一点疑问public class MyThread extends Thread {    public MyThread(){        System.out.println("构造方法的打印 : "+Thread.currentThread().getName());    }            @Override    ...

2017-02-15 15:36:05 431

android调用相机拍照或从相册取照片(加裁剪功能)

android调用相机拍照或从相册取照片(加裁剪功能),请看readme.txt使用

2016-08-17

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除