AlbertLiangzt-CSDN博客

原创 kafka原理—01数据存储、日志清理

kafka数据存储、日志清理

2022-01-07 16:58:10 1675 1

VMware虚拟机黑屏，重启无效的解决方法多开虚拟机好几个月了，不知道最近抽了什么疯，VMware只能启动两个方法1、重置winsock目录1.1 管理员打开cmd1.2 输入netsh winsock reset1.3 重启电脑，重启虚拟机如果重启电脑之后只是暂时解决（每次用虚拟机都要重置winsock），或未解决，执行法二方法2、启动虚拟打印机2.1虚拟机>编辑>首选项2.2启动虚拟打印机2.3重启电脑，重启虚拟机附、如果不是黑屏，只是“虚拟机XXX繁忙”参

2020-05-28 19:57:07 1530

原创 hadoop2.0 子节点slave挂掉重启 datanode nodemanager

hadoop2.0 子节点slave挂掉重启 datanode nodemanagerslave服务器操作slave重启服务目录：/usr/local/src/hadoop-2.6.5/sbin启动datanode ./hadoop-daemon.sh start datanode启动nodeManager ./yarn-daemon.sh start nodeman...

2020-04-27 00:13:37 538

原创 AttributeError: 'SparkConf' object has no attribute '_get_object_id'

AttributeError: ‘SparkConf’ object has no attribute ‘_get_object_id’修改为SparkContext(conf=conf)参考资料https://issues.apache.org/jira/browse/SPARK-2003

2020-04-20 17:42:28 3564

原创 idea maven自动下载jar包失败常见解决方法

一、maven配置1.maven配置如何配置就不多说2.远程maven仓库有些时候是因为网络原因，连不上国外仓库，此时可以使用国内镜像，只以ali镜像举例——maven的settings.xml文件中添加镜像地址 <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf...

2020-04-12 17:27:51 1079

原创 There are 0 datanode(s) running and no node(s) 的一些解决方案

There are 0 datanode(s) running and no node(s) are excluded in this operation.的一些解决方案1. 没有DataNode1.1 删除原有的dfs/data和/name里面的current,重新格式化data和name对应的配置路径文件参数core-site.xmlhadoop.tmp.di...

2020-01-09 14:20:17 1208

原创 win10 虚拟机 VMware繁忙杀进程

win10 虚拟机 VMware繁忙杀进程今天又遇到虚拟机忙碌，导致虚拟机无法关机的情况；任务管理器杀不掉进程；重启电脑也杀不掉进程；1. win+R msconfig 进入win配置程序2. 将VMware的所有服务全部禁用、点击“确定”后会重启电脑3. 再次重复第1步，但是将第2步的VMware服务启用，点击“确定”后会重启电脑4.启动虚拟机，大功告成...

2019-12-13 15:50:40 1452

原创堆内存一直100%

堆内存一直100%压测的时候，最开始正常，然后就100%，但是一直都没有溢出，用jvisualvm和jconsole工具对服务进行了分析现象——明显地看到老年代一直是100%，而survivor一直是0，Eden正常波动step1.找到具体的交易及代码块查看jvm线程，会看到有个线程池里，只有一条线程在跑任务step2.该段代码有大量的字符串缓存查看抽样器内存排名ste...

2019-10-22 18:05:54 2130

原创 jsp String to Date--In <parsedate>, value attribute can not be parsed

使用json时，在jsp中将String类型转换为Date类型,不想在java代码中更改，也不想动数据库在网上找的资料中会有这种解决方案<fmt:parseDate value='${row.transDate}' var='trans_Date' pattern='yyyy-MM-dd'/><fmt:formatDate value='${trans_Date}' pattern='yyyy-

2017-10-11 10:13:41 2150

原创 hexo init时出现 ERROR Local hexo not found in D:\Hexo

hexo init时出现 ERROR Local hexo not found in D:\Hexo ERROR Try running: 'npm install hexo --save' 把Hexo文件夹中的所有文件删除重新输入hexo init

2017-07-31 12:47:03 6559 3

原创 mysql报错Error 1045(28000): Access denied for user ‘root’@’localhost’

mysql报错Error 1045(28000) Error 1045(28000): Access denied for user ‘root’@’localhost’适用环境win10+mysql5.7注意：不一定适合各种情况Error 1045(28000): Access denied for user ‘root’@’localhost’ (using password: NO)1.进入m

2017-07-24 10:41:33 1490 1

原创 hexo到github时 FATAL EBUSY:resource busy or locked

hexo d之后报错FATAL EBUSY:resource busy or locked ...删除文件夹。重新$ hexo g $ hexo d

2017-03-18 22:40:12 1550

原创获取未关注公众号的用户信息

用户未关注公众号，网页授权获取用户的昵称、头像等基本信息微信官方文档——网页授权零、前提开发者公众号能正常使用，且已能正常获取用户信息一、获取openid(获取网页授权access_token)此时可与公众号中的获取方式相同，但是返回的参数值会有区别scope=snapi_base，用户点击静默授权scope=snapi_userinfo，用户点击的授权访问接口二、获取用户基本信息1、如果返回snapi_base可直接获取用户的基本信息，上送access_token(一般存储在后台数据库

2021-01-31 16:38:20 1257

原创 oracle慢sql查找调优

一、进入sql命令行，找出排队的sql语句select inst_id,sid,serial#,username uname, status, program, sql_id, SQL_HASH_VALUE sqlhv, sql_child_number chnum, event, blocking_session blks from gv$session where wait_class<>'Idle';将上面sql执行的结果sql_id，放入下列查询select sql_id,

2020-12-18 16:28:55 640 2

原创 spark-sql

从hdfs的原始text中读数据object SqlTest { def main(args: Array[String]) { val studentSchema: StructType = StructType(mutable.ArraySeq( StructField("Sno", StringType, nullable = false), StructField("Sname", StringType, nullable = false), St

2020-10-24 15:39:38 162

原创回归算法逻辑斯谛回归(LR算法)

回归算法 LR算法二分类(Logistic Regression 逻辑斯谛回归简称LR)：model -> 0/1多分类(Softmax)：model -> 0/1/2…一、Sigmoid函数——逻辑回归的实现1.2.用sigmoid原因：简单来讲，可以将(-∞, +∞)的输入变量映射到(0,1)，作为后验概率在某个临界点左右两端变化较大，比较容易进行分类二、基本公式推导1.对sigmoid求w偏导：η(t)=11+e−t\eta(t)=\frac{1}{1+e^{

2020-07-23 11:00:25 402

原创分类算法朴素贝叶斯（NB算法）

python代码及相关数据链接：https://pan.baidu.com/s/1DhSsi5LdDlERv_g_v2-XVQ提取码：sn53复制这段内容后打开百度网盘手机App，操作更方便哦第一部分分类算法 NB算法朴素贝叶斯 (NaiveBeyesian Classification)一、概述一种常见的机器学习任务给定一个对象，将其划分到预定好的某类别中（贝叶斯决策理论）核心思想选择高概率对应的类别二、贝叶斯原理P(X):待分类对象自身的概率，可忽略P

2020-06-28 00:11:20 1114

原创 CB、CF

一、CB算法(Content-based Recommendations)基于内容的推荐。1.引入item属性根据物品的属性进行推荐a.搜索：“笔记本电脑”，b.拆分(如jieba)：笔记本+电脑c.推荐：笔记作业本台式电脑2.引入user属性引入了用户行为(基于历史行为)a.用户第一天浏览了猫咪，第二天浏览猫抓板，第三天浏览猫粮b.分析用户的浏览行为——用户养猫了c.推荐——猫砂如果是itme属性，当用户第三天浏览时，就会推荐A牌猫粮，B牌猫粮3.计算3.0数据准备

2020-06-20 21:10:11 447

原创 flume+kafka+storm+hbase

1.启动服务1.1 flume kafka storm同flume+kafka+storm1.2 hbase服务hbase-0.98.6-hadoop2/bin/目录下./start-hbase.sh 2.启动任务python /usr/local/src/apache-storm-0.9.3/bin/storm jar \ /usr/local/src/learn/albert/24_storm_extend/extend.jar \ stormHbase.StormKafka \

2020-06-11 00:43:15 263

原创 flume+kafka+storm+http(分词)

文件说明HttpClientTest.java http测试类StormKafka.java storm的spoutFeatureExtractBolt.java storm的boltrun_storm_http_test.sh http测试类run_storm_http.sh http分词一、http+storm1、端口测试1.1 启动storm服务apache-storm-0.9.3/conf/bin/目录下master python storm ni

2020-06-09 23:05:41 280

原创 flume+kafka+storm

文件说明链接：https://pan.baidu.com/s/13ByW0P4IiLCvHbksNnbGpQ提取码：rkdiflume_kafka_storm.properties flume配置storm_master_lib.zip storm在master节点的lib包storm_slave_lib.zip storm在slave节点的lib包StormKafka.java StormKafka的测试类PrinterBolt.java 只做输出run_storm_kafka.sh 启

2020-06-07 00:29:48 344

原创 spark-streaming

1.运行任务1>标准输出 2>错误输出bash wc_local.sh 1>1.log 2>2.log2.监控日志tail -f 1.log3.打开端口nc -l 99994.测试wordCountpackage com.albert.streaming.testimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.sp

2020-06-03 06:25:34 226

原创 kafka启动，但是没有添加到zk节点

kafka启动，但是没有添加到节点Creating /brokers/ids/2 (is it secure? false) (kafka.utils.ZKCheckedEphemeral)是zk节点配置有问题修改配置，重启zk，重启kafka解决*可以删除kakfa节点./zkCli.shrmr /brokerszookeeper安装l链接https://blog.csdn.net/AlbertLiangzt/article/details/105871132...

2020-05-27 17:57:03 1745

原创 storm_1_test

源码链接：https://pan.baidu.com/s/1mlMZ9DiyfYqV6sNKghOjHQ提取码：0g00注意，打成包含依赖jar包的jar包时，删除storm-core.jar——storm-core下面也存在一个defaults.yaml文件，因此storm运行时报错冲突0.解压缩tar -zxvf apache-storm-0.9.3.tar.gz1.修改配置文件apache-storm-0.9.3/conf/目录下storm.yaml新增参数storm.zookeep

2020-05-24 16:01:13 188

原创 idea maven打进依赖jar包

0.直接maven>package只能打出单独jar包idea打包只能打出该文件的jar包，不能打出依赖包打出来的包只有几K1.打开模块设置 2.添加模块依赖2.复制jar包2.1如果有main方法，则选择12.2如果想修改包名、包类型3.构建包 Build > Build Artifacts4.大功告成附上pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http

2020-05-22 22:18:24 1100

原创 notepad++格式化xml

1、下载不再赘述，选择版本，一路next官网https://notepad-plus-plus.org/downloads/2、下载插件2.1 Plugins > Plugins Admin…2.2 选择xml，找到xml Tools，安装3.导入插件3.1 Settings > Import > Import plugin(s)…3.2 导入dll文件plugins > XML Tools >XML Tools.dll > 打开4、重启not

2020-05-22 00:34:48 7357 1

原创 Storm启动报错Internal Server Error

Storm启动报错Internal Server Errororg.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused at org.apache.thrift7.transport.TSocket.open(TSocket.java:183) at org.apache.thrift7.transport.TFramedTransport.open(TFra

2020-05-21 16:14:42 472

原创 HMaster、HRegionServer无法启动的一些解决办法

HMaster、HRegionServer无法启动的一些解决办法1.检查端口号是否被占用Hbase默认端口端口配置说明Master60000hbase.master.portIPC60010hbase.master.info.porthttp服务端口RegionServer60020hbase.regionserver.portIPC60030hbase.regionserver.info.porthttp服务端口2.检查Hba

2020-05-20 18:12:36 2087

原创 kafka_2_flume+kafka

4.flum+kafka4.1服务准备kafkamaster、slave1、slave2服务 ./bin/kafka-server-start.sh config/server.properties创建一个新的topic ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 5 --topic flume_kafkaconsumer服务 p

2020-05-17 18:06:29 215

原创 kafka_1_test

0.解压缩tar -zxvf kafka_2.11-0.10.2.1.tgz1.修改参数kafka_2.11-0.10.2.1/config目录下server.properties文件master broker.id=0 # 放开注释即可 delete.topic.enable=trueslave1 broker.id=1 # 放开注释即可 delete.topic.enable=trueslave2 broker.id=2 # 放开注释即可

2020-05-17 01:03:37 211

原创 flume_1_stand_alone

1.解压缩tar -zxvf apache-flume-1.6.0-bin.tar.gz2.单机模式2.1 Netcat方式配置 flume/conf目录下 # 新建配置文件 touch flume_netcat.conf # 修改配置文件 vim flume_netcat.conf # 新增 agent1.sources = soureces1 agent1.channels = channel1 agent1.sinks = sinks1 agen

2020-05-14 21:11:10 127

原创 flume_2_cluster

1.sink组1.1 故障转移（failover）1.1.1配置 flume/conf/目录下master新建flume_1_1_failover.properties，并添加下列参数 # Name the components on this agent agent1.sources = source1 agent1.sinks = sink1 sink2 agent1.channels = channel1 agent1.sinkgroups = sinkgrou

2020-05-14 21:10:23 144

原创 linux运行class Error: Could not find or load main class

今天在某台linux服务器上运行class报错Error: Could not find or load main class解决方案1.找到配置jdk的路径我的配置在~/.bashrc，一般都在/etc/profile /etc/bashrc（具体看你当时的配置）vim ~/.bashrc2.将class文件放到1的classpath目录下，执行java Test然后...

2020-05-07 17:25:43 4228

原创 hbase shell命令

一、操作表结构1.创建表 > create 'm_table', 'meta_data', 'action'2.删除表： > disable 'm_table' > drop 'm_table'3.添加列簇 > alter 'm_table', {NAME=>'cf_new', VERSIONS=>3, IN_MEMORY=...

2020-05-07 14:34:29 159

原创 04zookeeper安装

1.解压缩 tar -zxvf zookeeper-3.4.5.tar2.新建myid文件zookeeper-3.4.5/目录下 touch myid vim myid # 新增 03.修改cfg文件zookeeper-3.4.5/conf目录下cp zoo_sample.cfg zoo.cfg vim zoo.cfg# 新增# server.服务器id(myid)=...

2020-04-30 22:43:58 325

原创 05hbase安装

1.解压缩tar -zxvf hbase-0.98.6-hadoop2-bin.tar.gz2.配置环境hbase/conf目录下hbase-env.sh vim hbase-env.sh # 新增 export JAVA_HOME=/usr/local/src/jdk1.8.0_172 export HBASE_MANAGES_ZK=false # false用第三...

2020-04-30 22:37:46 396

原创 02spark安装

spark-1.6.0下载链接：https://pan.baidu.com/s/1xZj2YGqds1JZAJF6o9uKfA提取码：o9wv一、安装1.解压缩spark-1.6.0-bin-hadoop2.6.tgztar -zxvf spark-1.6.0-bin-hadoop2.6.tgz2.进入con目录spark-env.sh新增参数cp spark-env.sh.t...

2020-04-28 22:09:00 168

原创 03hive安装

2、3、4下载链接：https://pan.baidu.com/s/1Ddcd6Aba3AhTUtFwCEytxw提取码：islr1.安装mysqlcentos7安装mysql2.解压缩tar -zxvf apache-hive-1.2.2-bin.tar.gz3.hive/lib增加文件mysql-connector-java-5.1.41-bin.jar4.hive/con...

2020-04-24 22:22:35 153

原创 centos7安装mysql

一、删除原系统的mysql1.查看系统中是否已安装 MySQL 服务rpm -qa | grep mysql2.如果已安装，则删除 MySQL 及其依赖的包：yum remove mysql-*3.删除遗留目录：rm -rf /etc/my.cnfrm -rf /var/lib/mysql/二、下载新mysql1.下载 mysql57-community-release-e...

2020-04-23 16:02:02 123

原创 git提交超过100M

今天提交文件的时候发现报错——this exceeds GitHub’s file size limit of 100.00 MB两种方式解决先回退提交git reset --soft HEAD~1使用LFS1.下载lfs 安装lfshttps://git-lfs.github.com2.进入工程目录 git lfs install git lfs track "*....

2020-03-16 00:34:23 181

微信打飞机

购物车案例

空空如也