- 博客(213)
- 资源 (26)
- 收藏
- 关注
RSS订阅原创 maven打包报错java.lang.StackOverflowError解决方法
spark+Hbase+phoenix项目的时候，使用maven打报的时候maven clean install -DskipTests在编译过程中发现报错java.lang.StackOverflowError查阅资使用在maven项目打包的时候报错,java.lang.StackOverflowError解决方法在setting->maven->runner->VM Options中添加 -Xss4096k 后问题仍然无法解决。后经过研究，对于spark，hba
2021-04-26 11:27:26
2293
1
原创 centos7 复制虚拟机后ping百度IP可以通，但是ping baidu.com域名无法联通问题
查阅资料，可以确定是DNS解析的问题。可以可以修改:vim /etc/resolv.conf为如下：即可
2021-03-14 19:08:50
429
原创 ClickHouse列和表的TTL
列和表的 TTLTTL 可以设置值的生命周期，它既可以为整张表设置，也可以为每个列字段单独设置。表级别的 TTL 还会指定数据在磁盘和卷上自动转移的逻辑。TTL 表达式的计算结果必须是 日期 或 日期时间 类型的字段。示例：TTL time_columnTTL time_column + interval要定义interval, 需要使用 时间间隔 操作符。TTL date_time + INTERVAL 1 MONTHTTL date_time + INTERVAL 15 HOUR列
2020-10-22 16:01:19
2823
3
原创 go程序向kafka中写入数据一段时间没有数据,然后再发数据报错
kafka: Failed to produce message to topic bi-data-cti-prod-sany: kafka server: Tried to send a message to a replica that is not the leader for some partition. Your metadata is out of date., &{Topic:bi-data-cti-prod-sany Key:119 Value:{"MainType":2,"Ext
2020-07-31 10:32:19
1769
1
原创 Ambari部署后重启DataNode失败
Traceback (most recent call last): File "/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py", line 995, in restart self.status(env) File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/HDFS/package/scripts/datanode.py", l
2020-07-31 09:32:23
803
2
原创 ***error*** (zip#write) sorry unable to update
今天子通过vim修改jar包中properties的配置文件时,在修改完成配置后,保存时发现一个问题:error (zip#write) sorry unable to update查看包的大小为165M.经过排查发现该问题是由于zip/unzip对于解压文件的大小限制问题引起的,通过去掉无用的maven引入,将jar缩小到90M时,重复上面操作,保存成功...
2020-07-30 19:42:37
4603
4
原创 ambari部署大数据私有化集群运行Flink报错解决处理方案
报错如下:[ansible@ALIBJ-TEST-OnPre-BigData1 bin]$ ./start_hour.shSetting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.Using the result of 'hadoop classpath' to augment the Hadoop classpath: /usr/hdp/3.1.4.0-315/hadoop/conf:/usr/hdp/3.
2020-06-29 17:55:06
1062
原创 Failed to install the following Android SDK packages as some licences have not been accepted.
解决方案:yes | sdkmanager --licensesUbuntu:yes | ~/Android/Sdk/tools/bin/sdkmanager --licensesmacOS:export JAVA_HOME=/Applications/Android\ Studio.app/Contents/jre/jdk/Contents/Homeyes | ~/Library/Android/sdk/tools/bin/sdkmanager --licensesWindows:%
2020-06-09 22:30:10
280
原创 python SASL报错
Traceback (most recent call last): File "phone.py", line 203, in <module> main() File "phone.py", line 119, in main data = get_data() File "/home/hadoop/phone_location_info/conf.py", line 30, in wrapper data = fun(*args, **kwargs)
2020-05-28 14:22:16
450
原创 linux环境python虚拟环境安装sasl时报错
ERROR: Command errored out with exit status 1: command: /home/hadoop/.virtualenvs/phone_location_info/bin/python3 -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-o5ypiowe/sasl/setup.py'"'"'; __file__='"'"'/tmp/pip-install-..
2020-05-27 17:54:57
2049
原创 python 更正 pip install 默认镜像源
pip config set global.index-url http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
2020-05-09 13:34:04
2031
原创 RuntimeError: dictionary changed size during iteration
今天在研究图像处理时,使用到了tensorflow,在虚拟环境中使用 pip install tensorflow -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com时,程序在引入tensorfow后就报错,初步,根据日志推测应该是版本的问题>>> import tensorflow as t...
2020-05-07 14:55:05
427
原创 python+websocket匿名聊天室实现
疫情期间,先来无事,鼓捣些小玩意,本次介绍下python匿名聊天室实现1.看效果实现起始比较简单,主要是使用websocke实现前后端通信而已:先看卡前端代码: <script> var socket = new WebSocket("ws://192.168.96.128:5000/message"); socket.onmessage =...
2020-05-06 17:15:07
2075
2
原创 ImportError: cannot import name 'AbortAction' from 'prompt_toolkit' (/Users/icsoc/.virtualenvs/alert
(alert-manger) ➜ alert-manager git:(master) ✗ pip install prompt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.comLooking in indexes: http://pypi.douban.com/simple/Collecting promp...
2020-04-29 17:45:12
591
原创 kivy调整窗口大小
from kivy.config import Configfrom kivy.core.window import WindowConfig.set('graphics', 'resizable', 0)Window.size = (200, 20)
2020-04-29 10:02:37
1183
原创 记一次python环境问题排查
ERROR:root:code for hash md5 was not found.Traceback (most recent call last): File "/usr/local/Cellar/python@2/2.7.16/Frameworks/Python.framework/Versions/2.7/lib/python2.7/hashlib.py", line 147, i...
2020-04-23 23:58:01
941
1
原创 FFmPge for Mac安装
Mac上安装FFmPeg比较容易,只需要使用Homebre命令即可,具体命令如下:brew install ffmpeg
2020-04-15 16:59:30
187
原创 Android SDK ADB命令行总结
查看设备日志adb logcat输出日志到文件adb logcat>android.loglogcat 有缓存，如果仅需要查看当前开始的 log，需要清空之前的 adb logcat -c && adb logcat查询某个APP的日志 adb logcat | grep TrafficMonitor adb logca...
2020-04-15 16:05:24
364
原创 SDK Platform Tools for Mac 安装
第一步:首先要在Mac上安装homeBrew,homeBrew是mac系统中比较重要的软件安装部署命令.第二步:点击Item进入命令操作窗口第三步:执行命令brew cask install android-platform-tools安装Andoid SDK Tools测试安装是否成功: 如果adb 命令执行成功,表示sdk-platform tools安装成功...
2020-04-15 11:29:32
3120
原创 Appium For Mac 安装
如果学习Android自动化或者爬取Android APP的数据,对于Appium是一个不错的选择,下面我们研究一下Appium的安装:安装方法一:直接登录到http://appium.io/ 网站点击下载,下载如图的.dmg文件下载完成后,点击.dmg文件,就会自动安装,拖动Appium图表到Appilication文文件夹,等到文件赋值,赋值完成之后,关闭界面,Appium界面化安...
2020-04-15 11:14:19
822
原创 Appium+Android SDK自动阅读今日头条极速版新闻
from appium import webdriverfrom time import sleepimport json#获取进入主界面的配置idesired_caps = {}desired_caps['platformName'] = 'Android'desired_caps['platformVersion'] = '9.0'desired_caps['deviceName...
2020-04-15 10:59:24
1505
原创 Mac 下 Android Studio 安装
Mac 下 Android Studio 安装之前已经介绍了 Windows 系统下的 android Studio 的安装了，今天小沙给大家介绍下 Mac Os 系统下的 Android Studio 的安装吧，二者步骤类似。方法/步骤首先下载 Mac 环境下的 Android Studio 的安装包，为 dmg 格式的，如下图所示。点击进行安装，安装过程同 Mac 的其他应用程序一致，...
2020-04-15 10:54:21
2624
原创 python结合opencv,dlib实现人脸选中识别
1.pip安装包pip install opencv-python opencv-contrib-python -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com2.之前只是安装这两个包就能够实现,但是在更新MacOS后,发现报错了,错误日志如下:qt.qpa.plugin: Could not find t...
2020-04-03 22:49:51
186
原创 python自动化测试之pytest+allure部署
pytest + allure 数据Check配置sql,根据sql查询结果,进行数据对比校验# druid_sql_data_checkpytest + allure 数据最对比,最终展示子页面上,方便用户对数据问题进行排查python包pip install pytest==4.0.2pip install py.testpip install pytest-allure-adap...
2020-04-01 11:09:47
345
原创 Linux下安装npm
curl --silent --location https://rpm.nodesource.com/setup_10.x | bash -yum install -y nodejsnpm install -g cnpm --registry=https://registry.npm.taobao.orgnpm installnpm run buildnpm -v
2020-03-04 21:28:31
292
原创 python使用pika订阅rabbitmq消息链接被重置问题
最近在做一个运维监控系统的时候，使用python的pika插件订阅rabbitmq消息，程序在运行一段时间后，总是会报链接被充值的错误，具体报错如下：Traceback (most recent call last): File "/home/hadoop/.virtualenvs/alert-manager/lib/python3.6/site-packages/pika/adapters...
2020-02-07 10:31:05
4597
原创 druid.io中kafka-index-service移交多次失败的问题排查与处理
问题日志如下:2020-02-02T23:41:03,855 INFO [publish-0] io.druid.indexing.kafka.KafkaIndexTask - Persisting Sequences Metadata [[]]2020-02-02T23:41:03,856 INFO [publish-0] io.druid.segment.realtime.appender...
2020-02-03 15:38:25
505
原创 python虚拟环境virtualenv搭建
pip install virtualenvpip3 intall virtualenvwrapper配置启动初始化vim ~/.bashrc将source /usr/bin/virtualenvwrapper.sh添加到.bashrc末尾即可重新登录服务器即可
2020-01-13 18:54:22
342
原创 centos下安装python3命令
第一步:yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum ins...
2020-01-13 18:51:31
188
原创 git操作命令
create a new repository on the command lineecho "# visualization" >> README.mdgit initgit add README.mdgit commit -m "first commit"git remote add origin [email protected]:AIOSCloud/visualizati...
2019-12-20 13:32:07
109
原创 io.druid.java.util.common.ISE: Could not allocate segment for row with timestamp
今天使用阿里云druid.io服务,发现kafka-index-service这个任务都以失败结束,查询错误日志,错误如下io.druid.java.util.common.ISE: Could not allocate segment for row with timestamp[2019-11-21T09:17:29.000Z] at io.druid.indexing.kafka.Ka...
2019-11-21 17:20:52
1664
9
原创 druid.io数据迁移之insert-segment-to-db Tool
druid.io数据迁移之insert-segment-to-db Tool
2019-11-20 15:28:09
381
原创 druid.io数据重建之insert-segment-to-db
java -Ddruid.metadata.storage.type=mysql -Ddruid.metadata.storage.connector.connectURI=jdbc:mysql://emr-header-1:3306/druid -Ddruid.metadata.storage.connector.user=root -Ddruid.metadata.storage.conne...
2019-11-20 15:27:22
317
原创 Linux磁盘满或者linunx小文件较多导致inode满的问题排查
查看磁盘使用情况 ~ df -hFilesystem Size Used Avail Capacity iused ifree %iused Mounted on/dev/disk1s1 234Gi 213Gi 16Gi 93% 3007210 9223372036851768597 ...
2019-11-14 09:46:25
754
原创 Phonix按照时间倒序排序实现
CREATE TABLE IF NOT EXISTS AGENT_TEST( Id INTEGER NOT NULL, time DATE NOT NULL, vccId varchar NOT NULL, agId varchar NOT NULL, readyNum BIGINT CONSTRAINT PK PRIMARY KEY(Id,time DESC,vccId,agId)...
2019-11-13 15:47:18
402
原创 Pandas速查手册中文
导入数据pd.read_csv(filename)：从CSV文件导入数据pd.read_table(filename)：从限定分隔符的文本文件导入数据pd.read_excel(filename)：从Excel文件导入数据pd.read_sql(query, connection_object)：从SQL表/库导入数据pd.read_json(json_string)：从JSON格式的字...
2019-11-12 13:54:49
469
原创 SCP指定端口在服务器之间赋值文件命令
scp -P 7922 -r /home/hadoop/cti/ [email protected]:/home/hadoop/
2019-10-30 11:03:45
391
转载 linux中批量替换文本中字符串
https://blog.csdn.net/zj0910/article/details/12870035（一）通过vi编辑器来替换。```csharpvi/vim 中可以使用 :s 命令来替换字符串。:s/well/good/ 替换当前行第一个 well 为 good:s/well/good/g 替换当前行所有 well 为 good:n,$s/well/good/ 替换第 n 行...
2019-10-14 11:28:46
2932
原创 linux压缩和解压缩命令大全
tar命令解包： tar zxvf FileName.tar打包：tar czvf FileName.tar DirNamegz命令解压1：gunzip FileName.gz解压2：gzip -d FileName.gz压缩：gzip FileName.tar.gz gzip FileName .tgz解压：tar zxvf FileName.tar.gz...
2019-10-09 14:33:59
69
Phonix性能调研.docx
2019-11-22
Druid-Lookups.postman_collection.json
2019-06-05
大数据相关书籍
2017-12-21
Netty权威指南
2017-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人