- 博客(77)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 TIA 博途模拟Modbus TCP/IP通信
使用西门子TIA + PLCSIM 模拟配置PLC的Modbus通信。（本次使用的TIA版本为v15.1，S7-PLCSIM Advanced V2.0 SP1）在TIA中创建新项目选择PLC 1500系列（因为我下载的S7-PLCSIM智能模拟1500系列），这里PLC也可以选择1200的哈。下图为最终的项目图。本次MB_HOLD_REG针脚为DB块，（本人已经尝试输入M内存类型也是ok的）PS：具体就是输入p#M10 Int 4(西门子Int为16位2二进制，也就是2个字节（byte）
2020-08-21 10:55:10
21732
3
原创 通过数据库SQLServer生成Hive表
此代码是读取SQLServerSchema 生成Hive表，仅供参考。source：是在hdfs哪里创建文件。env：是否为生产环境。
2022-09-22 09:55:07
600
原创 Cannot resolve com.baidu:ueditor:1.1.2
Cannot resolve com.baidu:ueditor:1.1.2刚要接手一个项目，用到了百度的UEditor,but在网上找了好久都没有找到此jar包，垃圾项目跑不起来。<dependency> <groupId>com.baidu</groupId> <artifactId>ueditor</artifactId> <version>1.1.2</version></d
2021-07-29 13:36:02
2060
原创 org.thingsboard.server.gen.* not Found
thingsboard gen目录下的类在IDEA中报错。Like this :分为两步解决这个问题：First :安装插件：有些版本的Protobuf Support 在Marketplace中找不到，那么我们需要本地下载zip文件，使用本地安装。插件下载地址：https://github.com/ksprojects/protobuf-jetbrains-plugin/releases/tag/v0.13.0然后点击本地安装：重启IDEA，接着发现还报错，找到不gen.xxx类
2021-05-31 10:23:48
2103
1
原创 Cnot find com.sun:tools:jar
java11去除了 com.sun依赖报下面这个错的话，应该先确认你的项目是java11+，还是java8-。Could not find artifact com.sun:tools:jar:1.8 at specified path C:\Program Files\AdoptOpenJDK\jdk-11.0.6.10-hotspot/../lib/tools.jar如果项目用的JDK就是java11+，且本地JDK version同样是11，那么你需要进行添加依赖了，依赖如下：<pl
2021-05-26 13:06:36
635
原创 windows10安装TimeScale
官网下载地址https://docs.timescale.com/latest/getting-started/installation/windows/installation-windows在安装PostgresSQL的插件——TimeScale时候，报错could not get pg_config --pkglibdir:,这是因为你在安装Postgres时没有将PostgresSQL所需的命令放到全局的环境变量Path中。确保你已经安装了PostgresSQL !!!win10是这样的：
2020-09-22 09:26:09
758
1
原创 PG分区表
PG-分区建分区表语句：PG版本为： PostgreSQL 11.8声明式分区表（推荐）：创建表时并 指定分区字段 为logdateCREATE TABLE measurement ( city_id int not null, logdate date not null, peaktemp int, unitsales int) PARTITION BY RANGE (logdate);创建
2020-09-03 14:19:30
987
原创 可通过SIMATIC S7-PLCSIM进行访问 不能选中
西门子TIA（博途）V15.1 无法下载到设备，报错为需要进行允许块的模拟，但是不 可通过SIMATIC S7-PLCSIM进行访问 不能选中！主要是想通过TIA + S7PLCSIM模拟出PLC的modbus通信对接，然后就遇到了这个问题。添加保护后，随便输入一个密码。编译完成后，再把有秘密的保护块移除保护。...
2020-08-21 08:50:14
7143
6
原创 Simense S7 OPC UA BadSecureChannelClosed
Simense S7 OPC UA BadSecureChannelClosed.可能原因是你的网络不通（虽然你可以进入OPC UA暴露的端口），如果使用的TIA开启的自带模拟器的话，应该会报错这个错误。解决方法单独启动PLCsimAdvance,然后在博途中创建PLC将软件下载到PLCsimAdvance开启的虚拟机中。...
2020-08-19 08:46:12
2159
原创 Java对接西门子S7
西门子软件下载地址：https://support.industry.siemens.com/cs/document/109761045/simatic-step-7-and-wincc-v15-1-trial-download?dti=0&lc=en-WW（试用版）本地网络与模拟器之间的通信连接软件：NetToPLCsim.exe(自己搜索一下)安装时退出所有的的乱七八糟的软件，比如XX杀毒软件。内粗小于8G不建议安装。（挺吃内存）一定要使用Administr
2020-08-17 10:14:59
5690
30
原创 OPC client安装教程
OPC Client使用安装教程这个软件是再国外下载的，如果不能上网就在附件中下载吧。一路点下一步就OK了完事儿！！！
2020-08-05 15:56:22
4328
1
原创 filebeat配置分析nginx的error.log和access.log
第一步：nginx打开Error.log配置#user nobody;worker_processes 1;#添加这一行，并指定error.log的存储位置error_log /var/log/nginx/error.log;#pid logs/nginx.pid;events { worker_connections 1024;}http { include mime.types; default_type applicati
2020-05-21 19:33:03
695
原创 FileBeat自定义index名称
FileBeat的版本为7.3.2，版本不同添加的参数不同！！！为何要自定义模板？因为我们在使用Kibana的时候有许多我们不需要分析的字段，这些字段的来源就是我们没有自定义FileBeat模板，FileBeat自带了N++个字段。编辑filebeat.yml文件，在output.elasticesearch模块下添加下面配置：#-------------------------- Elasticsearch output ------------------------------output.
2020-05-21 14:49:35
4472
1
原创 ELK——FileBeat配置ngnix log改为解析Json
FileBeat的版本为7.3.2，版本不同添加的参数不同！！！第一步：改Ngnix编辑ngnix.conf文件，在http模块下如下添加http { include mime.types; default_type application/octet-stream; #这里是默认给的示例 #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' #
2020-05-21 12:51:36
613
原创 RpcRetryingCaller: Call exception, tries=10, retries=35, started=39568 ms ag
找不到指定的服务器 （HBase 等等）。出现这种情况是集群主机名找不到。我是两个不同的集群相互访问所以/etc/hosts文件需要将所有的节点都添加上主机名和IP的映射。...
2020-04-26 13:14:19
1790
原创 sqoop将MySQL表导入Hive
sqoop import \--connect jdbc:mysql://cdh03:3306/demo \--username rone --password 123456\--table t_vehicle_01 --fields-terminated-by "\t" \--lines-terminated-by "\n" -m 1 \ --hive-import --hive-da...
2020-04-08 22:27:26
205
原创 assertion failed: Failed to get records for spark-executor3 24025 after after polling for 1000
这个问题有必要记录一下！！！！报错信息如下任务运行时，Task锯齿图有人说加参数"spark.streaming.kafka.consumer.poll.ms", 512如果你尝试这个成功了那么恭喜你，可以关闭此博客了！我们项目遇到了这个问题，加了参数没得用，而且导致job失败，本来job虽然会慢一点，但是加了这个参数则会报上面截图的错误！左思右想不知道怎么回事儿！带宽问题？...
2020-04-01 15:20:15
3302
1
原创 IDEA解决Maven仓库jar下载失败
在Maven仓库中有些jar包虽然引入到了pom文件中，但是刷新pom时这个jar总是下载失败！第一步、去maven仓库中将所需的jar下载到本地第二步、尝试将下载好的jar假如本地仓库（仅作jar文件路径是否正确的验证）第三步、在idea中点击package重写命令并运行重启就OK了！#################################本次以redislab为指导操作确...
2020-03-29 12:18:24
668
原创 Can't get Compute Engine task status.
Sonar导出PDF插件用IDEA打包报错：Can't get Compute Engine task status.将test skip就OK了
2020-03-27 11:39:52
2806
2
原创 SparkStreaming变慢问题分析
SparkStreaming跑着跑着会变慢！我们的任务是每秒解析1800条数据，而每天早上我去查看解析速度的时候发现每秒只解析了500条左右！看了下Yarn集群的运行日志，我发现每天晚上凌晨的时候都有一个定时的job在运行！这导致本来集群资源就不足！3个计算节点每个节点16核128G，一共才48核。我们的SparkStreaming任务 Repartition了一次（提高并发量），这样则Re...
2020-03-26 11:22:39
1194
1
原创 HBase Import MR运行显示成功但是没有写入数据
这里没有报任何错误，如果导入的文件路径不对或者说没有表运行时肯定会报错的。上图中没有报错而且提示运行成功！问题出在哪里呢？？？？？应该去查看你导入的目标表创建时指定了列簇的TTL否？如果指定了 那么请将目标表的TTL设置大于一天也就是86400！！！TTL如果小于or等于86400则会失败。create 'test:ErrorsTable',{NAME => 'f1', TTL=...
2020-03-18 19:10:05
691
1
原创 Flume常见Source、Channel、Sink配置
整合一下Flume常见的Source、Channel、Sink的配置--------------------------常见的Source的配置--------------------Avro Source配置：参数默认值描述channels-与之相连的Channel，可以配置多个。用空格隔开。在单个代理流程中，是通过channel连接sources和sinks。一...
2020-03-12 18:03:01
1456
原创 Flume消费Kafka数据写入HDFS
主要是消费kafka中不同topic落入不同的文件夹上这里仅作为参考因为我是在华为云上使用Flume消费Kafka数据到OBS（华为云的对象存储产品 s3a）适当做了修改Flume版本1.6.0#这里Source1、2 channel01 sink02 随便写 只需要在后面引用的时候对应起来就好server.sources = Source1 Source2 server.channe...
2020-03-12 16:13:37
515
原创 Container killed by YARN for exceeding memory limits
SparkOnYarn资源不足本以为申请的资源够了呢，没想到任务跑了3个小时就死掉了去Yarn上看日志看到下面这个玩意儿20/03/12 11:33:03 ERROR YarnClusterScheduler: Lost executor 2 on node-ana-corePKeW: Container killed by YARN for exceeding memory limits...
2020-03-12 15:41:23
552
原创 Json4s的一些用法 JSon转对象实体 Json转Map Map转Json
Json4s 全称就是Json For Scala，为Scala而生首先上Maven依赖配置，其实Spark中自带了Json4s如果是编写Spark代码,并不需要单独引用Json4s的依赖了 <dependency> <groupId>org.json4s</groupId> <artifactId>json4s-jack...
2020-02-12 14:24:51
1685
原创 IDEA build Spark Artifact包 控制jar大小
使用IDEA打Spark jar包我们使用Scala编写Spark程序代码，需要将编译好的jar放到集群环境中跑任务，但是集群中大部分的依赖包已经存在了,我们就不需要将其再次打入到Spark程序包中，这个操作类似于用Maven打包的<scope>provided</scope>今天抽空写一下用IDEA build Artifact包。PS ：Scala开发环境以及使用...
2020-01-18 15:36:32
598
原创 SparkStreaming maxRatePerPartition参数
SparkStreaming每次读取Kafka数据量的问题假设：我们的Sparkt window窗口设置10s(10s拉取一次kafka数据)Kafka的Partition有3个maxRatePerPartition设置为5000那么Spark每次拉取的数据为 10s * 3 * 5000 = 150000 条我们知道使用SparkStreaming的Direct模式消...
2020-01-18 14:50:41
1784
2
原创 解决同步Kafka集群，消费不到数据
今天使用华为云(Dest）同步金山云(Source)Kafka数据时，华为云一点点响应都没。我登录控制台尝试直接启动Consumer去消费，结果也是一样消费不到数据！接着就是确认网络通不通的问题了！ping 一下 ok 通的telnet 一下 ok 可以进入9092端口的那么到底哪里出了问题了呢？左思右想不得琦姐。出去走了一圈突然想到了，以前在自己搭建的大数据环境上也遇到过这种问题...
2020-01-15 16:51:31
1354
原创 Spark程序调用json4s报错[java.lang.NoSuchMethodError: org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/Js]
直接使用Spark中自带的Json4s 就解决了。我的pom中指定了Json4s,如下： <dependency> <groupId>org.json4s</groupId> <artifactId>json4s-jackson_2.11</artifactId> <version>3....
2020-01-13 15:21:31
1610
原创 org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl - Interrupted while waiting for qu
今天用华为云MRS跑Spark On Yarn 报出一个没见过的错误2020-01-13 10:49:44,667 [AMRM Callback Handler Thread] INFO org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl - Interrupted while waiting for queue...
2020-01-13 12:08:52
3323
1
原创 SparkStreaming消费不到Kafka的数据
我这边遇到的问题是由于手动维护了offset，指定了分组我新增了一个Topic，新创建了一个Consumer。但是保存Redis里面的分组还是原来的test所以消费不到啊！！！！！...
2019-12-26 17:12:26
1428
原创 Missing required configuration "key.serializer" which has no default value.
SparkStreaming写入Kafka报错Missing required configuration "key.serializer" which has no default value.这是因为你在KafkaParams参数时没有指定key.serializer将KafkaParams配置项设置为以下格式就ok了/** * 设置Kafka参数 */ ...
2019-12-25 16:38:01
13983
2
bigdata面试.zip
2020-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人