学编程的渣渣-CSDN博客

原创 Flink的窗口函数

Windows是处理无限流的核心。Windows将流分成有限大小的“存储桶”，我们可以在其上应用计算。窗口分为Keyed Windows与Non-Keyed Windows，Keyed Windows:stream .keyBy(...) <- keyed versus non-keyed windows .window(...) <- required: "assigner" [.t

2020-11-27 17:39:01 542

在clouderManger中某个节点中的所属服务无法重启，界面无内容显示，首先排查agent是否启动，用 ps -ef | grepcloudera-scm-agent 查看agent是否启动，如没有，则先要重启 agent重启：service cloudera-scm-agent restart如果该命令无法使用，则需要进入/opt/cm-5.12.0/etc/init.d 目录下使用 ./cloudera-scm-agent restart 启动该服务服务起来之后，进入该监控.

2020-07-10 13:58:44 304

原创关于atomXXX类的测试

今天看了atomXXX类，并做了测试，踩了很多坑，记录一下。我实现了对数字从1加到10001，使用 AtomicIntegerpublic class xianCheng { AtomicInteger count = new AtomicInteger(1); void m(){//定义方法数字1累加一千次 for (int i=1;i<=1...

2020-04-19 00:19:37 327

原创 kettle之将excel数据导入mysql

一、新建转换二、获取excel数据根据excel的数据格式，获取相关引擎，然后通过浏览找到文件位置，选中后点击增加，放入选中文件。然后点击浏览记录，查看是否成功，最后点击确定。三、表输出在第一步新建数据库连接：完成之后，第二步输入表的名字获取相关字段，如果库里面没有该表，点击sql，执行sql语句，就可以了。最后点击确定，执行，就成...

2020-03-18 17:31:21 1691 1

原创 kettle的安装与使用一

kettle的下载地址：https://sourceforge.net/projects/pentaho/files/下载自己想要的版本（我下载的是8.2）下载完成之后，移动到自己想要安装的目录，解压。解压完成之后，windows系统上运行Spoon.bat,启动时间会有点长，耐心等待。当启动完成之后，界面：启动完成之后，点击文件，新建转换：就可以根据输入输出...

2020-03-16 10:05:25 316

原创为了1024勋章，强行发一条博客

从网上找了很老的个段子：某人发帖子：“各位JR，我想做一个程序猿，请问有什么要注意的……”某猿：“等我下班跟你细说……”然后……就没有然后了。哈哈哈...

2019-10-24 16:40:19 310

原创 Linux中ping不通外网

https://blog.csdn.net/teddy6866/article/details/78790234写的很详细，如果linux ping不通外网，但是ping的通主机可以看看。

2019-08-14 17:32:03 426

原创 ES之RestHighLevelClient 客户端连接基本配置

刚使用es的RestHighLevelClient连接了es集群，查了很多资料，请各位大佬指正。。。maven的配置： <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsear...

2019-08-06 16:13:20 23002 15

原创 scrapy爬虫数据传入mysql以及处理数据缺失问题

一、python的安装以及scrapy的安装http://www.scrapyd.cn/doc/这是scrapy的中文文档，里面的scrapy的安装方法很好用，强烈推荐。二、对于爬虫的编写、遇到的问题以及解决方法按照scrapy中文网站的流程，创建项目，编写，css选择器，翻页，里面都有很详细的说明，如果数据想要写入txt文档，那很简单，但是我的需求是写入mysql，数据量不算大，但...

2019-04-19 14:35:12 1819

原创 python scrapy框架爬取网页页数多时，造成数据为空

在写爬虫时，发现一个问题（使用的时scrapy蜘蛛爬虫），获取某一个页面的数据时，使用css选择器，没有任何问题，但是当用到连续翻页时，页面张数大于5，就会出现，response正常，返回码为200，但是返回的数据为空，我在for循环中加入了time.sleep也没有用。百度原因，发现是因为scrapy中默认的页面请求速度与数据下载速度过快，造成服务器返回的数据为空...

2019-02-18 15:58:10 4259

原创项目小笔记2

spark 知识点https://www.cnblogs.com/liuliliuli2017/p/6809094.html sparkstreaming 统计广告实时点击次数以及累加从kafka获取即时数据，拆分，以点击的url为key进行reduce var a = stream.map(x => (x.value().split(" ")(6) , 1)) ...

2019-02-18 15:28:03 135

原创关于腾讯锋刃 druid Impala 介绍

https://www.infoq.cn/article/BDizxoQ766UKblld-E1u

2018-12-06 11:09:54 728

原创 kafka详细配置

https://www.cnblogs.com/alan319/p/8651434.html 编辑config/server.properties文件：彻底删除topic配置： delete.topic.enable=true 再添加一个beeline 的详细参数设置https://www.cnblogs.com/30go/p/8706850.html ...

2018-10-10 08:59:04 219

原创 kafka使用小结

首先下载解压编辑配置文件server.properties的broker.id（每个节点的唯一标识）与 zookeeper.connect（zookeeper集群地址）配置环境变量二、启动首先启动zookeeper ，kafka依赖与zookeeper启动kafkakafka-server-start.sh -daemon /usr/local/kafka/conf...

2018-08-22 16:40:02 182

原创项目小笔记

Scala之集合上常见的函数式风格的操作汇总https://blog.csdn.net/bluishglc/article/details/53320654 flume官网http://flume.apache.org/FlumeUserGuide.html spark在线分析基本配置import java.time.LocalDateTimeimport jav...

2018-08-21 21:12:36 146 1

原创 MapReduce 收集日志分析访问量，点击流

61.235.163.33 - - [12/Jul/2017:00:00:59 +0800] "GET /good?shopId=4&goodId=10 HTTP/1.1" 200 450 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.339...

2018-08-16 22:16:49 832

原创 spark处理文件获取文件内容是每行为多个元组的处理方法

object text { def main(args: Array[String]): Unit = { var list = List(("u1", "r1,r2"), ("u2, u3", "r3")); list.flatMap(x =>{ /* * 获取List里面每个元组的以 “,” 分割的内容 * */ va...

2018-08-15 22:54:40 870