- 博客(30)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 CDH6.2.1集群kafka配置外网访问配置
在Kafka每个节点中添加：listeners=PLAINTEXT://0.0.0.0:9092,advertised.listeners=PLAINTEXT://10.128.53.66:9092选择KAFKA服务后，单独点击每个节点的配置在每个节点配置下搜索高级，添加上面两行参数，advertised.listeners 为对应的ip所有节点修改完后，重启kafka。在Kafka节点执行如下命令，可以看到9092端口的监听地址从原来的本机IP变成了两个冒号（:::9092）或者是四个
2020-10-28 10:50:09
1248
原创 Flink Table API和SQL的分析及使用（二）
案例：读取Csv文件中的内容，打印到控制台a.csvzs,15ww,18ls,20package com.example;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.api.common.typeinfo.Types;import org.apache....
2020-02-27 15:23:18
392
原创 Flink Table API和SQL的分析及使用（一）
Flink针对标准的流处理和批处理提供了两种关系型API：Table API 和 SQL。Table API 可以直接进行select、filter、join等操作；Flink SQL则是基于Apache Calcite实现标准的SQL，和SQL语言一致，适合大部分开发人员。Flink Table API和SQL 捆绑在Flink-Table依赖中，如果要使用需要添加一下依赖：以Flink 1...
2020-02-27 15:12:48
1326
1
转载 Get 与 Post 的区别
Get 和 Post 是从客户端浏览器向服务器发送数据参数的 HTTP 方法。这些参数可以是表单的输入、搜索标签的查询等。每当网页需要响应给用户相应的响应，或者我们甚至将其称为用户交互网页，这些 HTTP 方法就扮演了一个重要的角色，为服务器提供用户特定的输入。但是你可能想知道为什么我们需要两个不同的方式来发送输入内容。为了回答这个问题，理解这些方法的工作原理是很重要的，这样你就可以更好的理解实际...
2020-01-10 09:50:29
116
原创 centos7配置可访问外网网络
修改ip地址vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no #这里设置为静态IP BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCON...
2019-12-27 10:25:30
1059
原创 pom文件打包插件
<build> <plugins> <!-- 编译插件 --> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId...
2019-12-04 20:13:35
519
原创 centos7静默（无图形界面版）本地离线安装oracle
系统版本为CentOS Linux release 7.6.1810 (Core)，私有云服务器一、挂载iso文件及修改本地yum源1.先在私有云web界面上挂载iso文件 CentOS-7-x86_64-DVD-1810.iso，虚拟机可以在光驱上选择iso文件2. 将iso挂载到/media目录mount /dev/cdrom /media3. 进入etc下的yum.repos....
2019-10-25 17:19:58
3222
1
原创 flink读取kafka数据保存到redis
测试阶段采用了三台虚拟机，一台为master，两台为slave，已经在集群安装好了flink，kafka，zookeeper，redis。flink没有采用高可用模式，所以不需要hadoop，需要注意redis因为没有安装集群模式，是在每一台机器上安装的，这样的话导致master中的redis不会被用到，而任务开始后，slave1或者slave2中的redis是由flink的任务来选择的。服务开...
2019-08-08 10:10:04
4639
3
原创 VMWare虚拟机中Ubuntu 16.04 (linux无桌面)配置静态IP上网
参考：https://www.cnblogs.com/ddbear/p/7743617.html基础环境说明虚拟机： VMWare 12.5.2操作系统： Ubuntu 16.04 (无桌面)物理主机操作系统： win 7 旗舰版摸底VMware在安装之后，会创建2个虚拟的网络环境：VMnet1和VMnet8。其类型分别为：Host-only和NAT。其中，通过配置，NAT让...
2019-08-02 13:54:38
511
原创 Java多线程机制
进程：程序的一次动态加载过程，包括了代码加载，编译，执行，结束的一个完整过程线程：线程是比进程更小的单位，行为很像进程，一个进程在执行过程中可以产生多个线程多线程序机制：每个java程序都有一个主线程，当jvm加载代码，发现main方法，此时就会启动主线程，在mian方法执行过程中再创建的线程就是其他线程。线程的四种状态：新建状态：Thread类被创建运行状态：执行run()方法中断...
2018-12-25 13:37:57
3575
1
原创 python术语表
交互模式：shell界面模式脚本：.py文件程序脚本模式：运行.py文件程序模块：一个包含相关函数以及其他定义的集合文件泛化：给函数添加参数的过程接口：描述函数如何使用的说明重构：重写函数，修改代码，改善接口以及代码质量的过程无效代码：return之后的代码，即程序永远不会到达的地方增量开发：程序开发过程，每次只增加少量的代码，加以测试（多使用print测试），来减少调试。...
2018-12-03 19:27:26
333
原创 flume接收kafka数据，设置偏移量
kafka官方文档中对于它的偏移解释：auto.offset.reset解释：What to do when there is no initial offset in Kafka or if the currentoffset does not exist any more on the server (e.g. because that datahas been deleted)...
2018-11-14 10:01:18
5315
1
原创 尝试flume配置文件从启动命令接收参数
接着上一篇flume接收数据传入hbase。这次的目的是：flume配置文件sink指定hbase的表名可以当成参数进行接收，以便于能随外部切换hbase不同的表。例如在test.conf中a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = ...
2018-11-09 17:01:41
1553
1
原创 flume接收数据传入hbase，并生成指定的rowkey和column
接口源码文章：https://blogs.apache.org/flume/entry/streaming_data_into_apache_hbase参考博客：https://blog.csdn.net/m0_37739193/article/details/72868456目的：flume从event中取出数据作为hbase的rowkey使用flume接收数据，再传入hbase中，要求中...
2018-11-09 16:20:49
2587
原创 spark读取和存储jdbc数据库
框架import java.sql.{DriverManager, SQLException}import org.apache.spark.sql.DataFrame //读取数据(读取出来的数据为dataframe格式) //connection:jdbc的配置存储 //source:读取的源表 def read(source: String, c...
2018-10-29 10:05:42
1693
原创 使用python生成数据导入linux中的mysql
使用jupyter工具：用mysql创建一个数据库，模拟一张商品销量表，表字段和内容需求（需求不一定很明确，逻辑严谨是重点，mysql安装在自己电脑的vmware虚拟机中，虚拟机系统建议ubuntu）：商品ID（模拟1000个商品）、商品卖出时间（建议2014-01-01 00:00:00:00到2015-03-01 00:00:00:00，间隔random(0,10)秒递增）、卖出价格（建议...
2018-09-27 11:31:57
365
原创 Hbase Table already exists的处理方法
hadoop重新格式化后，hdfs上没有了数据，在hbase中新建表。但是却出现了新的问题，新建表时，总是提示Table already exists。是因为以前建过同名的表，可是HDFS上和Hbase相关的东西都已经删除了。是zookeeper的原因导致，因为zookeeper保存有hbase表的地址。数据访问是通过zookeeper的地址转到hdfs上。这是hbase物理存储结构所决定的。解...
2018-09-26 15:44:21
2735
转载 Xshell 连接Linux虚拟机失败解决办法（未开放22端口）
原文地址 http://www.linuxdiyf.com/linux/16710.html当我们安装好ubuntu，用ssh远程登录时，会出现如下错误。[c:\~]$ ssh 192.168.142.84 Connecting to 192.168.142.84:22… Could not connect to ‘192.168.142.84’ (port 22): Connecti...
2018-05-05 20:12:10
65623
7
原创 selenium爬取bilibili热门视频排行榜
爬取内容为：排名，标题，播放量，弹幕量，作者名 结果如下： 1 【梗百科43】梗百科完结？从不正眼看人的社会小猪！？真讲究！ 吃素的狮子 15.8万 3362 2 【纯黑】《战神4》最高难度无伤攻略解说 第二期 纯黑爺 35.5万 8324注： if name == ‘main‘和def init (self), 这两个代码部分无法显示双下划线.需要在nam...
2018-04-28 21:26:42
1254
原创 python使用BeautifulSoup爬取2345电影网
需求：爬取电影名，评分，主演 捉妖记2 梁朝伟 白百何 9.3分 喵星人 古天乐 马丽 9.0分 祖宗十九代 岳云鹏 吴京 8.9分 奇门遁甲 大鹏 倪妮 9.0分 勇敢者游戏:决战丛林 道恩・强森 凯文・哈特 9.3分 首先对网页链接分析，第一页：https://dianying.2345.com/...
2018-04-18 20:14:54
2119
转载 JFreeChart中文乱码和文字模糊问题的通用解决方案
在使用JFreeChart (http://www.jfree.org/jfreechart/ )做中文的图表时，中文乱码是一个最常要处理的问题，看网上许多文章都是在JFreeChart对象上下功夫，每次都得重新设置字体，比较麻烦。其实JFreeChart为我们提供了一个通用的解决方案——ChartTheme 。 ChartTheme有一个默认的实现类StandardChartTheme ，该类提
2017-09-08 09:53:03
868
1
原创 gson解析map和list
import java.util.ArrayList;import java.util.List;import java.util.Map;import com.google.common.reflect.TypeToken;import com.google.gson.Gson;public class jsonParse{ class City{ int id; S
2017-09-04 17:13:52
929
转载 mapreduce内存溢出，导致Killing container问题
17/08/25 20:06:31 INFO mapreduce.Job: Task Id : attempt_1503705857308_0004_m_000000_0, Status : FAILED Container [pid=1682,containerID=container_1503705857308_0004_01_000002] is running beyond virtual
2017-08-26 16:36:20
1993
转载 Hadoop历史服务器详解
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器$ sbin/mr-jobhistory-daemon.sh start historyserver 这样我
2017-08-12 14:17:12
596
转载 HBase Shell回删字符
第一步 第二步，默认BACKSPACE键序列的选项是“Backspace(Ctrl+H)(K)”,修改成ASCII 127即可
2017-07-25 11:57:02
726
转载 hadoop HDFS常用文件操作命令
命令基本格式: hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件2.put hadoop fs -put < local file > < hdfs file > hdfs file的父目录一定要存在，否则命令不会执行hadoop
2017-07-18 20:10:06
569
原创 在eclipse上Mapreduce出现nativeio的错误
使用Mapreduce处理数据时，出现这样一个错误 nativeio中的access0类报错,出现这个错误是由于权限问题。 Ctrl点击access, 进入NativeIOWindows类,接着在同一个文件下创一个新包，复制NativeIOWindows类,接着在同一个文件下创一个新包，复制NativeIOWindows的全部内容。 把里面内容修改为return true
2017-07-15 22:00:18
444
转载 hadoop多次格式化namenode造成datanode无法启动问题解决
今天在机器上新装了hadoop2.6.0想体验一把新版本特征，安装好后发现启动dfs时datanode老是启动不了 查看namenode日志发现以下问题： 按日志内容来看，namenode和datanode的clusterID不一致。突然想起来之前格式化了两次namenode，应该是由于namenode多次格式化造成了namenode和datanode的clusterID不一致！每次格式化时，n
2017-07-14 15:10:05
7213
7
原创 配置了错误maven的镜像，导致项目不可读取包，eclipse项目出现红感叹号
今天打开eclipse创建了一个maven工程，但是在里面创建了一个类后， 项目上就出现了红感叹号，不管怎么运行，控制台什么也不出现。刚开始我以为是包出现了冲突，右击项目工程选择Build Path->configure Build Path->Java Build Path下的Libraries查看是否有错误包，但是检查 过后，发现并没有错误包。 接着我打开了Window->Prefere
2017-07-11 14:09:34
824
breast-cancer-wisconsin.names.zip
2019-05-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人