- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 superset简易使用
简介：官网：https://superset.apache.orgApache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。Superset是由Python语言编写的web应用，要求python3.6的环境使用场景：由于Superset能够对接常用的大数据分析工具，如Hive、Kylin等，且支持自定义仪表盘，故可作为数仓的可视化工具。在集群中安装后使用8787端口访问，密码账号都可提前设
2021-04-21 19:23:24
449
原创 apache accumulo学习
Why使用ApacheAccumulo，用户可以跨集群存储和管理大型数据集。Accumulo用途Apache Hadoop的HDFS来存储它的数据和阿帕奇动物园管理员为了达成共识。虽然许多用户直接与Accumulo交互，但有几个开源项目使用Accumulo作为其基础存储。类比hbase。介绍Apache Accumulo是一个排序的分布式密钥/值存储，它提供健壮的、可伸缩的数据存储和检索。Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案
2021-02-07 09:54:00
984
原创 大数据数仓建模（5）
第5章 总结5.1 数仓概念总结1）数据仓库的输入数据源和输出系统分别是什么？输入系统：埋点产生的用户行为数据、JavaEE后台产生的业务数据。输出系统：报表系统、用户画像系统（部分是大数据，部分是的算法）、推荐系统（基于画像之后，做算法）5.2 项目需求及架构总结5.2.1 集群规模计算5.2.2 框架版本选型1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般大厂使用，技术实力雄厚，有专业的运维人员）（建议使用）2）CDH：国内使用最多的版本，但...
2020-10-22 16:31:52
503
原创 大数据之高频面试题
面试题之hadoop1.hadoop常用端口号 hadoop2.x hadoop3.x 访问HDFS端口 50070 9870 访问MR执行情况端口 8088 8088 历史服务器 19888 19888 客户端访问集群端口 9000 8020 2.hadoop配置文件以及简单的hadoop集群搭建（1）配置文件：hadoop2....
2020-10-21 09:53:30
993
原创 大数据数仓建模（4）
第4章 数据采集模块4.1 Hadoop安装详见：大数据技术之Hadoop（入门）1）测试集群规划： 服务器bigdata02 服务器bigdata03 服务器bigdata04 HDFS NameNode DataNode DataNode D...
2020-10-20 19:49:47
1931
原创 大数据技术之hadoop（入门）
第3章 Hadoop运行环境搭建（开发重点）3.1 虚拟机环境准备克隆虚拟机修改克隆虚拟机的静态IP修改主机名关闭防火墙创建hadoop用户配置hadoop用户具有root权限7．在/opt目录下创建文件夹（1）在/opt目录下创建module、software文件夹[hadoop@bigdata02 opt]$ sudo mkdir module[hadoop@bigdata02 opt]$ sudo mkdir software（2）修改module、software文件夹
2020-10-20 12:05:59
378
1
原创 大数据数仓建模（3）
大数据数仓建模（3）2.2.6人员配置参考1.旁敲侧击的问你到底做过没有2.你们大概规模，数据量1整体架构属于研发部/技术部/数据部/基础平台部，我们属于大数据组，其他还有后端项目组，前端组, 移动开发、测试组、UI组等。其他的还有产品部、运营部、人事部、财务部、行政部，市场部，销售部等。和it技术相关的岗位销售，售前，产品，后端，前端，数据，ui，测试，运维，售后一个人搞定，没钱。大数据开...
2020-10-19 15:12:54
584
原创 大数据数仓建模（2）
大数据项目之电商数仓（用户行为数据采集）第2章 项目需求及架构设计2.1项目需求分析项目需求：一，项目需求1. 用户行为数据采集平台搭建2. 业务数据采集平台搭建3. 数据仓库维度建模4. 分析，用户，流量，会员，商品，销售，地区，活动等电商核心主题，统计的报表指标近100个。完全对比中型公司。5. 采用即席查询工具，随时进行指标分析6. 对集群性能进行监控，发生异常需要报警7. 元数据管理8. 质量监控二，思考题1. 项目技术如何选型？2. 框架版本如何选型（
2020-10-17 16:48:45
1495
1
原创 大数据数仓建模
大数据项目之电商数仓（用户行为数据采集）数据仓库简介 1.什么是数据库？ 数据库（database）是按照数据结构来组织，存储和管理数据的建立在计算机存储设备上的仓库。 数据库是长期存储在计算机内，有组织的，可共享的数据集合。数据库中的数据指的是以一定的数据模型组织，描述和存储在一起，具有尽可能小的冗余度，较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。 常用的数据库有mysql，oracle，sqlserver等。作用不一样，数据库是
2020-10-16 19:55:39
1203
原创 azkaban.executor.ExecutorManagerException: No active executors found
当出现这种错误得时候表示你得mysql没有激活，参考官方文档在exec端虚拟机上输入：curl -G “localhost:$(<./executor.port)/executor?action=activate” && echo然后再看azkaban中的数据库上面的excutors中查看执行命令后是：...
2020-07-24 16:21:26
826
原创 大数据基础作业
晚自习作业（整理以下问题答案，下次周考会从中抽取题库进行考试）整理完毕后，发到我的邮箱：[email protected].简单描述你对Hadoop集群SafeMode模式的理解？SafeMode 安全模式 namenode在启动后处于安全模式，则namenode的文件系统对于客户端来说是只读的。无法对文件处理。2.hadoop集群中如何设置黑名单和白名单？作用分别是什么？添...
2020-01-01 20:45:59
644
原创 考试shell和hadoop
1[问答题]linux如何安装软件?有几种方式，相关参数有什么含义？[答案] rpm 安装本地软件包rpm -qa 软件包名rpm -qi 软件包rpm -e 软件包rpm -ihv 软件包名-i install,安装-v 显示详细信息-h 展示安装的进度条 yum -y [选项] 软件名 install 安装rpm软件包 update 更新...
2019-12-22 20:25:16
620
原创 hadoop集群搭建流程
第一环境准备安装linux安装vmTools关闭防火墙sudo service iptables stopsudo chkconfig iptables off设置静态IP，更改主机名最好是字母加数字编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=EthernetONBOOT=yesBOOTPRO...
2019-12-19 21:01:11
165
原创 伪分布式运行模式
<!-- 指定HDFS中NameNode的地址 --><property><name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value></property><!-- 指定Hadoop运行时产生文件的存储目录 --><property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value></prope
2019-12-18 19:45:21
265
原创 今日错题总结
针对本次考试的错题，自我总结简答题1.每分钟清空/tmp/内容每个星期三的下午6点和8点的第5到15分钟之间备份错误类型：当时没写/* 以及没有写/bin，提笔忘字，粗心答案： /1 * * * * /bin/rm -rf /tmp/5-15 18,20 * * 3 /bin/cp /home/jinghang/* /opt/software/2.Linux如何查看进程，和杀死进...
2019-12-17 20:04:41
376
原创 大数据Linux和shell测试
大数据Linux和shell测试1[问答题]1.每分钟清空/tmp/内容2.每个星期三的下午6点和8点的第5到15分钟之间备份/home/jinghang文件夹下的数据到 /opt/software[答案] /1 * * * * /bin/rm -rf /tmp/5-15 18,20 * * 3 ...
2019-12-17 19:37:04
286
原创 hadoop作业
3.hadoop1.x和hadoop2.x区别？haoop的发行版本有哪些？在文件中2.5Hadoop组成Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。Cloudera：（1）2008年成立的Cloudera是最早...
2019-12-17 19:30:59
1117
原创 shell学习
在写之前分享之前碰到的一个小问题在shell中有两种多行注解1 <<!!2 << EOFEOF这点需要注意数组Shell数组表达用括号来表示，元素用“空格”符号分割开，语法：arr=（value1，value2，value3）（这种方式带值）获取@ 可以获取数组的所有元素获取长度就是使用@和的时候就是在前面{}内加#运算符两种方式$((运算式)...
2019-12-16 18:59:09
62
原创 Linux复习
1、Linux对文件和目录的相关操作Linux命令的普遍语法格式命令格式： 命令 【-选项】【参数】 例子： ls -la /etc 说明： ①、个别命令使用不遵循此格式，【】这种符号表示可以省略 ②、当有多个选项时，可以写在一起 ③、简化选项(一般用一个-)与完整选项（一般用两个–） 比如 ls -a 等于 l...
2019-12-15 23:54:12
141
原创 shell（1）学习
了解什么是shellShell是操作系统的最外层，Shell可以合并编程语言以控制进程和文件，以及启动和控制其它程序。shell通过提示你输入，向操作系统解释该输入，然后处理来自操作的任何结果输出管理你与操作系统之间的交互。吉纳丹来说Shell就是一个用户跟操作系统之间的一个命令解释器其中在终端中输入echo $BASH显示文间的BASH的路径当输入 df -h显示系统的分区信息S...
2019-12-14 18:36:46
86
原创 接着上一章尾部内容
其它命令（1）显示当前所在位置pwd（2）搜索命令命令：grep 要搜索的字符串 要搜索的文件示例：搜索/usr/sudu.conf文件中包含字符串to的行示例：搜索/usr/sudu.conf文件中包含字符串to的行 to要高亮显示（3）管道命令命令：| 将前一个命令的输出作为本次目录的输入示例：查看当前系统中所有的进程中包括system字符串的进程(4) 查看进...
2019-12-13 20:49:23
93
原创 自我大数据linux学习
Linux目录切换命令cd usr 切换到该目录下usr目录cd …/ 切换到上一层目录cd / 切换到系统根目录cd ~ 切换到用户主目录cd - 切换到上一个所在目录目录的操作命令（增删改查）（1）增加目录的操作（增）命令：mkdir 目录名称示例：在根目录 / 下 mkdir test，就会在根目录...
2019-12-12 20:09:19
91
原创 ssm阶段测试
一，单选题（30*1=30）1.MYbatis中的SqlSession是调用哪个方法获取代理对象（)A selectOne B getMapper C selectList D close()2.实现mybatis完成插入操作并返回自增主键id的标签的是？（）A select ...
2019-12-10 14:43:25
2253
1
原创 mybatis学习2
1.课程计划1、输入映射和输出映射a)输入参数映射b)返回值映射2、动态sqla)If标签b)Where标签c)Sql片段d)Foreach标签3、关联查询a)一对一关联b)一对多关联4、Mybatis整合springa)如何整合springb)使用原始的方式开发daoc)使用Mapper接口动态代理5、Mybatis逆向工程（了解）2.输入映射和输出映射Map...
2019-11-08 20:15:22
218
原创 mybatis_分页，多表联查
1.授课内容Mapper代理关联关系分页缓存注解2.Why3.介绍3.1.mapper代理mapper代理使用的是动态代理模式(设计模式中的一个,SpringAOP的时候讲)Mapper代理,码dao的时候,再也不用写dao的实现类3.2.关联关系3.2.1.一对一老公和老婆第一种(特殊的一对多)老公表Id 名字 事业1 小张 2 小王 老婆...
2019-11-07 23:18:15
491
原创 学习内容
2.1.why要学习mybatisjdbc有缺点:四步走;加载驱动,获取链接,操作数据库(CUD:executeUpdate,R:executeQuery),关闭链接封装:经常修改的内容放到配置文件中(xml,json,properties,yarn),不经常修改的放到java文件中(注解)Jdbc:封装;第一步和第二步放到一个方法中,第四步放到一个方法中,整体用try/catch...
2019-11-06 23:42:58
120
原创 Mybatis学习
##Mybatis第一天第一天：1、Mybatis的介绍2、Mybatis的入门a)使用jdbc操作数据库存在的问题b)Mybatis的架构c)Mybatis的入门程序3、Dao的开发方法a)原始dao的开发方法b)接口的动态代理方式4、SqlMapConfig.xml文件说明第二天：1、输入映射和输出映射a)输入参数映射b)返回值映射2、动态sql3、关联查询a...
2019-11-05 17:41:50
322
原创 对mybatis学习之前的铺垫
对与老师的知识点自己梳理转换成自己的上课笔记：讲课内容：MVC（m模型，v视图，c控制）Model2SsmSshJdk1.8的新特性Lambda表达式接口的方法可以是非抽象的（可以是方法体）标准的web目录结构是什么JDBC基础内容：JDBC：java Daba Base Connection；JDBC的5个步骤：1.加载驱动2.创建连接3.创建sql通道4.执行...
2019-11-04 19:34:27
455
原创 JDBC的安装
JDBCjdbc:(Java DataBase Connectivity,java数据库连接）是一种用于执行SQL语句的Java API下载驱动jar包:jdbc连接步骤:1.加载驱动2.创建连接3.创建sql通道4.执行sql5.关闭资源创建项目:代码://路径:localhost或127.0.0.1String url=“jdbc:mysql://lo...
2019-11-04 16:32:20
6134
2
原创 Eclipse的安装
Eclipse的安装使用百度云安装包：链接：https://pan.baidu.com/s/1RAnpu7kO9ikI1f-xGBrPMQ提取码：52cc复制这段内容后打开百度网盘手机App，操作更方便哦软件介绍Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。 Eclipse 是 Java 的集成开发环境（IDE），当然 Eclipse 也可以作为其他开发语言的...
2019-11-04 09:35:53
328
spring链接.txt
2019-11-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人