- 博客(46)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Hadoop入门学习笔记——八、数据分析综合案例
聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的发展决策提供精确的数据支撑。我们将基于一个社交平台App的用户数据，完成相关指标的统计分析并结合BI工具对指标进行可视化展现。
2024-01-04 22:51:46
1559
1
原创 Hadoop入门学习笔记——七、Hive语法
然后再查看SDS表中的数据，会发现SD_ID为14的数据，其对应的LOCATION的值为hdfs://node1:8020/user/hive/warehouse/myhive.db/score3/year=2019/month=10/day=01，通过这两个表实现了分区和HDFS系统中文件夹的对应，同时，也可以看到分区值已经变更了，但是HDFS中的物理存储路径没有变化。创建一个外部表，表名为test_ext1，由2个字段id和name构成，该表的数据分隔符为\t，在HDFS系统中的存储位置为。
2023-12-23 21:07:58
1774
原创 Hadoop入门学习笔记——六、连接到Hive
命令可以查看，下图test文件夹表示刚才创建的test表（一个hive库就是一个HDFS系统中的文件夹，一个表也是HDFS系统中的一个文件夹，default库下的表直接体现为/user/hive/warehouse下的文件夹，其他自定义库也是/user/hive/warehouse下的文件夹，然后其库内的表，是下一层的文件夹）；6、Hive中数据库和数据的存放路径位于HDFS文件系统的/user/hive/warehouse路径下，该路径下，每个Hive库中的表都是一个文件夹，使用。
2023-12-23 21:06:34
1070
原创 Hadoop入门学习笔记——五、在虚拟机中部署Hive
Hive的运行依赖于Hadoop（HDFS、MapReduce、YARN都依赖），同时涉及到HDFS文件系统的访问，所以需要配置Hadoop的代理用户，即设置hadoop用户允许代理（模拟）其它用户。javax.jdo.option.ConnectionURL 表示Hive所用到的存储元数据的关系型数据库的连接地址；hive.server2.thrift.bind.host 表示Hive的server 2绑定的主机；javax.jdo.option.ConnectionPassword 表示数据库密码；
2023-12-23 21:05:03
1959
原创 Hadoop入门学习笔记——四、MapReduce的框架配置和YARN的部署
hdfs://8020/output/wc 表示参数2，在本程序中是统计结果输出的文件夹，这里写明了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径），hdfs://node1:8020/input/ 表示参数1，在本程序中是待统计的文件夹，这里写了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径）；mapreduce.map.env 表示Map HOME的路径，这里设置为HADOOP_HOME相同路径；
2023-12-23 21:04:22
2133
原创 Hadoop入门学习笔记——三、使用HDFS文件系统
nfs.exports.allowed.hosts配置项的值为192.168.88.1 rw，表示NFS允许连接的客户端的IP和权限，rw表示具有读和写的权限，IP部分也可以使用*表示所有IP均可连接（这里的192.168.88.1地址是本地电脑在虚拟机网络中的IP地址，如果这里不是虚拟机，而是真实服务器，则需要使用本机对应的公网IP或局域网IP），同时如果有多个电脑需要连接，也可以写成192.168.88.1 rw;dfs.replication属性用于配置数据块的默认副本数量，该配置默认为3。
2023-12-23 21:03:30
1592
原创 Hadoop入门学习笔记——二、在虚拟机里部署HDFS集群
3、执行上述步骤之后，我们可以在我们自己的电脑（非虚拟机）上查看 HDFS WEBUI（即HADOOP管理页面），可以通过访问namenode所在服务器的9870端口查看，在本案例中因为namenode处于node1虚拟机上，所以可以访问。PS：因为之前我们已经配置了本机的hosts文件，所以这里可以使用node1访问，其实这个地址对应的就是http://192.168.88.101:9870/。为了保存刚部署好的集群，在后续如果出现无法解决的问题，不至于重新部署一遍，使用虚拟机快照的方式进行备份。
2023-12-23 21:02:36
1610
原创 Hadoop入门学习笔记——一、VMware准备Linux虚拟机
5、之后一直下一步、完成，然后虚拟机开始自己安装，直至安装完成，此过程视个人电脑和网络情况可能需要半小时左右，中间不用任何操作，待系统安装完毕后，虚拟机会自动重启，看到如下界面，代表安装成功。4、重命名虚拟机名称为node1，选择克隆出来的虚拟机存放的路径，然后点击“完成”按钮，VMware就会克隆出一个一摸一样的虚拟机，此过程很快，一般3~5秒的样子；2、在VMware中，在左侧虚拟机上右键，选择“快照”-“拍摄快照”，填写快照名称和备注，创建虚拟机快照；至此，免密登录配置完成。
2023-12-23 21:01:20
1446
原创 《B站-Redis教程》学习笔记
目录NoSQL概述Redis入门概述Windows安装Linux安装测试性能基础的知识五大数据类型Redis-KeyString（字符串）List（列表）Set（集合）Hash（哈希）Zset（有序列表）三种特殊数据类型geospatial（地理空间）hyperloglogbitmaps（位图）视频地址：https://www.bilibili.com/video/BV1S54y1R7SB?p=1NoSQL概述Redis入门概述Windows安装1、下载地址：https://github.com
2022-02-07 22:41:00
3610
原创 现代卓越PMI-ACP精讲课笔记（七）——持续改进（产品、流程、人）
源文件下载地址链接：https://pan.baidu.com/s/1OC5Myv5qaLVU6j995Vvi2Q提取码：pao8
2021-03-23 17:16:29
202
原创 现代卓越PMI-ACP精讲课笔记（六）——问题发现和解决
源文件下载地址链接：https://pan.baidu.com/s/1yslyGYuIEGJX6VVXC8kAlw提取码：6ulh
2021-03-20 21:02:46
271
原创 现代卓越PMI-ACP精讲课笔记（五）——团队绩效
源文件下载地址链接：https://pan.baidu.com/s/15JAu5OOAy9_d5xbLD53mhw提取码：5xeu
2021-03-20 21:00:57
355
原创 现代卓越PMI-ACP精讲课笔记（四）——相关方参与
源文件下载地址链接：https://pan.baidu.com/s/1jsvRseNC2wEpN2Li6ZnVAw提取码：zrl5
2021-03-20 20:58:20
215
原创 现代卓越PMI-ACP精讲课笔记（三）——适应性规划
源文件下载地址链接：https://pan.baidu.com/s/1afe9QR3TE5J3HiOc8-w9JQ提取码：7uxd
2021-02-23 18:34:00
253
原创 现代卓越PMI-ACP精讲课笔记（二）——价值驱动交付
源文件下载地址链接：https://pan.baidu.com/s/1RSaILtMEwcaPbtvLmVrKpA提取码：fm73
2021-02-19 16:31:35
382
原创 现代卓越PMI-ACP精讲课笔记（一）——敏捷思维与原则
源文件下载地址链接：https://pan.baidu.com/s/1RSaILtMEwcaPbtvLmVrKpA提取码：fm73
2021-02-02 16:12:33
505
原创 《B站-Spring源码解析》学习笔记（六）——AOP原理
视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.git@EnableAspectJAutoProxy注解分析1.1. @EnableAspectJAutoProxy是什么？使用@Import(AspectJAutoProxyRegistrar.class)注解给容器中导入AspectJAutoProxyRegistrar，利用
2021-01-21 11:33:34
258
原创 《B站-Spring源码解析》学习笔记（五）——AOP功能测试
视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.gitAOP【动态代理】：指在程序运行期间，动态的将某段代码切入到指定方法指定位置进行运行的变成方式使用AOP步骤：2.1. 在pom文件中导入AOP模块，String AOP模块做了一些简化，只需要配置几个注解就可以运行起来<!-- https://mvnreposito
2021-01-21 11:31:58
150
原创 《B站-Spring源码解析》学习笔记（四）——自动装配
视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.git自动装配：Spring利用依赖注入（DI），完成对IOC容器中各个组件的依赖关系赋值使用@Autowired注解自动注入2.1. 默认优先按照类型去容器中找对应的组件，使用applicationContext.getBean(BookDao.class);2.2. 如果找到相
2021-01-12 18:11:48
166
原创 《B站-Spring源码解析》学习笔记（三）——属性赋值
视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.git使用@Value注解对Bean的属性进行赋值：1.1. 使用基本数值进行赋值1.2. 可以使用Spring表达式SpEL（即#{}）进行赋值1.3. 可以使用${}读取配置文件或环境变量中的值如果是使用xml配置文件为Bean赋值的方式，在xml文件中引用外部配置文件需要先
2021-01-06 17:14:36
102
原创 《B站-Spring源码解析》学习笔记（二）——Bean的生命周期
Bean的生命周期是指Bean的创建–初始化–销毁的过程，Bean的生命周期是由容器来管理的关于构造（对象创建），单实例Bean是在容器启动的时候进行创建的，而多实例Bean是在每次获取的时候才进行创建的关于初始化，初始化代码是在对象创建完成并赋值之后进行调用的关于销毁，单实例Bean是在容器关闭的时候（即容器的close方法被调用时）进行销毁的，而多实例Bean的销毁工作容器不会进行管理我们可以自定义Bean的初始化和销毁方法，容器会在Bean进行到当前生命周期的时候来调用我们自定义的初始化和销.
2021-01-01 16:38:50
153
原创 《B站-Spring源码解析》学习笔记（一）——组件管理
视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.gitSpring中所有的组件都放在IOC容器中，组件之间的关系通过容器进行自动装配（DI）即依赖注入；以前是通过xml方式配置bean标签的方式注册对象<?xml version="1.0" encoding="UTF-8"?><beans xmlns="ht
2021-01-01 16:36:57
192
转载 《数据中台：让数据用起来》读书笔记
《数据中台：让数据用起来》读书笔记引言思维导图数据中台总体架构图本文转载自 http://www.softeng.cn/?p=255引言最近三周主要读了两本书，一本是《大数据架构详解：从数据获取到深度学习》，目前只读了三分之一，而另一本就是本文所写的《数据中台：让数据用起来》，已经完全读完了，该书在2020年1月出版，其中系统的介绍了数据中台的调研、设计、实施、运营的方法论，虽然没有涉及到具...
2020-04-04 23:09:41
4297
2
转载 在CentOS系统下实现MySQL自动全量备份
本文是以shell脚本及crontab定时任务为基础，实现的MySQL数据库定时自动全量备份。
2017-12-03 17:43:54
1903
2
转载 在CentOS 7下编译安装Nginx+PHP+MySQL环境
本文适合于已经对Linux操作系统具有基本操作经验，并且能够在Linux或Windows上通过一键搭建工具或者yum命令行进行环境搭建的读者，阅读本文需具有一定的专业知识，本文不建议初学者阅读。本文所描述的是在标准的CentOS 7.2 64位操作系统下，安装Nginx 1.12.2 + PHP 7.1.11 + MySQL 5.7.20环境。
2017-11-15 16:10:11
9093
5
转载 在PhpStorm中通过Xdebug插件实现PHP断点调试
PHP因其是一种解释型语言，所以其在运行时，是由解释器将代码翻译成Opcode，然后再去执行。这样的运行原理导致了PHP无法像C或者C++等编译型语言那样直接通过IDE进行断点调试，这也就导致了在PHP的开发中，进行代码调试的困难。
2017-11-04 18:18:15
700
转载 CI(CodeIgniter)框架入门教程——第四课 辅助函数和类库的使用
本文转载自：http://www.softeng.cn/?p=95最近这段时间因为项目比较忙，所以一直没有更新，还望大家见谅。下面开始今天的正式内容，今天主要讲CI框架中辅助函数和类库的使用，在CI框架中，提供了许多有用的辅助函数和类库，通过这些，可以使用简单的代码构建比较安全的网站，从而避免因自己书写底层原始代码所造成的错误或者漏洞，你现在需要做的就是调用API，填写参数，然后就能够在网页上看到你想要的结果了。
2015-02-25 02:12:36
3736
转载 CodeIgniter框架入门教程——第三课 URL及ajax
本文转载自：http://www.softeng.cn/?p=74这节课讲一下CI框架的路由规则，以及如何在CI框架下实现ajax功能。首先，先介绍CI框架的路由规则，因为CI框架是在PHP的基础上发展而来的，所以在基本的路由规则中，和原生态的PHP项目是相似的，但是CI框架是符合MVC框架的，在前两节中也提到了，MVC框架一般是以控制器作为程序入口，所以，使用CI框架做出来的网站，其URL都是控制器的地址，而视图和模型的地址对于用户来说是透明的。接下来先看看CI的默认路由规则：
2014-03-11 22:15:41
2691
转载 ADO.NET 学习笔记 入门教程
本文转载自：http://www.youarebug.com/forum.php?mod=viewthread&tid=57&page=1&extra=#pid63这是本人在学习ADP.NET过程中所作的笔记，可作为ADO.NET入门或者复习的教程。连接字符串：DataSource=localhost; AttchDBFilename=|DataDi
2014-03-06 02:11:14
1521
转载 CI(CodeIgniter)框架入门教程——第二课 初始MVC
本文转载自：http://www.softeng.cn/?p=53今天的主要内容是，使用CodeIgniter框架完整的MVC内容来做一个简单的计算器，通过这个计算器，让大家能够体会到我在第一节课中所介绍的标准的MVC框架与用户交互的一个过程。下面，开始今天的课程。
2014-03-06 01:48:41
3544
转载 ASP.NET MVC3入门教程之ajax交互
本文转载自：http://www.youarebug.com/forum.php?mod=viewthread&tid=100&extra=page%3D1随着web技术的不断发展与进步，在web2.0时代，ajax技术作为新宠，越来越受到网页设计人员、网页开发人员的重视。使用ajax技术，可以构建动态、响应灵敏的web应用程序，这方法的关键在于浏览器的javascript、DHTML和服务器
2014-03-04 17:04:43
1103
1
转载 网页上传图片 判断类型 检测大小 剪切图片 ASP.NET版本
本文转载自：http://www.youarebug.com/forum.php?mod=viewthread&tid=56&extra=page%3D1 我们在网页上传图片的时候，特别是上传图像等操作，需要限制用户上传图片的类型、大小、有时候还需要对图片进行剪切。这样的需求在我们工作中经常遇到。今天就来说说在web开发中，如何对上传的图片判断文件的类型、检查文件的大小、对图片进
2014-03-04 13:26:43
1177
转载 ASP.NET MVC3入门教程之参数（数据）传递
本文转载自：http://www.youarebug.com/forum.php?mod=viewthread&tid=98&extra=page%3D1MVC模式的参数（数据）传递主要涉及到两种类型参数的传递。1、 将数据从html页面（View层）传递到控制器（Controller层）。2、 将控制器（Controller层）的数据传递到h
2014-03-03 17:20:45
1031
转载 ASP.NET MVC3入门教程之第一个WEB应用程序
本文转载自：http://www.youarebug.com/forum.php?mod=viewthread&tid=91&extra=page%3D1上一节，我们已经搭建好了ASP.NET MVC3的开发环境。有了开发环境，我们就能够开始写一个Web应用程序了。1、首先打开VS2010.新建项目，在安装模板中选择Web，在右边选择ASP.NET MVC 3 Web Appl
2014-03-03 17:15:57
1498
转载 ASP.NET MVC3入门教程之环境搭建
什么是ASP.NET MVC？ASP.NET MVC是微软官方提供的以MVC模式为基础的ASP.NET WEB应用程序（Web Application）框架。目前最新版本为4.5。官网地址：http://www.asp.net/mvc。目前考虑到兼容性和稳定性，用得最多的应该就是ASP.NET MVC3了。今天就开始说说ASP.NET MVC3 Web 应用程序的开发。所谓工欲善其
2014-03-03 17:11:34
1183
转载 CI(CodeIgniter)框架入门教程——第一课 Hello World！
本文转载自：http://www.softeng.cn/?p=45 今天开始，我将在这里连载由我自己编写的《CodeIgniter框架入门教程》，首先，这篇教程的读着应该是有PHP基础的编程人员，如果你是PHP初学者，建议你先学习基础的PHP技术（包括：变量、选择、判断、循环、数组、面向对象、数据库操作等）以及基础的Web技术术语（包括：URL、页面、表单、交互等），之后再来学习本套教程。
2014-03-03 13:25:01
12341
原创 PHP页面静态化学习笔记之五：简易新闻系统v1.1
这是本人根据自己学习PHP技术页面静态化的过程所写的学习笔记，希望能够对大家有所帮助。1、基本思想（1）当我们添加或者更新新闻的时候，同步的创建或更新html页面，解决实时性问题，将生成的html文件的路径放在数据库；（2）设计一个模版文件，通过模版创建静态页面；（3）以后每次直接访问html静态页面；2、数据库沿用上面的数据库结构，数据最好清空3、代码ne
2013-10-04 22:56:54
1071
php_memcache_dll扩展
2015-04-25
C语言graphics图形库
2014-04-21
ADO.NET学习笔记(教程)
2012-08-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人