- 博客(40)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 SQL-- 在一个分组内随机抽取几条数据
一个结果集包含 order_type，user_id，pay_time ，现在有多条user_id和order相同，但pay_time不同的数据。现在有个需求，需要从一个分组中随机抽取三条不同pay_time的数据，应该怎么实现呢？这样是不是乍一看有点懵？话不多说，直接上代码。
2023-12-18 19:15:37
243
原创 Spark整合hive的时候出错
Spark整合hive的时候连接Hdfs不从我hive所在的机器上找，而是去连接我的集群里的另外两台机器但是我的集群没有开所以下面就一直在retry出现这个错误的原因可能与core-site.xml和hdfs-site.xml有关，因为这里面配置了集群的namenode信息我新建了一个项目，里面没有core-site.xml和hdfs-site.xml只放进去一个hive-site.xml我的hive-site.xml中没有图片中的三个配置，加上这三个配置就好了
2023-08-25 15:53:34
1061
原创 Hbase分布式安装
将hdfs的core-site.xml和hdfs-site.xml复制到hbase的conf目录下。配置hadoop12 13的环境变量。把Hbase分发到三台机器上。访问页面，验证是否成功。在hadoop11上。
2023-08-22 13:56:27
701
原创 spark的standalone 分布式搭建
集群环境hadoop11，hadoop12 ，hadoop13安装 zookeeper 和 HDFS。
2023-08-16 18:26:54
763
2
原创 java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
加上这个(如果有就修改，没有就添加）修改hive-site.xml。再次启动hiveserver2。
2023-08-15 19:09:31
783
1
原创 dolphinscheduler伪分布式安装
后期可以通过bin/start-all.sh 或者 bin/stop-all.sh 启停ds。在MySQL中检查一下是否有dolphinscheduler数据库和表。版本MySQL8.0+安装成功后，查看进程。
2023-07-18 15:07:03
297
原创 zookeeper伪分布式安装
切换到/opt/installs/zookeeper3.6.3/conf目录下。（1）将zookeeper的安装包上传到/opt/modules目录下。切换到/opt/installs目录下。
2023-07-18 14:04:08
393
原创 superset安装
启动的时候因为需要gun 命令，所以需要先安装这个命令。访问： http://主机名或者ip:8787。启动后，不要停，光标一直闪动是正常的。在/etc/profile中添加两句。账户和密码都是root。
2023-07-14 18:26:44
249
原创 hive数据的导入导出
1. TextFile：使用TextFile格式存储的表将数据以文本文件的形式进行存储。这是最常用的默认存储格式。2. SequenceFile：使用SequenceFile格式存储的表将数据以键-值对的形式存储，适用于数据压缩和高效读取。3. ORC（Optimized Row Columnar）：ORC是Hive的一种高性能列式存储格式，它以列的方式组织数据，提供了更高的压缩率和查询性能。4. Parquet：Parquet是一种列式存储格式，也是Hive的一个常用选项。
2023-07-06 11:33:25
2425
2
原创 大数据之数据采集项目延伸——sqoop
承接上篇文章大数据之数据采集项目总结——hadoop，hive，openresty，frcp，nginx，flume在上个阶段：完成了数据收集，使用flume把日志文件上传到hdfs，并且使用hive创建了分区表。现在补充：使用sqoop把hdfs/hive中的数据导出到MySQL中。数据展示：把useful_info中的数据导出到datacollection上的MySQL数据库中。查看datacollection中MySQL的数据库和表。
2023-07-05 17:15:24
1144
原创 hive设置本地执行方式
假如hive中的SQL语句执行时间太长，可以设置本地执行方式，设置本地执行模式可以优化执行速度，数据量小的时候，使用本地模式：。以上这些配置，都可以写在 hive 的conf 下的 .hiverc 文件中，当hive启动的时候，就会加载。在hive的配置文件 hive-env.sh中将一些配置注释解开。
2023-07-05 15:20:17
1801
原创 linux使用grep命令查询nginx的进程情况时总是出现 grep --color=auto nginx
ChatGPT解答：因为 ps aux 命令会列出当前系统中所有的进程信息，而 grep nginx 是用于筛选出包含 “nginx” 关键字的行。这是因为grep 也是一条命令，它在输出时，会把grep 服务名也当做一个进程输出，假如使用grep命令查询某个服务的进程号，结果只显示一条grep --color=auto 服务名。则说明虚拟机中没有改服务的进程。每次使用ps aux | grep 服务名 命令查询某个服务的进程时，总会出现一条grep --color=auto 服务名。
2023-07-03 11:01:11
3611
原创 数据结构知识背诵
1、数据结构是一门研究非数值计算的程序设计问题中计算机的操作对象以及他们之间的关系和操作等的学科。2、数据是对客观事物的符号表示，在计算机科学中是指所有能输入到计算机中并被计算机程序处理的符号的总称。如整数，实数，字符串。3、数据元素是数据的基本单位，在计算机程序中通常作为一个整体进行考虑和处理。一个数据元素由若干个数据项组成。数据元素又称结点或记录。4、数据项是数据不可分割的最小单位。5、数据对象是性质相同的数据元素的集合，是数据的一个子集。如整数数据对象，字母字符数据对象。6、数据元素相互之间
2020-11-02 10:13:05
1248
原创 Linux系统 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用) E: 无法锁定管理目录(/var/lib/dpkg/)，是否有其他进程正占用它？
解决方法：解决方法：用vim打开
2020-11-02 08:50:45
213
原创 关于数据库的那些错误（合集）
此篇博客仅记录我这一两周来与mysql数据库和SQL server数据库“搏斗”的经历，纪念这血和泪的教训。首先，我要对我过去写的博客内容做出肯定，当我忘记哪里的知识想不起来的时候，看看之前的博客就知道了。其次，我想说，CSDN实在是太棒了，真不愧是程序员的集结地。但是很多文章重复率过高，而且大部分或许是像我这样入门的小菜鸟，专业度不高，当我想搜索一些比较更深层次的知识时，就有些浪费时间。最后，让我们从mysql说起。其实从一开始我就是有点排斥mysql数据库的。在学习java 和SQL serve
2020-06-18 02:49:54
709
原创 mysql数据库的卸载和mysql8.0.20的安装
mysql数据库的卸载，在网上查了很多方法，这种方法是最好最全面的。链接如下：https://blog.csdn.net/TD520314/article/details/80461545接下来就详细的说一下怎么安装的吧这种安装方式和平常的图形化操作界面不一样，不需要一直点next，好像是因为在官网下载的是zip吧，直接解压缩就能用在官网上下载community版本的mysql，下载后就...
2020-05-04 04:56:37
2116
原创 session站点计数器
ASP.net实验四第二题：如图所示，使用Session对象设计一个站点计数器，要求将来访人数存放在站点内的counter.txt文件内，该数字不会因服务器或网站重新启动而丢失，刷新页面也不会引起数字变化，程序运行时要求将当前会话的ID值显示到页面中。做题思路：因为这道题中没有说要用Application，所以一开始也不太敢用全局应用程序类。大家首先要弄明白session和applicati...
2020-04-18 00:32:32
1965
原创 ASP.net实验五第二题，使用sitemap时出错：配置错误
运行时出现的错误如图所示~配置错误说明: 在处理向该请求提供服务所需的配置文件时出错。请检查下面的特定错误详细信息并适当地修改配置文件。分析器错误消息: 未能加载文件或程序集“MySql.ConnectorInstaller, Version=6.10.5.0, Culture=neutral, PublicKeyToken=c5687fc88969c44d”或它的某一个依赖项。系统找不到...
2020-04-14 21:42:27
1193
6
原创 java web复习第二章HTML简介
get和post的区别：https://blog.csdn.net/qq_44721831/article/details/98471707<body> <form action="" method="get"> <table border="1" width="80%"> <tr> 行开始标记 ...
2020-01-01 16:20:50
112
原创 java web复习第一章重点内容
java web第一章开发简介静态web与动态web最本质的区别：静态web无法进行数据库操作，动态web可以进行数据库操作。动态web最大的特点就是具备交互性，所谓交互性就是服务器会自动根据用户请求的不同而显示不同的结果。要想实现一个动态web，可以采用如下5种方式：（1）CGI：效率低（2）PHP：需要运行在Apache下，只有使用MySQL数据库时才可以达到性能的最大发挥...
2019-12-31 17:51:11
173
1
原创 java复习第十一章，java常用类库
1、掌握StringBuffer类与String类的区别1、StringBuffer类中字符串的内容可以改变，而String类中字符串的内容不能改变，如果要改变，则改变的肯定就是String的引用地址。2、在String中运用+进行字符串的连接，但是在StringBuffer类中却只能用append（）方法进行字符串的连接。3、在String中如果要替换，则使用的是replaceAll（）方...
2019-11-29 20:36:54
116
原创 SQL Server 2016安装步骤
下载后直接双击选择setup.exe选择安装，再点击图中圈住的部分产品密钥会自动填写，如果没有就输入MDCJV-3YX8N-WG89M-KV443-G8249然后，点击下一步接受许可条款，点击下一步点击下一步点击下一步点击全选。建议把SQLSever软件安装到别的盘。修改一下实例根目录。默认是在C盘。这里将它装在E盘现在出错了，让我们看一下怎么解决polybase要求安装JRE...
2019-11-29 20:34:45
857
原创 java web数据库的配置与连接
困扰我许久的java web数据库的连接终于有眉目了，终于被我弄明白了。嘿嘿第一步：先把SQL server数据库整明白了。SQL server数据库首先要保证用SQL server 身份验证能够登陆上去才可以。第二步：开始写jsp页面的，包括载入驱动什么的代码。第三步：建立连接，其实也算是一个测试。下面来详细的说一下怎么连接以及过程中遇到的问题吧。在进行SQL server数据库的登陆...
2019-11-06 23:16:52
559
原创 ACM题库（计蒜客A1001整除问题）
题目：``参考代码：#include<stdio.h>int main(void){ int m,n;scanf("%d %d",&m,&n); if(m>=1&&n<=500) { if(m%n==0) printf("YES"); ...
2019-09-05 21:30:29
213
原创 java复习第九章
1、进程和线程的区别1、进程：进程是程序的一次动态执行过程，它需要经历从代码加载，代码执行到执行完毕的一个完整过程，这个过程也是进程本身从产生，发展到最后消亡的过程，一个进程可能由多个线程组成多线程是实现并发机制的一种有效手段。进程和线程一样，都是实现并发的一个基本单位2、线程：线程是比进程更小的执行单位，线程是在进程的基础上进行进一步的划分。所谓多进程是指一个进程在执性过程中可以产生多个更...
2019-06-25 19:37:41
353
原创 Java复习第八章，包及访问控制权限
1、掌握包的定义及使用包的定义：package 包名称.子包名称；在其他类中引用某类是需要用到import语句import 包名称.子包名称.类名称；import 包名称.子包名称；public class与class的区别（重点）分别导入与使用*导入的性能是一样的。如果在一个程序中同时导入了两个包的同名类，在使用时必须明确的写出完整的包.类名称.3、java中常用系统包...
2019-06-23 22:03:39
147
原创 Java复习第六章Object类
重点内容：主要方法6.11.1在Java中所有的类都有一个公共的父类object，一个只要没有明显的继承一个类，则肯定是Object类的子类。
2019-06-21 11:44:58
106
原创 java中不用setter和getter能为私有属性赋值吗？（答案是能的）
偶然间，在写代码的时候突然发现课本上的代码没有用setter方法只用了getter方法。于是我就想不用一套setter和getter可以吗？看课本P104：属性封装：private 属性类型 属性名称；class Person{ private String name; public void tell(){ System.out.println("姓名"+name); }...
2019-06-10 21:46:23
1647
原创 他们能在一起吗？
解密过之后但是提交出错将图片下载之后后缀名改成zip解压得到输入刚刚解密的东西：PASS%7B0K_I_L0V3_Y0u%21%7D0K_I_L0V3_Y0u打开输入刚刚的密码：0K_I_L0V3_Y0u!提交~正确！...
2019-05-26 20:03:16
241
原创 最危险的地方就是最安全的地方
下载后是一个压缩包，压缩包打开之后打开图片打不开，说明这又是一道图片隐写题将文件后缀改为 .zip 后 进行解压得到打开文件夹你会看到好多二维码，remake:最危险的地方就是最安全的地方+10086其他的图片扫描后分别是 +1 +2 .等等但是经过观察，第50张是jpg格式右键查看属性ZmxhZ3sxNWNDOTAxMn0=进行base64解密的得到fla...
2019-05-26 19:41:17
551
原创 隐藏的信息
附件内容：0126 062 0126 0163 0142 0103 0102 0153 0142 062 065 0154 0111 0121 0157 0113 0111 0105 0132 0163 0131 0127 0143 066 0111 0105 0154 0124 0121 060 0116 067 0124 0152 0102 0146 0115 0107 065 0154 ...
2019-05-23 21:23:58
681
原创 java中方法的重载与覆写的区别
方法的重载与覆写的区别方法覆写时从private变为default不算是方法覆写方法覆写名字相同，返回值类型相同，参数个数不同（也可以相同）在继承的关系中也存在着方法覆写的概念，子类定义了与父类中同名的方法，但是方法覆写时必须考虑到权限，即被子类覆写的方法不能拥有比父类方法更加严格的访问权限。private<default<publicvoid print(){}定义一个默...
2019-05-15 21:28:34
605
2
原创 Java中引用传递及基本应用（对象的引用传递等）
引用传递所谓的引用传递就是指将堆内存空间的使用权交给多个栈空间。下面有三个范例：范例一：对象引用传递class Demo{ int temp = 50; //定义了一个整型的temp属性}public class Frist { public static void main(String[] args) { Demo d1=new Demo(); //实例化一个对象d...
2019-05-08 21:51:12
621
原创 数据库数据模型（关系型模型与非关系模型的区别）
**关系型模型与非关系模型的区别**数据模型数据模分为两类 ：1.概念模型：也称信息模型，它是按用户的观点来对数据和信息建模，主要用于数据库设计。2.逻辑模型和物理模型逻辑模型物理模型层次模型、网状模型、关系模型、面向对象数据模型、对象关系数据模型、半结构化数据模型描述数据在系统内部的表示方式和存取方法，或在磁盘或磁带上的存储方式和存取方法，是面向计算机系统的...
2019-04-16 22:07:46
9342
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人