u012510757的博客

原创 dbeaver hive

原创 idea 插件

一.DataFrame创建1.创建一个DataFramevaldataFrame= spark.read.textFile("/opt/spark/examples/src/main/resources/test.txt")2.结果展示dataFrame.show第一种 sql风格1.创建一个DataFramevaldataFrame= spark.read.textFile("/opt/spark/examples/src/main/resources/test....

原创 dbeaver hive

原创 idea配置maven

1.idea和maven容易有版本冲突，建议用maven 3.5 ，官网可下载2.下载到D 盘，具体配置如：第一步配置环境变量，第二部修改setting，mirror和repository第三步是idea配置mvn，版本和路径，网络，和mvn版本，一致，就没有问题了IntellIJ IDEA 配置 Maven 以及 修改 默认 Repository - phpdragon - 博客园 (cnblogs.com)...

原创 IDEA开发spark-问题

1.消除info(91条消息) 解决 idea 中 spark info 信息的有效方法_不贪吃的猪-CSDN博客2.ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.解决Hadoop：开发机运行spar.

原创 idea 开发Scala

1.创建scala项目https://blog.csdn.net/zhousishuo/article/details/71598718https://blog.csdn.net/zhujq_icode/article/details/82501559

原创 Spark

1.RDD抽象的神奇的数据集，可以当成一个普通的数据集，调用他的方法，传入函数，大大简化开发好处：不用关心任务怎样调度，不用关心任务是否失败。rdd相当于一个代理，你对代理法号命令，他会帮你具体生成任务进行计算。val lines=sc.textFile("file:///bigdata/test1")lines.flatMap(line=>line.split("")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect.

原创 python pycharm anaconda

1.三者区别：python是语言，pycharm是ide，anaconda是运行的环境2.anaconda安装：(71条消息) Anaconda的下载及安装【详细图文教程】_Python伊甸园的博客-CSDN博客_anaconda下载安装3.安装第三方包：在anaconda环境下安装python的第三方包-百度经验 (baidu.com)4.pycharm中配置anaconda开发环境配置安装好的anaconda路径3.pycharm配置spark开发环境：..

原创 MySQL锁

https://blog.csdn.net/qq_21579045/article/details/99702766#锁CREATE TABLE mylock(id int PRIMARY key auto_increment,name VARCHAR(20))engine myisam;INSERT mylock(name) values('e');SELECT * from mylock;#查看是否有锁show OPEN tables;#手动加锁lock TABLE myl.

原创 Mysql高级总结

Mysql 2020年整理一文全-用于自己看mysqlmysql索引mysql优化数据库参考地址：https://www.processon.com/view/link/5eafbe626376897466a3403f#maphttps://blog.csdn.net/weixin_44040023/article/details/105932553MySQL逻辑架构MySQL的一些文件二进制日志log-bin：用于主从复制。 错误日志log-error：默认关闭，记录严.

原创 MySQL高级

一，MySQL逻辑架构介绍执行sql变慢原因：查询语句写的烂，索引失效，太多join，服务器调优sql执行顺序：手写，机读总结：先读 from on join where group by hiving select distinct order by limit七种join：一.索引1.索引：是一种高效获取数据的数据结构，作用在于提高查询速度，可以类比字典。可以简单理解为：排好序的快速查找数据结构所以对 查找和排序都有影响。数据本身之外，数据库还维护...

原创 数据仓库

一.范式建模和维度建模A.维度建模：数据可以抽象成事实和维度，维度为观察事物的角度，事实为某粒度下的度量值，维度建模一般如下：1.选择业务过程2.声明粒度：3.确认维度：4.确认事实：维度建模一般有，星型模型，雪花模型，星座模型B.范式建模（关系建模）：设计一张数据表的表结构，符合标准级别，规范要求。主要是用于OLTP优势是降低冗余性，节约存储。劣势是使用上不方便，在大规模数据时候，进行跨表关联查询，会造成冗余。1.第一范式：属性不可切割2.第二...

原创 sqoop

一：RDBMS 到 HDFS1) 确定Mysql 服务开启正常2) 在Mysql 中新建一张表并插入一些数据$ mysql -uroot -p000000mysql> create database company;mysql> create table company.staff(id int(4) primary key not nullauto_increment, name varchar(255), sex varchar(255));mysql> insert

原创 Hadoop完全分布式安装

1.三台虚拟机装jdk,hadoopscp -r /opt/hadoop [email protected]:/opt需要source下profile2.开始部署 hadoop102/hadoop1 hadoop103/hadoop2 hadoop104/hadoop3 HDFS NameNode DataNode ...

原创 hive安装

https://blog.csdn.net/a123demi/article/details/72742279https://blog.csdn.net/xiaoqiu_cr/article/details/809134371，解压hive到/opt2.mysql驱动包导入把1.3中的mysql驱动包放置到$HIVE_HOME\lib目录3. vi /etc/profile -------------------------------------------- #hi.

原创 lLinux安装CM

一：安装jdk二：安装MySQL1.下载文件：D:\bigdata\大数据\Jar\Mysql 上传到Linux的opt文件夹中。 和Linux上传文件：yum install lrzsz2.卸载：判断是否以前有安装过3.安装：rpm -ivh MySQL-client-5.5.54-1.linux2.6.x86_64.rpm rpm -ivh MySQL-server-5.5.54-1.linux2.6.x86_64.rpm如果出现packa...

原创 putty设置

第一个是设置字体颜色的，第三个是设置背景色的

原创 数据库高级语言-开窗函数-行转列-listagg

一，开窗函数：为了解决复杂的子查询引入进来的，开窗函数也是对行集组进行聚合计算的，并且它返回是多个值，目前oracle db2 sqlserver都支持，但是mysql不支持1.row number() over partition by :分组排名SELECT ORDER_NUMBER, PRODUCT_TYPE, ROW_NUMBER() OVER ( PARTITION BY O...

原创 数据库的几种连接

初始化SQL语句: /*join 建表语句*/ drop database if exists test; create database test; use test; /* 左表t1*/ drop table if exists t1; create table t1 (id int not null,name varch...

原创 年后安排

今年八月份目标：git：git权威指南，及视频（一周），目标：达到git在工作中的要求，出了问题可以及时解决。（急迫）数据库：高性能MySql, 深入理解MySql核心技术，MySql技术内幕。（急迫）大数据：学完，做一个项目...

原创 MySQL 中 update set 顺序的探讨

创建一个表CREATE TABLE cp_delete( a VARCHAR(10), b VARCHAR(10), c VARCHAR(10)); INSERT INTO cp_delete (a,b,c) VALUES ('qq','ww','ee');执行sql语句：确认b的值是等于 ‘11’ 还是 ‘gg’UPDATE cp_delete SET a='gg',b=a...

原创 SQL中in和not in优化--join

当查询数据较大时，尤其是使用in和not in的时候会极大降低查询效率，所以需要进行优化，我们一般采用join 的进行优化。(记住是in中数据量较大才进行优化，如果in中数据量很少，请不要修改)。第一种 in:select * from tb1 where id in(select id_new from tb2);优化： select * from tb1 inner ...

原创 linux中wget 、apt-get、yum rpm区别

linux中wget 、apt-get、yum rpm区别  wget 类似于迅雷，是一种下载工具，通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理名字是World Wide Web”与“get”的结合。 yum: 是redhat, centos 系统下的软件安装方式，基于Linux，         全称为 Yellow dog...

原创 阿里云 Ubuntu Linux创建一个用户，并且切换用户

首先使用的是阿里云的Ubuntu，并且是网页版登录进去的，进去后会发现只有guest session 登录，这是游客登录很多功能不能用，所以我们需要为他创建一个普通用户登录进去，首先是在如下界面：我们敲入 ctr+alt+f2(退出使用ctr+alt+f7)进入界面2界面2是一个黑屏界面：1.提示你输入用户名和密码，我们使用root账户和密码登录进入，密码不显示属于正常现象。2...

原创 将Excel中的文本转换为数字

利用Excel做透视图的时候，如果数字值是文本类型，在求和的时候就失效了，现在解决这个问题，将文本转换为数字。选定这一列后依次点击【数据——分列——完成】...

原创 Git commit与pull的先后顺序

1.在本地修改与远程代码无冲突的情况下，优先使用：pull->commit->push 2.在本地修改与远程代码有冲突的情况下，优先使用：commit->pull->push那么我们怎么去确定是否有冲突呢？ 一般我们在合作开发一个项目的过程中，都会有分工，有时会两个人同时修改一个类，有时整个类都是你自己在开发。 如果都是自己在开发的类，当然优先使用pull-&gt...

原创 春招准备

春招准备路线 主线-Java语言-Java项目Java语言：Java编程思想，effective Java，Java核心技术，Java疯狂演义，head firs Java，Java虚拟机，Java面试宝典。数据库：mysql必知必会，数据库原理基础，MySQL技术内幕，牛客网刷题设计模式：大话设计模式spring：spring源码mybatis：mybatis源码

原创 Java数组，去掉重复值、增加、删除数组元素

[java] view plain copy print?import java.util.List;  import java.util.ArrayList;  import java.util.Set;  import java.util.HashSet;  public class lzwCode {        public sta

转载 hibernate查询方式

http://www.cnblogs.com/shiyangxt/archive/2009/01/13/1375151.htmlhibernate查询的6种方法。分别是HQL查询，对象化查询Criteria方法，动态查询DetachedCriteria，例子查询，sql查询，命名查询。           如果单纯的使用hibernate查询数据库只需要懂其中的一项就可以完成想要实

转载 多维数组

http://c.biancheng.net/cpp/html/51.html一维数组只有一个下标，称为一维数组，其数组元素也称为单下标变量。在实际问题中有很多量是二维的或多维的，因此C语言允许构造多维数组。多维数组元素有多个下标，以标识它在数组中的位置，所以也称为多下标变量。本节只介绍二维数组，多维数组可由二维数组类推而得到。二维数组的定义二维数组定义的一般形式是：    类

原创 一个Java文件中只能有一个public修饰的类

每个编译单元(文件)只能有一个public类。这么做的意思是，每个编 译单元只能有一个公开的接口，而这个接口就由其public类来表示。我想这或是从软件架构设计和安全性设计上得出的结论。或者说是java的设计者们从这方面的考虑。或许这真的是一个规范，但我没有找到相关资料不晓得到底有没有这一说话。如果有请知道的同行给出资料来源？实验如下：Test3.java源文件: 

转载 记事本开发Java程序

http://www.cnblogs.com/Tothemoon/p/4674276.html记事本是开发java程序最基础的一个工具第一步：编写新建一个文件名为Hello的文本文档，并将文件扩展名改为.java。在文本框内输入我们的程序代码              ——————————————我是分割线——————————————

原创 重装系统后电脑快速恢复

最近碰上一些麻烦的事情，电脑无缘无故的启动不了，最后没办法只有重装系统，这里是讲一些能够降低重装系统后带来的麻烦，能够快速的恢复到装系统之前的状态，由于我的电脑之前的所有的软件都不在c盘，所以恢复起来会更容易些（装在c盘的只有选择重装吧），具体步骤如下：1.开始就是配置网络，装网卡，可以拷贝一个驱动精灵的一个万能网卡我的在d盘，下载中有。2.连上网络之后，开始用驱动精灵检查一下驱动，360

转载 Java面试

作者：GangsterHyj链接：https://www.nowcoder.com/discuss/16124来源：牛客网从9月份开始参加校招, 到现在持续了快一个半月的时间, 尽管目前战绩是0 offer,不过既然互联网求职的寒冬已经来了, 春天还会远吗?大家一起加油!!! 心真的很累了, 被虐得不知道秋招什么时候才能结束, 真诚希望能在下周全部结束以下最新内容以gi

原创 VM虚拟机下安装centos7教程

首先下载centos7，我用的是CentOS-7-x86_64-DVD-1503-01，差不多4G左右，如果网络不稳定，建议用百度云下载，支持断点下载，下面开始进行安装步骤：Linux参考教程http://www.imooc.com/video/3245一,新建虚拟机，，打开虚拟机-文件-新建虚拟机，然后按照如下步骤

转载 eclipse程序运行中注释出现乱码问题

http://blog.csdn.net/lqg1122/article/details/7274949 eclipse 中文注释的乱码问题解决方案标签： eclipseencoding服务器svnfile2012-02-20 10:35 38581人阅读 评论(14) 收藏 举报 分类：Java（4） 版权声明：本文为博主原创文章，

转载 The requested resource is not available.http404

http://kingxss.iteye.com/blog/1741438/总结一句话：就是先新建一个server，然后将原有的server先删除掉，此时他的运行空间就可以进行选择更改Eclipse下Tomcat的部署目录博客分类： EclipseEclipse更改Tomcat部署路径wtpwebapps       使用eclipse开

转载 如何使用JDBC实现数据访问对象层（DAO）

原文链接：http://www.cnblogs.com/yzqm666/p/5910581.htmlJAVA是面向对象的语言，开发者在操作数据的时候，通常更习惯面对一个特定类型的对象，如一个用户就是一个User类的对象。DAO层需要做的，就是为上层提供充分的对象支持，让上层再也看不到具体的数据，而是一个个活生生的对象。增加，删除，查询和修改操作是DAO需要做的最基本的4项操作。

原创 doget和dopost的区别

当服务器创建servlet对象后，该对象会调用init方法初始化自己，以后每当服务器再接收到一个servlet请求时，就会产生一个新线程，在这个线程中让servlet对象调用service对象检查HTTP请求类型（get，post），并在service方法中根据请求类型对应的调用doGet ,doPost方法。如果不论用户请求类型是get还是post，服务器处理过程完全相同，那么可只在doPost

原创 new写在循环内部和外部的区别

先看程序 while(rSet.next()){ProductBean pBean=new ProductBean();//实例化一个类pBean.setPid(rSet.getString("pid"));pBean.setPname(rSet.getString("pname"));pBean.setMarket_price(rSet.getDouble("market_p