大鱼-瓶邪-CSDN博客

原创 Spark SQL介绍和DataFrame概念以及其API的应用示范

Spark SQL介绍：Spark SOL是用于结构化数据、半结构化数据处理的Spark高级模块，可用于从各种结构化数据源，例如JISON (半结构化)文件、CSV文件、ORC文件(ORC文件格式是一种Hive的文件存储格式，可以提高Hive表的读、写以及处理数据的性能)、Hive表、Parquest文件(新型列式存储格式，具有降低查询成本、高效压缩等优点，广泛用于大数据存储、分析领域...

2020-08-16 12:41:12 6314

原创 java实现二分搜索树BST

package Tree;import java.awt.image.RescaleOp;import javax.sound.midi.Soundbank;/*** @Title: BST.java* @Package BinarySerachTree* @Description: TODO二分搜索树，递归的写法一般具有更高的开销* @author YEXIN* @date...

2019-08-28 17:56:04 588

原创 JUC中的FutureTask

package JUC;import java.util.concurrent.Callable;import java.util.concurrent.ExecutionException;import java.util.concurrent.FutureTask;/*** RunnableAndCallable两个类的比较* @author YEXIN**//*...

2019-08-27 17:22:56 558

原创 java8的lamda表达式

package JUC;import java.util.Arrays;import java.util.List;import javax.security.auth.x500.X500Principal;@FunctionalInterface//接口也是一种特殊的类,如果该接口用于lamda表达式进行函数式编程，//则只能有一个方法,@FunctionalInterface...

2019-08-27 16:40:37 609

原创用递归思想删除链表中的元素

package DataDtructure;/** * ClassName: RemoveListNode * Company:华中科技大学电气学院 * date: 2019/8/26 15:22 * author： YEXIN * version： 1.0 * since： JDK 1.8 * Description:通过递归删除链表中的节点 */public class...

2019-08-26 15:37:26 563

原创并发下的单例模式完整解决方案

package GOGO;/** * 并发下的单例模式： * 双端检索机制DCL（Double check Lock），但是可能会导致指令重排！！！！！线程不一定安全，依旧存在单例模式的隐患 * 可以加入volatile禁止指令重排 */public class SingletonDemo { private static volatile SingletonDemo i...

2019-08-25 23:44:31 597

原创并发下的单例模式解决办法【由于指令重排，存在一定隐患】

package GOGO;/** * 并发下的单例模式 */public class SingletonDemo { private static SingletonDemo instance = null; //构造器独一份 private SingletonDemo(){ //如果只有一个实例，该句话只被打印一次 Syste...

2019-08-25 23:30:29 381

原创单机版下的单例模式

package GOGO;/** * 单机版下的单例模式 */public class SingletonDemo { private static SingletonDemo instance = null; //构造器独一份 private SingletonDemo(){ //如果只有一个实例，该句话只被打印一次 Syst...

2019-08-25 23:16:08 195

原创 java用数组实现链表

package DataStructure;//用数组创建链表public class ListNode<E> { private E val; private ListNode next; public ListNode(E val){ this.val = val; } //链表节点的构造函数 publi...

2019-08-25 22:41:49 1357

原创 java实现数据结构---队列（链表底层实现）

package DataDtructure;/** * ClassName: Queue * Company:华中科技大学电气学院 * date: 2019/8/23 15:46 * author： YEXIN * version： 1.0 * since： JDK 1.8 * Description: */public interface Queue<E> {...

2019-08-25 15:18:40 437

原创 java实现数据结构---栈（链表底层实现）

package DataStructure;public class LinkedListStack<E> implements Stack<E> { private LinkedList<E> list; public LinkedListStack(){ list = new LinkedList<>(...

2019-08-25 00:32:02 174

原创 java实现数据结构---链表

package DataStructure;public class LinkedList<E> { /** * 增删改查复杂度：O(n) * 动态分配空间，不会浪费空间 */ private class Node{//节点类，一个Node表示一个数据的存储和指向下一个节点 public E e; ...

2019-08-25 00:14:24 130

原创 java实现数据结构---循环队列

package DataDtructure;/** * ClassName: LoopQueue * Company:华中科技大学电气学院 * date: 2019/8/23 16:23 * author： YEXIN * version： 1.0 * since： JDK 1.8 * Description:实现循环队列，不再使用动态数组了 */public class ...

2019-08-23 16:57:37 250

原创 java实现数据结构---队列（数组底层实现）

package DataDtructure;/** * ClassName: ArrayQueue * Company:华中科技大学电气学院 * date: 2019/8/23 15:48 * author： YEXIN * version： 1.0 * since： JDK 1.8 * Description:通过之前的动态数组实现队列 */public class Ar...

2019-08-23 15:56:12 512

原创 LeetCode---括号匹配

package DataDtructure;import java.util.Stack;/** * ClassName: Solution * Company:华中科技大学电气学院 * date: 2019/8/23 15:18 * author： YEXIN * version： 1.0 * since： JDK 1.8 * Description:解决括号匹配问题 */...

2019-08-23 15:21:12 180

原创 java实现数据结构---栈（数组底层实现）

package DataDtructure;/** * ClassName: ArrayStack * Company:华中科技大学电气学院 * date: 2019/8/20 14:49 * author： YEXIN * version： 1.0 * since： JDK 1.8 * Description:通过上一节实现的动态数组来实现栈 */public class...

2019-08-23 15:20:30 337

原创 java实现数据结构---数组

package DataDtructure;import java.util.ArrayList;/** * ClassName: Array * Company:华中科技大学电气学院 * date: 2019/8/20 22:33 * author： YEXIN * version： 1.0 * since： JDK 1.8 * Description:数组 */pu...

2019-08-23 13:48:52 225

原创 Redis5.0集群搭建及一些新特性

安装Redis5.01.新的Stream数据类型【其他5种：String，set，sorted-set，hash，list】本质是一个抽象日志。命令操作：消费组：>表示读取最新的消息，第二次执行的>，是又插入之后读取的。读取某个ID之后的消息：Block 0 表示阻塞，也就是在客户端新插入消...

2019-08-18 21:58:03 341

原创 Kafka简介

一种高效的流处理平台。基本概念： --------------概念延伸--------------------基本结构：逻辑结构：另一种展示： kafka消息结构：Kafka特点：分布式：多分区，多副本，多订阅者，基于zookeeper调度高性能：高吞吐量【几十万M/s】，低延迟，高并发，时间复...

2019-08-13 18:49:34 214

原创 Hadoop生态各组件搭建的环境配置记录汇总【超详细+Flink】

test用户：node40:主节点node37，node38，node39是数据节点。python3.6.4，jdk1.8都是在/usr/local下。zookeeper3.4.12在node37--node39节点上。node40：安装的hive，mysql【root】，Sqoop1.99，Kafka。node40设置的HMaster，node38设置的HMaster-b...

2019-08-12 17:25:00 1285

原创 java--多线程简单实例

package MutiplyThread;/** * ClassName: Demo1Test * Company:华中科技大学电气学院 * date: 2019/7/13 20:54 * author： YEXIN * version： 1.0 * since： JDK 1.8 * Description:多线程程序： * 1.将需要用多线程执行的...

2019-07-13 21:15:32 261

原创 java--简单的socket编程

package JavaSE.SocketDemo;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.ServerSocket;import java.net.Socket;/** * ClassName: ServerDemo *...

2019-07-13 17:36:21 138

原创 java实现wordcount

package JavaSE.homework1;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStreamReader;import java.util.HashMap;import java.util.Map;import java.util.Set;/**...

2019-07-10 10:35:50 1823

原创 Python分析数据【利用DataFame】--帮一个武大同学分析excel表格数据【记】

Excel数据格式截图：主要分析cog数据在不同指标下随时间的变化，有2005 2008 2011 2014四个年度。prov是不同省份等等。代码如下：# -*- coding: utf-8 -*-"""Created on Fri May 24 09:56:04 2019@author: YEXIN@Company:华中科技大学"""import pandas...

2019-05-25 14:45:49 526

原创 Buffer And Cache

使用free命令查看我们实验室文件服务器内存得到的结果，-m选项表示使用MB为单位：输出的第二行表示系统内存的使用情况：注：前面四项都比较好理解，buffer 和 cache找不到合适的词来翻译，它们的区别在于：A buffer is something that has yet to be “written” to disk.A cache is something th...

2019-04-23 16:01:26 210

原创数据结构-----图

数据结构当中的图（Graph）可以看作是一个关系网。再举一个栗子，咱们在用百度地图的时候，常常会使用导航功能。比如你在地铁站A附近，你想去的地点在地铁站F附近，那么导航会告诉你一个最佳的地铁线路换乘方案。许许多多地铁站所组成的交通网络，也可以认为是数据结构当中的图。=========================================================...

2019-04-15 21:43:32 425

原创 Java中堆和栈的区别

堆和栈都是Java用来在RAM中存放数据的地方。-------------------------------------------------------------------------------------------------------堆（1）Java的堆是一个运行时数据区，类的对象从堆中分配空间。这些对象通过new等指令建立，通过垃圾回收器来销毁。（2）堆的优势...

2019-04-15 21:17:23 204

原创 Java内存模型（JMM）

为了屏蔽掉各种硬件核操作系统的内存访问差异，以实现Java程序在各种平台下达到一致的并发效果，JVM中定义了JMM。JMM：一种规范，规范了JVM与计算机内存是如何协同工作的。它规定了一个线程如何和核实可以看到由其他线程修改过的共享变量的值，以及在必须时如何同步地访问共享变量。Heap：堆，运行时的数据区，由垃圾回收来负责，可以动态分配内存大小（导致存取速度比较慢一些），...

2019-03-03 13:56:20 232

原创 CPU多级缓存

单核时代，乱序执行优化会保证结果的一致性。在多核时代就会出现问题。因为每个核都有自己的缓存，导致逻辑上后写入的数据未必真的写入。...

2019-03-03 12:33:58 171

原创 Java-线程休眠

package yexin.sogou.java;/** * Company: Huazhong University of science and technology * 华中科技大学电气学院聚变与等离子体研究所 * Version: V1.0 * Author: Victor * Contact: [email protected] 2018--2020 * Software...

2019-02-25 13:27:06 474

原创插入排序Python3.6

#!/usr/bin/env python# encoding: utf-8"""@Company：华中科技大学电气学院@version: V1.0@author: Victor@contact: [email protected] 2018--2020@software: PyCharm@file: InsertSort.py@time: 2019/2/20 12:12@D...

2019-02-20 13:16:18 253

原创选择排序Python3.6

#!/usr/bin/env python# encoding: utf-8"""@Company：华中科技大学电气学院@version: V1.0@author: Victor@contact: [email protected] 2018--2020@software: PyCharm@file: SelectionSort.py@time: 2019/2/20 10:2...

2019-02-20 10:43:02 220

原创冒泡排序Python3.6

#!/usr/bin/env python# encoding: utf-8"""@Company：华中科技大学电气学院@version: V1.0@author: Victor@contact: [email protected] 2018--2020@software: PyCharm@file: BubbleSort.py@time: 2019/2/19 9:53@De...

2019-02-20 10:41:40 297

原创 1.TwoSum

#!/usr/bin/env python# encoding: utf-8"""@Company：华中科技大学电气学院聚变与等离子研究所@version: V1.0@author: Victor@contact: [email protected] or [email protected] 2018--2020@software: PyCharm@file: Two_Sum.p...

2019-02-18 21:39:13 174

原创 Redis---API之有序集合的理解与使用

一种比较新的数据结构，结构：可以直接排序，按序取结果，通过分值实现有序。集合 VS 有序集合列表 VS 有序集合重要API，有序集合的操作以Z为开头的命令。这里score可以重复，element不可以重复。实战：其他操作：案例演示：...

2018-11-30 20:34:34 267

原创 Redis---API之集合的理解与使用

集合结构：如果集合中已经存在某个value，则会失败，srem key music 可以直接将集合某个元素删除。集合间的操作：集合特点：无序（不能通过下标操作），无重复，集合间操作。集合内部的API：都是以S作为开头。注意：smembers是无序的，因为redis是单线程，当元素很多，使用smembers可能会阻塞redis。 ...

2018-11-30 20:11:33 198

原创 Redis---API之列表的理解与使用

列表结构：value其实是一个有序的队列。两边插入元素：中间插入元素：删除元素：删除所有a的元素：根据下标修剪列表： ...

2018-11-30 19:47:32 165

原创 Redis---API之哈希的理解与使用

哈希键值结构：filed可以单独直接添加，更新，删除等，如果用字符串的类型，还需要封装成一个对象，存在redis里面需要序列化，得到某个filed还需要反序列化。可以把一个key看做一个表的一行，key代表id，每个filed可以看作表的字段。例如下图就是key-value结构，常见操作：应用1...

2018-11-30 19:23:09 471

原创 Redis---API之字符串的理解与使用

1.字符串：字符串键值结构：使用场景：缓存，计数器，分布式锁简单命令：应用1：记录网站每个用户个人主页的访问量，该如何做？应用2：缓存视频的基本信息（数据源在mysql中）伪代码----->为了提高接口的收发性能。实现：首先根据视频id（vid）通...

2018-11-30 17:44:15 174

原创 Redis安装与配置文件和启动方式以及基本知识

下载解压到自己喜欢的目录后进入到redis文件夹编译安装：安装后进入到src目录看到：redis-server ------------>启动redis服务器redis-cli-------------------->Redis命令客户端redis-benchmark-------->Redis测试工具redis-check-aof-----------...

2018-11-30 16:06:51 5273 1