圆觉_-CSDN博客

原创实战-基于阿里云搭建数据仓库（离线与实时）

离线：数据

2020-03-25 00:55:20 2426

原创一文搞懂企业级数据仓库实战

数据仓库总结项目上线了，结合数据仓库实战视频，复盘总结下。历史的浪潮1、数仓痛点感受到疼痛的点烟囱式开发形成的数据孤岛和重复计算：–建模规范和开发规范各业务系统都存在汇率、证券信息等公开市场信息的重复计算，重复做；客户信息表是全量，更新很少，但需要某个历史时刻的客户状态，重复做；指标口径不一致导致数据可信度下降： --指标字典同样的股基交易量，要和...

2020-03-11 01:04:20 1333

原创递归、动态规划(用数组)、迭代（不用数组）三种方式JAVA实现。楼梯有n阶台阶，上楼可以一步上1阶,2阶，3阶，编程序计算共有多少种不同的走法？

楼梯有n阶台阶，上楼可以一步上1阶,2阶，3阶，编程序计算共有多少种不同的走法？递归动态规划(用数组)迭代（不用数组）/** * @ClassName testClimbLadders * @Description //有n阶台阶，上楼可以一步上1阶,2阶，3阶，编程序计算共有多少种不同的走法； * 递归、动态规划(用数组)、迭代（不用数...

2019-11-19 21:13:51 828

原创 Map的四种遍历方式

MAP的四种遍历方式背景目标实现背景在java中所有的map都实现了Map接口，因此所有的Map（如HashMap, TreeMap, LinkedHashMap, Hashtable等）都可以用以下的方式去遍历。目标遍历MAP，获取key 和value；实现方法1 在for循环中使用entry遍历**常用**//最常见也是大多数情况下用的最多的，一般在键值对都需要使用Map&...

2019-08-31 18:35:33 180

原创遍历处理JsonObject的内容

JsonObject的处理（其中value为实某一实体类的全称）目标知识点1.Class类2. Class类的 forName、getClass、getName方法3.遍历实体类的属性4. Java创建对象实例的三种方法1.new2.clone3.newInstance遍历JsonObject 的内容)目标遍历jsonObject中value，value为已实例化的实体类；并载入该实体类...

2019-08-31 17:53:40 8760

原创 JAVA导出Excel、TXT、批量导出ZIP

JAVA导出Excel、TXT、批量导出ZIP目标知识点1.字节流与字符流2.简述页面导出文件的逻辑（直接导出TXT，一般读写流(stream)的时候，数据是先被读到了内存中，再把数据写到文件中）3. 一些类单个及批量导出EXcel文件批量导出TXT文件以上目标实现JAVA导出Excel、TXT、批量导出ZIP文件。知识点1.字节流与字符流区别：读写单位：顾名思义，字节流以字节（byt...

2019-08-31 15:59:24 2421 5

原创数制转换C++ & 数据库索引

3、任意数制转换涉及到数制转换，一般先转换为10进制。再由十进制转换到其他进制——主要操作是除进制数的余数，以及十进制数的商更新，然后取余数存在数组倒序输出；注意是否0-9数字的不同处理。 #include #include #include using namespace std;void ten2other(int org, int m) //十进制数转换

2017-10-06 23:14:27 428

转载 C/C++求职宝典21个重点笔记（常考笔试面试点）

以下都是一些C/C++笔试面试中常考的重点难点问题，但比较基础，适合初学者看。 1. char c = '\72'; 中的\72代表一个字符，72是八进制数，代表ASCII码字符“:”。2. 10*a++ 中a先进行乘法运算再自增（笔试中经常喜欢出这类运算符优先级容易混淆的输出问题）。3. const和static的作用太常见的问题了，下面给出一个较详细的参

2017-10-06 17:57:19 274

原创快速排序算法 & 面向对象的继承

1、快速排序在平均状况下，排序n个元素要O(nlogn)次比较。在最坏状况下则需要O(n^2)次比较，但这种状况并不常见。事实上，快速排序通常明显比其他O(nlogn)算法更快，因为它的内部循环可以在大部分的架构上很有效率地被实现出来。快速排序使用分治策略(Divide and Conquer)来把一个序列分为两个子序列。（有二分的思想），步骤为：从序列中挑出一个元素，作为"基

2017-10-05 21:38:42 352

原创二分查找的递归/非递归方式C++实现

二分查找又称折半查找，优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而查找频繁的有序列表。二分查找就是将查找的键和子数组的中间键作比较，如果被查找的键小于中间键，就在左子数组继续查找；如果大于中间键，就在右子数组中查找，否则中间键就是要找的元素。二分查找可以用递归方式或非递归方式实现；#include #d

2017-10-05 17:27:32 542

原创寻找丑数，把只包含因子2、3和5的数称作丑数（Ugly Number）

题目：把只包含因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。思路：所有丑数都是由前面丑数乘上2,或3,或5得到的。因此丑数按从小到大顺序排列，初始化一个丑数数组a[0...n-1]，以及三个临时索引i,j,k.计算a[n] = min{2*a[i], 3*a[

2017-09-25 12:39:32 3562 1

转载楼梯有n阶台阶，上楼可以一步上1阶,2阶，3阶，编程序计算共有多少种不同的走法？

题目：楼梯有n阶台阶，上楼可以一步上1阶,2阶，3阶，编程序计算共有多少种不同的走法？对于这样一个问题，思路：设n阶台阶的走法数为f(n)。如果只有1个台阶，走法有1种（一步上1个台阶），即f(1)=1；如果有2个台阶，走法有2种（一种是上1阶，再上1阶，另一种是一步上2阶），即f(2)=2；如果有3个台阶，走法有4种（一种每次1阶，共一种；另一种是2+1，共两种；第...

2017-09-23 23:35:09 35088 4

原创 Hive 数据仓库工具(最全整理)

工作时，数据统计分析、挖掘的时候用到很多Hive方面的内容，就做了一个完整的整理文档。· hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合

2017-09-15 16:00:41 10267

原创 OpenCV 正面人脸检测

继续整理之前做的OpenCV人脸检测，这次先贴出利用OpenCV自带的人脸haar特征分类器进行人脸检测的例子；OpenCV中人脸检测用的是harr或LBP特征，分类算法用的是adaboost算法，分类器比较耗时，已经做好xml形式，直接调用。一般在haarcascades和lbpcascades文件夹下。人脸检测主要用到的是CascadeClassifier这个类，以及该类下

2017-09-14 20:59:46 2921

原创 OpenCV 图像处理（直方图均衡化、拉普拉斯算子图像增强、Gamma校正）

本文主要通过OpenCV实现一些基础的图像处理过程，包括直方图均衡化、拉普拉斯算子图像增强、Gamma校正过程。图像的对比度：灰度的动态范围来衡量。一、直方图均衡化直方图均衡化是通过调整图像的灰阶分布，使得在0~255灰阶上的分布更加均衡，提高了图像的对比度，达到改善图像主观视觉效果的目的。对比度较低的图像适合使用直方图均衡化方法来增强图像细节。实质上是对图像进行非线性拉伸,重

2017-09-13 22:28:06 9898 1

原创 OpenCV 实现canny边缘检测

近期，整理了一些之前做过的图像处理内容，算是复习下基础吧；涉及canny边缘检测的OpenCV实现；图像边缘信息主要集中在高频段，通常说图像锐化或检测边缘，实质就是高频滤波。Canny是常用的边缘检测方法，其特点是试图将独立边的候选像素拼装成轮廓。canny边缘检测算子是一种多级检测算法。1986年由John F. Canny提出，同时提出了边缘检测的三大准则：低错

2017-09-11 22:45:25 851

原创 typedef 与#define的区别

以一个例子来说明#define INTPTR1 int*typedef int* INTPTR2; INTPTR1 p1,p2;INTPTR2 p3,p4;其中 p2为不是int型指针。因为宏定义#define是简单的字符替换，而typedef是定义一种变量类型的别名！！附上typedef的四个用途和两个陷阱用途一：定义一种类型的别名，而不只

2017-09-06 16:26:43 202

转载 malloc/free 与new/delete的区别

malloc与free是C++/C语言的标准库函数，new/delete是C++的运算符。它们都可用于申请动态内存和释放内存。1.malloc函数初探首先我们要知道malloc是一个函数，malloc的全称是memory allocation，中文叫动态内存分配。它的原型是：void *malloc(int size);1说明：malloc 向系统申请分配指定s

2017-09-06 16:11:54 248

转载 C++ 结构体所占字节数

在用sizeof运算符求算某结构体所占空间时，并不是简单地将结构体中所有元素各自占的空间相加，这里涉及到内存字节对齐的问题。从理论上讲，对于任何变量的访问都可以从任何地址开始访问，但是事实上不是如此，实际上访问特定类型的变量只能在特定的地址访问，这就需要各个变量在空间上按一定的规则排列，而不是简单地顺序排列，这就是内存对齐。内存对齐的原因： 1)某些平台只能在

2017-09-06 12:13:27 4853 1

原创 Kmeans聚类算法 python sklearn 用户画像

1、基本概念；聚类分析简称聚类（clustering），是一个把数据集划分成子集的过程，每一个子集是一个簇（cluster），使得簇中的样本彼此相似，但与其他簇中的样本不相似。聚类分析不需要事先知道样本的类别，甚至不用知道类别个数，因此它是一种典型的无监督学习算法，一般用于数据探索，比如群组发现和离群点检测，还可以作为其他算法的预处理步骤。在工作中遇到用户画像、群组划分问题

2017-08-17 20:54:12 12476 1

原创杨辉三角 python实现

题目杨辉三角定义如下： 1 1 1 1 2 1 1 3 3 1 1 4 6 4 1 1 5 10 10 5 1 把每一行看作一个list,试写一个 generator,不断输出下一行的list。期待输出： [1] [1, 1] [1, 2, 1] [1, 3, 3, 1] [1, 4, 6, 4. 1] [1, 5, 10, 10,

2017-08-17 20:19:48 34434 3

原创 Unicode与UTF-8的区别理解

近期用Python读取txt 文件时遇到一些小坑，涉及到文件编码问题。因此梳理编码中Unicode与常见的UTF-8编码的区别。先贴总结：Unicode：全称Universal Multiple-Octet Coded Character Set”，简称 UCS, 俗称 “unicode“，由国际标准化组织ISO制定，目的是标准化一个字符集：为地球上每一个「字符」分配一个

2017-08-17 12:13:16 356

原创 Hive SQL使用中遇到的问题与解决方案（持续更新

近期，因统计分析、数据处理的工作需求，经常使用Hive SQL，因此记录遇到的一些问题。1、desc formatted 表名 ----确定表的信息（行、列、存储路径），在确定Hive 数据仓库中表的存储路径时，很有帮助。2、SQL GROUP BY两个字段group by 一般和聚合函数一起使用才有意义,比如 count sum avg等

2017-08-11 18:06:57 1719

转载 hive内部表与外部表的区别与Hive数据存储

在工作中，遇到了Hive中内部表和外部表的差别。因此梳理Hive的内部表与外部表两个概念，以及如何在Hive里面创建表和外部表，它们之间的区别。我们可以在关系型数据库里面创建表（create table），这里要讨论的表和关系型数据库中的表在概念上很类似。同样的，在Hive里面可以创建一个表：hive> create table wyp(id int, > name str

2017-08-11 17:19:55 1845

原创 python字符串split(),join(),strip()函数及网易笔试回文序列

Python中raw_input()输入都是按字符串类型，因此梳理一下字符串分割、连接、删除的split(),join(),strip()函数。另外联想到之前的网易笔试题回文序列，在输入部分用到了split()。split()函数：Python中有split()和os.path.split()两个函数，具体作用如下：split()：拆分字符串。通过指定分隔符对字符串进

2017-08-09 18:09:44 777

原创 Hadoop 与Spark比较

Hadoop和Spark的关系中，最重要一点是，它们并不是非此即彼的关系，因为它们不是相互排斥，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。两者定义Hadoop是Apache.org的一个项目，其实是一种软件库和框架，以便使用简单的编程模型，跨计算器集群对庞大数据集(大数据)进行分布式处理。Hadoop可灵活扩

2017-08-08 18:11:59 393