- 博客(53)
- 资源 (19)
- 收藏
- 关注
RSS订阅
原创 利用Python搭建用户画像系统
用户画像是当下很多企业都会提及的概念，多数情况下会和大数据以及营销挂钩。本文将对用户画像的相关知识进行进行简单的介绍，并利用Python去实现一个简单的用户画像系统。1.什么是用户画像用户画像可以理解成是海量数据的标签，根据用户的目标、行为和观点的差异，将他们区分为不同的类型，然后每种类型中抽取出典型特征，赋予名字、照片、一些人口统计学要素、场景等描述，形成一个人物原型 。用户画像 =...
2019-12-31 12:40:34
35670
17
原创 K均值聚类--利用k-means算法分析NBA近四年球队实力
分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。聚类属于无监督学习，相比于分类，聚类不依赖预定义的类和类标号的训练实例。本文首先介绍聚类的基础——距离与相异度，然后介绍一种常见的聚类算法——k-mea
2017-05-04 16:28:14
8904
原创 矢量室内地图
因为公司项目的需要，需要开发一套室内地图，并实现路线的规划功能。因为之前没做过这方面的开发，相关的资料也比较少，所以只能一个人去摸索。刚开始我是使用一般的位图去当作的地图，但是这个也让我在后面吃了不少的苦头。我们知道地图一般都会有缩放和拖拽等功能，正当我把一样利用位图开发的地图样例时，我发现了不少的问题：1、位图缩放会失真；2、图片加载比较慢；3、会导致客户端内存溢出。。。
2015-12-07 16:03:30
36577
14
转载 数据治理方案
随着移动互联网的兴起，线下商业活动逐渐开始向线上化发展，数据的产生速度有了极大的提升。越来越多的公司开始认识到数据的重要性，并将其打造成为公司的核心资产，从而驱动业务的发展。在数据相关的领域中，“数据治理”这个话题近两年尤为火热，很多公司特别是大型互联网公司都在做一些数据治理的规划和动作。 为什么要做数据治理？因为在数据产生、采集、加工、存储、应用到销毁的全过程中，每个环节都可能会引入各种质量、效率或安全相关的问题。
2022-11-28 11:21:15
1962
转载 CDH搭建大数据集群（5.10.0）
目录一、CDH介绍 二、为什么选择CDH？ 三、CDH的版本选择 四、安装准备 1.节点准备 2.节点规划 3.下载parcels文件 4.tarball下载 5.准备以下内容： 五、系统初始化 1.关闭防火墙（3个节点） 2.配置主机名（3个节点） 3.修改hosts文件（3个节点） 4.配置免密登录（3个节点） 5.安装JDK（3个节点） 6.检查Python版本（3个节点） 7.检查服务器之间的时间是否同步（3个节点） 六、安装my
2021-07-03 14:19:10
1116
转载 Flink基于EventTime和WaterMark处理乱序事件和晚到的数据
在实际的业务中,我们经常会遇到数据迟到的情况,这个时候基于窗口进行计算的结果就不对了,Flink中watermark就是为了解决这个问题的,理解watermark之前,先来说一下flink中的三个与流数据相关的概念,ProcessTime、EventTime、IngestionTime,不然很难理解watermark是怎么回事.我们先来看一下官网给出的一张图,非常形象地展示了Process Time、Event Time、Ingestion Time这三个时间分别所处的位置，如下图所示：我们
2021-06-29 23:49:37
571
原创 Flume介绍及调优
一、概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。二、Flume特性（1）可靠性当节点出现故障.
2021-02-05 11:26:50
1088
2
原创 CDH介绍
1、Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低2、Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hortonworks Data Platform (HDP) • MapR • EMR • …3、CDH能解决哪些问题 • 1000台服务器的集群，最少要花费多长
2021-01-22 10:27:23
846
原创 Eureka 配置参数说明
Eureka Client 配置项（eureka.client.*）org.springframework.cloud.netflix.eureka.EurekaClientConfigBean参数名称 说明 默认值 eureka.client.enabled 用于指示Eureka客户端已启用的标志 true eureka.client.registry-fetch-interval-seconds
2020-09-08 11:09:15
375
转载 ELK 架构和 Filebeat 工作原理详解
ELK Stack 简介ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据
2020-08-19 14:10:45
1155
1
转载 推荐系统和推荐算法
1. 什么是推荐系统？推荐系统是什么？如果你是个多年电商（剁手）党，你会说是这个：如果你是名充满文艺细胞的音乐发烧友，你会答这个：如果你是位活跃在各大社交平台的点赞狂魔，你会答这个：没错，猜你喜欢、个性歌单、热点微博，这些都是推荐系统的输出内容。从这些我们就可以总结出，推荐系统到底是做什么的：目的1. 帮助用户找到想要的商品（新闻/音乐/……），发掘长尾帮用户找到想要的东西，谈何容易。商品茫茫多，甚至是我们自己，也经常点开淘宝，面对眼花缭乱的打折活动...
2020-05-13 16:04:44
1653
转载 协同过滤算法介绍及算法实现
一、协同过滤算法简介 协同过滤算法是一种较为著名和常用的推荐算法，它基于对用户历史行为数据的挖掘发现用户的喜好偏向，并预测用户可能喜好的产品进行推荐。也就是常见的“猜你喜欢”，和“购买了该商品的人也喜欢”等功能。它的主要实现由： ●根据和你有共同喜好的人给你推荐 ●根据你喜欢的物品给你推荐相似物品 ●根据以上条件综合推荐 因此可以得出常用的协同过滤算法分为两种，基于用户的协同过滤算法(user-based collaboratIve filtering)，以及基于物品的协同过滤
2020-05-13 15:08:18
6419
转载 TOP 10 开源的推荐系统简介
最 近这两年推荐系统特别火，本文搜集整理了一些比较好的开源推荐系统，即有轻量级的适用于做研究的SVDFeature、LibMF、LibFM等，也有重 量级的适用于工业系统的 Mahout、Oryx、EasyRecd等，供大家参考。PS：这里的top 10仅代表个人观点。#1.SVDFeature主页：http://svdfeature.apexlab.org/wiki/Main_Page语言：C++一个feature-based协同过滤和排序工具，由上海交大Apex实验室开发，代码质量较高。.
2020-05-12 15:44:09
563
原创 Java面试题之手写ArrayList
package com.xingtu.sdk.sdk;public class MyArrayList { private T[] array; private int theSize; public MyArrayList(){ this(10); } private MyArrayList(int length){
2018-01-16 11:36:14
716
原创 人工神经网络(ANN)
神经网络模型具有高度的并行性、高度的非线性全局作用、良好的容错性与联想记忆功能、十分强的自适应自学习功能等突出优点。1. 人工神经网络简介人工神经网络的研究是由模拟生物神经系统而激发的，人类的大脑主要由称为神经元（neuron）的神经细胞组成。类似于人脑的结构，人工神经网络的基本处理单元为人工神经元，这些神经元以简化的形式模仿自然界的生物神经，人工神经网络是由大量的人工神经元广泛互
2017-05-16 15:46:58
1799
转载 支持向量机（SVM）
什么是支持向量机模型？支持向量机（SVM）是一种有监督学习的算法，它可以用来处理分类和回归的问题。然而，实际应用中，SVM 主要用来处理分类问题。在这个算法中，首先我们将所有点画在一个 n 维空间中（其中 n 代表特征个数）。然后我们通过寻找较好区分两类样本的超平面来对数据进行分类处理（如下图所示）。支持向量是观测值的坐标，支持向量机是隔离两个类别的最佳边界（超平面）。
2017-05-15 14:47:57
1029
原创 过拟合（overfitting）
在用机器学习搭建模型时，经常会碰到这样一种情况，你的模型算法在样本数据中匹配的非常完美。但用新数据测试，发现模型结果和实际差距非常大。那么恭喜你！你掉进了机器学习中常见的一个大坑——过拟合。什么是过拟合呢？机器学习本质上是通过建立数据模型，使其和现有数据相吻合，从而找到数据中内在的规律。如下面三张图，x表示训练样本数据，蓝色线条表示建立的数据模型。第一张图：虽然模型
2017-05-12 14:09:04
836
原创 K最近邻算法(kNN)
“近朱者赤，近墨者黑”，这句话大家都听说过，意思是靠着朱砂的变红，靠着墨的变黑。比喻接近好人可以使人变好，接近坏人可以使人变坏，指客观环境对人有很大影响。在现实的生活中我们都知道，想要了解一个人，一个比较靠谱的办法就是从他身边的朋友就看出来。本文介绍的K最近邻(k-Nearest Neighbor，KNN)算法，其指导思想就是“近朱者赤，近墨者黑”，由你身边的朋友推断你的类别。kNN是一种
2017-05-05 19:08:15
1681
原创 朴素贝叶斯分类（Naive Bayes）--检测APP中的僵尸账号
最近，接到上头的一个任务，需要检测一下我们APP中的“僵尸账号”比例，所谓的“僵尸账号”是指长时间没有操作或者相关活动的账号，我们该如何去解决这个问题呢？当我接到这个问题，我的第一个反应就是：哦，就是把我们的注册用户进行分类，一种为僵尸账号，另外一种为非僵尸账号。有了这个认识，我们就想，需要如何分类呢？或者说用什么方法来分类呢？接下来我介绍一种简单的分类方法，朴素贝叶斯分类，朴素贝叶斯分类是一
2017-05-03 19:06:38
1184
原创 一元线性回归应用--分析评估需求的开发时间
去年的一段时间，工作非常忙碌，项目的需求一个接着一个，简直让人头皮发麻啊。当然，每次新需求出来上头总需要给一个合理的排期，以便按时按质完成。今年相对去年来说没那么忙碌，于是抽空写了这篇博客，也算是一个小小的总结吧。下面来说一下本人是如何进行新需求开发时间的评估，也算是自己对以前知识的回顾和学以致用的思想。假设我们软件开发的工时和需求的用例、实体数量、涉及的数据表数量相关，以历史数据为训练样本：
2017-05-03 17:12:53
925
原创 Android DEX方法超过64K和gradle编译OOM解决方案
首先贴上报错信息:Error:Execution failed for task ':app:transformClassesWithDexForDebug'.> com.android.build.api.transform.TransformException: com.android.ide.common.process.ProcessException: org.gradle.proc
2016-07-28 14:25:24
3882
原创 Android中常见的内存溢出错误
有一定Android项目开发经验的人或多或少都会遇到过内存溢出等错误,我也不例外,并且多次踩到了OOM这个坑,由于本人多次踩坑也在填坑的过程中对Android 内存溢出有了一点了解,遂记录下来帮助自己积累,也希望能给遇到这些问题的小伙伴一点帮助.在解决Android内存溢出问题之前，需要对jvm（java虚拟机）的内存管理有一定的认识。jvm管理的内存大致包括三种不同类型的内存区域：Perma
2016-07-28 11:08:07
1317
原创 Error:Execution failed for task ':app:transformClassesWithDexForDebug'.
Error:Execution failed for task ':app:transformClassesWithDexForDebug'.> com.android.build.api.transform.TransformException: com.android.ide.common.process.ProcessException: org.gradle.process.int
2016-03-21 18:34:07
1721
原创 android数据存储之SQLite
SQLite是D.Richard Hipp用C语言编写的开源嵌入式数据库引擎。它支持大多数的SQL92标准，并且可以在所有主要的操作系统上运行。支持高达2TB大小的数据库，它是以单个文件形式存在，以B-Tree的数据结构形式存储在磁盘。SQLite主要特点：1、轻量级SQLite和C/S模式的数据库软件不同，它是进程内的数据引擎，因此不存在数据的客户端和服务器。使用SQLitey一般只
2016-02-19 14:58:28
497
原创 android数据存储之SharedPreferences
SharedPreferences是Android提供的一种轻量级的数据存储方式，主要用来存储一些简单的配置信息，例如：默认的欢迎语，登录用户名和密码等。其以键值对的方式存储，使得我们能很方便济宁读取和存入。数据以xml文件形式存储到data目录下。SharedPreferences对象本身只能获取数据而不支持存储和修改数据，存储和修改数据时通过Editor对象实现的。SharedPref
2016-02-18 18:40:27
457
原创 android调用系统相机拍摄获取照片的两种方法
在我们android开发中经常需要做这个一个功能，调用系统相机拍照，然后获取拍摄的照片。下面是我总结的两种方法获取拍摄之后的照片，一种是通过Bundle来获取压缩过的照片，一种是通过SD卡获取的原图。下面是演示代码：布局文件：<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmln
2016-01-16 19:17:34
852
原创 Fastjson简介和基本使用
Fastjson是一个性能很好的Java语言实现的Json解析器和生成器，由来自阿里巴巴的工程师开发。具有极快的性能，超越任何其他的Java Json Parser。特点： 1、快速（比其他任何基于Java的解析器和生成器更快，包括Jackson） 2、强大（支持普通JDK类包括任意Java Bean Class、Collection、Map、Data或enum）
2016-01-15 21:41:59
1560
原创 Gson的基本介绍和使用
JSON是我们在实际开发最常用的数据交换格式，GSON则是谷歌提供的用来解析Json数据的一个Java类库，在进行Gson介绍之前我们通过以下几个部分对Gson进行深入的了解。一、JSON的简介JSON（JavaScript Object Notation）是一种轻量级的数据交换格式。用于数据转化传输，通用于PHP、Java、C++、C#、Python等编程语言的数据交换传输。它易于人阅读
2016-01-15 17:50:26
13889
2
原创 android布局动画实现方法
在开发中，布局动画是经常会使用到的，下面android布局动画的一种实现方法，分享记录一下：1、在资源文件res创建anim文件夹，在anim下创建zoom_in.xml文件： <scale android:duration="1000" android:fromXScale="0.0" android:fro
2016-01-03 19:16:55
596
原创 android混合动画实现
在android开发，我们会经常使用到动画，但是简单的一种动画（如旋转、缩放、渐变、位移等）有时候并不能满足我们项目的要求，这时候就需要运用到混合动画，那么在安卓中是如何实现一个炫酷的混合动画，下面是一个混合动画实现的其中一个实现方式：1、首先要在res目录下建立一个anim文件，在anim建立一个hybrid.xml文件如下： <translate an
2015-12-27 00:23:18
6571
2
原创 android旋转动画的两种实现方式
在android开发，我们会经常使用到旋转动画，一般情况下旋转动画有两种实现方式，一种是直接通过java代码去实现，另外一种是通过配置文件实现动画，下面是两种动画的基本是使用方法：纯Java代码实现：//创建渐变动画 Animation animation = new RotateAnimation(0, 359); animation.setDuration(500);
2015-12-27 00:02:11
24450
1
原创 android位移动画的两种实现方式
在android开发，我们会经常使用到位移动画，一般情况下位移动画有两种实现方式，一种是直接通过java代码去实现，另外一种是通过配置文件实现动画，下面是两种动画的基本是使用方法：纯Java代码实现：//创建渐变动画 Animation animation = new TranslateAnimation(0, 0, 300, 300); animation.setDurat
2015-12-26 23:54:33
12081
原创 android缩放动画的两种实现方法
在android开发，我们会经常使用到缩放动画，一般情况下缩放动画有两种实现方式，一种是直接通过java代码去实现，另外一种是通过配置文件实现动画，下面是两种动画的基本是使用方法：Java代码实现：//创建缩放动画对象 Animation animation = new ScaleAnimation(0, 1.0f, 0f, 1.0f); animation.setDuration
2015-12-26 23:44:40
10050
原创 android渐变动画的两种实现
在android开发，我们会经常使用到渐变动画，一般情况下渐变动画有两种实现方式，一种是直接通过java代码去实现，另外一种是通过配置文件实现动画，下面是两种动画的基本是使用方法：纯Java代码实现：//创建渐变动画 透明度变化，表示从0.1f 到 1.0 的变化（其中0.0f表示完全透明，1.0表示完全不透明） Animation animation = new AlphaAni
2015-12-23 17:18:02
4485
原创 androidannotations的基本用法
AndroidAnnotations是一个能够让你快速进行Android开发的开源框架，它能让你专注于真正重要的地方。使代码更加精简，使项目更加容易维护。就简单说一下特性：1、使用依赖注入（Dependency Injection）2、简化的线程模型（Simplified threading model) 3、事件绑定（Event bindi
2015-12-18 23:54:45
2612
原创 AndroidAnnotations在Eclipse中配置
AndroidAnnotations是一个开源框架,加速Android开发。 它负责的管道,让你专注于真正重要的事情上来。 通过简化你的代码,它是项目更易于维护。下面将介绍一下AndroidAnnotations在Eclipse环境中配置的步骤：1、下载相关配置文件https://github.com/excilys/androidannotations/wiki/Download
2015-12-18 21:05:25
2548
1
原创 逆波兰表示的应用
逆波兰表达式又叫做后缀表达式。在通常的表达式中，二元运算符总是置于与之相关的两个运算对象之间，这种表示法也称为中缀表示。波兰逻辑学家J.Lukasiewicz于1929年提出了另一种表示表达式的方法，按此方法，每一运算符都置于其运算对象之后，故称为后缀表示。逆波兰表达式最常应用的场景是用于四则运算表达式的求值，其实逆波兰表达也就是栈的一种应用，逆波兰表达式是一种新的显示方式，非常巧妙地解决了程
2015-12-13 21:55:06
2541
原创 抽象工厂
工厂方法模式是简单工厂模式的衍生，解决了许多简单工厂模式的问题。首先完全实现‘开－闭 原则’，实现了可扩展。其次更复杂的层次结构，可以应用于产品结果复杂的场合。 工厂方法模式的对简单工厂模式进行了抽象。有一个抽象的Factory类（可以是抽象类和接口），这个类将不在负责具体的产品生产，而是只制定一些规范，具体的生产工作由其子类去完成。在这个模式中，工厂类和产品类往往可以依次对应
2015-12-08 19:03:16
1698
原创 简单工厂模式
工厂模式是我们最常用的实例化对象模式了，是用工厂方法代替new操作的一种模式。因为工厂模式就相当于创建实例对象的new，我们经常要根据类Class生成实例对象，如A a=new A() 工厂模式也是用来创建实例对象的，所以以后new时就要多个心眼，是否可以考虑使用工厂模式，虽然这样做，可能多做一些工作，但会给你系统带来更大的可扩展性和尽量少的修改量。下面我们来介绍简单工厂模式，简单工厂方法
2015-12-08 15:12:35
4394
原创 单例模式
第一种（懒汉，线程不安全）：这种方法在多线程的情况下不能工作public class Singleton { private static Singleton instance; private Singleton (){} public static Singleton getInstance() { if (instance ==
2015-12-07 17:04:47
4257
A星算法地图编辑器
2015-07-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人