IT142546355-CSDN博客

原创交叉熵损失

在分类的任务中，往往会使用交叉熵损失函数。对于二分类，使用的是binary_crossentropy，在多分类的任务中，使用的时sparse_categorical_crossentropy和categorical_crossentropy，本文将详细的介绍这三种损失函数

2022-09-24 15:52:41 3895

原创目标检测Faster-RCNN详解

Faster-RCNN是两阶段目标检测算法的典型算法，它不再像古典的目标检测算法使用类似于selective search提取候选框，而是使用RPN(region proposal network)网络提取候选框，因为有RPN网络的加入，Faster-RCNN是可以端对端训练。本文将详解算法结构，正负例划分，损失函数等

2022-09-19 00:02:43 1238

原创深度学习(tensorflow)通用代码

在tensorflow的学习和做项目的过程中，总有一些环境设置类的代码需要编写，这类代码纯属复制粘贴，故而在本博客记录下来，适时可以复制粘贴，本文持续更新......

2022-09-15 15:44:27 764

原创反向传播算法和Tensorflow代码实现

反向传播算法是深度学习的优化算法，主要应用的是链式求导法则去求得每个层的参数的梯度，从而反向的更新梯度，神经网络的一次迭代包含了一次前向传播和一次反向传播。本文将包含反向传播的推导，依据代码和具体数值来诠释神经网络的一次迭代。.........

2022-08-15 16:44:16 567

原创聚类系列算法

聚类系列算法是无监督学习算法。对于大量未标注的数据集，按照内在的相似性来分为多个类别(簇)，类别内的相似度大，类别间的相似度小。本文将介绍k-means算法及其一些变种、层次聚类和密度聚类。.........

2022-08-04 22:29:35 595

原创线性回归详解

线性回归是机器学习中最基本的回归算法。本文将推导线性回归的MSE损失函数，简单线性回归和梯度下降法拟合线性数据，多项式回归拟合非线性的数据，还将介绍通过正则化的手段防止过拟合，使模型有很强的泛化能力。.........

2022-08-02 18:50:22 431

原创 SVM支持向量机

SVM是通过寻找超平面，用于解决二分类问题的分类算法，核心思想是样本点到超平面的距离越远越好，是对感知机的优化。SVM又分为线性可分支持向量机、线性支持向量机和非线性支持向量机，分别对应着硬间隔、软间隔和应用核函数的支持向量机。本文将详述支持向量机的原理和公式推导。.........

2022-07-31 15:50:17 448 1

Anaconda安装地址：Anaconda下载安装：sh Anaconda3-2022.05-Linux-x86_64.sh创建虚拟环境&安装tensorflow-gpu：# 创建虚拟环境conda create -n py37 python=3.7# 安装tensorflow-gpupip install tensorflow==2.3.0 -i https://pypi.tuna.tsinghua.edu.cn/simplecuda安装安装：地址：cuda

2022-05-18 17:45:16 248

原创 Atlas 2.0.0编译与CDH6.2.1集成

前言Atlas能够提供开放式的元数据管理和治理功能，能够构建表与表之间的血缘关系，并且支持对表和构建表的过程进行分类管理。对于平台数据量越来越大，元数据管理显得至关重要，元数据有效的表达了数据的来源和流向以及依赖，Atlas的出现，有效的解决了元数据的管理问题。环境依赖Atlas2.2.0的编译，依赖环境如下：JDK_8u151及以上版本 Maven3.5.0及以上 Python2.7（centos7.5自带，无需安装）编译编译说明由于我的大数据环境是CDH6.2.1，需要修改

2020-08-08 23:52:27 1459 17

原创 Storm集群搭建及测试

目录概述核心概念架构一、部署说明二、Storm配置和部署1. 下载2. 配置3. 服务启动三、wordcount测试1. 程序编写2. 提交Storm集群运行3. 常用命令概述在过去十几年里，数据处理发生了革命性的变化。Hadoop以及相关的框架技术使我们能够存储和处理以往不能想象规模的数据。但是很遗憾，Hadoop及相关框架并不能实时处理...

2019-12-06 16:26:30 554 1

原创 Spark之Spark Streaming

目录概述准备一、TCP socket集成1. nc服务安装2. 测试二、kafka集成1. 服务启动2. 测试参考文章概述Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP套接字）中提取数据，并可以使用高级功能（如map，r...

2019-10-28 17:45:25 219

原创 Spark集成Hive和Hbase实现离线数据分析

目录前言一、Spark+Hive1. 配置2.测试二、Spark+Hbase1. 配置2. 测试前言Spark SQL是Spark处理结构化数据的模块。本节中将Spark SQL和Hive以及Hbase集成，实现离线数据的分析。Hive和Hbase的集成请参阅：Hive+Mysql+Hbase集成配置实现离线数据分析说明：三台机器的主机名分别为：bigdat...

2019-10-24 15:10:35 1327

翻译 Spark之Spark SQL、DataFrame和Dataset

目录概述Spark SQLDataset and DataFrame入门起点：SparkSession创建DataFrameDataFrame的操作编程方式运行SQL查询全局临时视图创建DataSet与RDD的互操作使用反射推断schema编程方式指定schema概述Spark SQL是Spark处理结构化数据的模块。不同于基础的Spar...

2019-10-20 17:19:29 318

翻译 Spark之RDD

目录概述一、RDD创建Parallelized CollectionsExternal Datasets二、RDD操作TransformationsActions三、RDD持久化概述在较高级别上，每个Spark应用程序都包含一个驱动程序，该程序运行在用户main函数中并且在集群上执行各种并行操作。Spark提供最主要的抽象是弹性分布式数据集(RDD)，它是跨...

2019-10-17 14:58:15 187

原创 Spark运行模式配置及测试

目录一、spark standalone模式1. 配置2. 服务启动与测试二、spark on yarn模式1. 配置2. 测试2.1 spark-shell2.2 spark-submitSpark支持3种集群模式，分别是standalone、spark on yarn(hadoop2)、以及spark on mesos模式。其中standalone模式是sp...

2019-10-14 16:08:42 440

原创 Spark源码编译

目录一、环境配置1. maven配置2. spark配置3. Scala安装二、编译安装及测试1. 编译2. 本地模式测试Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室所开源的类Hadoop MapReduce的通用并行框架。由于Hadoop的版本是2.5，官网不提供编译版本供下载，本实例将...

2019-10-10 11:35:12 285

原创 Hue大数据可视化分析

目录一、环境说明二、Hue下载安装1. 下载2. 编译安装3. 基础配置三、框架集成1. HDFS集成2. YARN集成3. Hive集成4. Mysql集成5. Hbase集成四、测试Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hado...

2019-09-19 11:42:34 2031

原创 Hive+Mysql+Hbase集成配置实现离线数据分析

目录一、hive的安装配置1. 下载2. 配置二、hive测试1. 下载测试数据2. 建库及导入数据三、hive和hbase集成1. 配置1.1 配置文件的修改1.2 jar包的引用1.3 建表2. 测试hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为Map...

2019-09-17 11:48:44 1325

原创 flume+hbase+kafka集成部署

目录一、架构图二、flume的安装和配置1. 下载安装2. 配置2.1 日志收集节点配置2.2 日志聚集节点配置2.3 Flume的二次开发三、模拟程序开发四、服务启动测试1. 服务启动1.1 zookeeper1.2 HDFS1.3 Hbase1.4 kafka2. 测试Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合...

2019-09-10 17:26:49 1065

原创 kafka的配置和分布式部署

目录一、相关概念介绍二、下载和配置1. 下载2. 配置三、服务启动和测试1. 创建Topic2. 服务启动3.测试Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。kafka的分布式部署依赖于zookeeper。安装配置zookeeper请参阅：zookeeper的配置和分布式部署说明：三台机器的主机名分别为：big...

2019-09-01 15:06:09 551

原创 Hbase的配置和分布式部署

Table of Contents概述实现原理、运行机制1.Hbase和传统数据库的区别和联系：2.region寻址定位(三级寻址)3.运行机制3.1 master服务器3.2 region服务器一、下载和配置1. 下载2. 配置二、hbase命令行基本操作概述HBase是建立在Hadoop文件系统之上的分布式面向列的数据库，Hbase表是...

2019-08-31 20:48:37 801

原创 Hadoop YARN-HA架构和部署

目录一、YARN-HA的配置1. 修改yarn-site.xml文件二、测试ResourceManager是YARN集群资源管理和任务调度的关键部件，和HDFS的NameNode节点服务一样，为了提高高可靠性，我们需要做YARN-HA(YARN High Availability)，即设置多个ResourceManager节点服务，当活动的ResourceManager节点服务器宕...

2019-08-22 15:47:03 353

原创 Hadoop HDFS-HA架构和部署

目录一、HDFS-HA配置和测试1. 修改hdfs-site.xml2. 修改core-site.xml3. 服务启动二、自动故障转移1. 修改hdfs-site.xml文件2. 修改core-site.xml文件3. 服务启动试想一个场景，每个hdfs集群只有一个namenode节点，如果这个namenode节点不可用，那么整个hdfs集群服务都不可用，这样集...

2019-08-20 17:50:10 252

原创 zookeeper的配置和分布式部署

目录一、下载和配置1.下载2.配置二、服务启动和测试ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。说明：三台机器的主机名分别为：bigdata.centos01、bigda...

2019-08-18 15:22:12 274

原创 Hadoop ssh无秘钥登录和集群时间同步

目录一、集群ssh无秘钥登录二、集群时间同步1.时间服务器配置2.从节点服务器配置一、集群ssh无秘钥登录场景：试想集群里面的机器特别多的时候，一台一台的机器去启动HDFS和YARN的服务是特别费劲的。能否有办法在主节点能启动所有主节点和从节点的服务，而不需要通过sbin/hadoop-daemon.sh等类似命令去一台台的去启动和停止服务，本小节给你答案。注意：如果h...

2019-08-17 15:45:29 196

原创 Hadoop介绍以及集群搭建

目录知识要点MapReduce策略理念工作流程分片(split)的划分map任务数量和reduce任务数量的确定shuffle过程YARN架构概述工作流程一、环境准备1.centos单机配置2.虚拟机克隆二、搭建HDFS集群1.配置文件修改2.启动服务3.测试三、配置yarn和mapreduce1.配置文件修改2.启动...

2019-08-02 17:16:19 340

原创 JNI之C语言指针再现

C语言指针再现前言将近一年多没用碰C和C++的东西了，一直在做java和android的东西，学到android的jni开发的时候需要用到C和C++的东西，其中C和C++中最难的东西毫无疑问就是指针了，相信大家都有这种苦恼，即使学了也就是半懂不懂的状态。下面将用最简单的例子来说明下指针。实现代码如下：#include #include main(){

2016-09-12 20:46:09 686

转载 Android之利用android:indeterminateDrawable来实现ProgressBar三种方式

原文：http://blog.csdn.net/chenlove1/article/details/41758977方式1：(效果为补间动画一样)[html] view plain copyProgressBar android:layout_width="wrap_content" android:lay

2016-09-08 20:06:36 3013

原创 android之Android Studio下自定义属性的定义和使用

Android Studio下自定义属性的定义和使用1.自定义属性的定义在values文件夹下，新建attrs.xml文件，格式内容如下： 2.在布局文件的使用命名空间的使用，这和eclipse不同xmlns:exam="http://schemas.android.com/apk/res-auto

2016-09-06 22:16:21 2921

转载 android之shape属性大全

本文章转接于：http://kofi1122.blog.51cto.com/2815761/521605Android中常常使用shape来定义控件的一些显示属性，今天看了一些shape的使用，对shape有了大体的了解，稍作总结：先看下面的代码：

2016-08-30 16:20:09 395

原创 android之自动轮播的ViewPager

Android之自动轮播的ViewPager1、前言看到其他APP的自动轮播的ViewPager时，感觉效果挺炫酷的，所以今天自己动手一试，效果挺好，为此记录一番。同时记录下来给广大码农，欢迎大家的批评指正，有不足之处还请留言。2、说明我在项目中用到了butterknife框架，一个很实用的框架，我们不用再手动的findViewById，不用手动的添加控件的点击事件，在andr

2016-08-29 18:42:37 697

原创 android之自定义进度条的背景和进度的颜色

1、在xml中的ProgressBar声明如下属性android:progressDrawable="@drawable/progressbar_bg"2、配置progressbar_bg.xml文件 <item android:id="@android:id/background" android:drawable="@drawable/secur

2016-08-23 16:05:47 2439

原创 Android之RemoteView

android 中的RemoteView添加点击操作,是通过延迟意图PentingIntent来执行的.应用场景:通知栏与桌面小部件,更新不同进程间的界面桌面部件与通知栏分别由AppWidgetManager 与 NotificationManager来管理. 分别与systemService进程中的AppWidgetServer和NotificationManagerSe

2016-08-19 11:51:01 1222

原创 Android之生成快捷方式

比较简单，直接上代码： //1.给intent维护图标和名称 Intent intent = new Intent("com.android.launcher.action.INSTALL_SHORTCUT"); intent.putExtra(Intent.EXTRA_SHORTCUT_ICON, BitmapFactory.decodeResource

2016-08-17 17:02:04 679

原创 Android之获取安装应用和进程的相关信息

1、获取安装应用的信息appInfoList = new ArrayList(); //获取包管理者 PackageManager pm = context.getPackageManager(); //获取所有安装在手机上应用的相关信息 List packageInfoList = pm.getInstalledPackages(0); for (PackageInfo

2016-08-16 21:03:58 588

原创 Android之ListView展示多类型的条目

以前只写过单一类型的条目，今天学习了一下多类型条目的展示，为避免遗忘，为此在这里记录，写的解释都在代码里面，欢迎其他学习者学习参考：private class MyAdapter extends BaseAdapter{ //获取数据设配器中条目类型的总数 @Override public int getViewTypeCount() { return super.getVi

2016-08-14 15:34:01 2892

原创 Android之短信备份

写短信备份的简单应用主要是为了使用xml的序列化，下面是读取短信数据库中短信信息，并将其转化成xml文件 int index = 0; Uri uri = Uri.parse("content://sms"); // 读取短信 Cursor cursor = getContentResolver().quer

2016-08-12 15:31:29 542

原创 Android拦截电话

当有电话拨入,处于响铃状态的时候,我们设置电话监听器去挂断电话(aidl,反射)，达到拦截电话的效果，挂断电话号码的方法放置在aidl文件中名称为endCall的方法。在我们的工程中新建com.android.internal.telephony包，将NeighboringCellInfo.aidl放入该包中，再新建android.telephony包，将NeighboringCellInfo.a

2016-08-11 20:17:29 1095

原创 Android中的多击事件

在我们的手机的版本信息的地方连击三下会出现相应版本的logo我们先来看看Google工程师是如何实现的： public boolean onPreferenceTreeClick(PreferenceScreen preferenceScreen, Preference preference) { if (preference.getKey().equals(KEY_FIR

2016-08-09 09:40:08 570

原创 Android超级管理员，实现一键锁屏等等

1、自定义Receiver,继承DeviceAdminReceiver2、配置manifest <receiver android:name=".AdminReceiver" android:description="@string/sample_device_admin_description" android:la

2016-08-07 17:16:24 1197