小夜

转载 ETL讲解

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。       　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从...

转载 caffe——模型训练数据的过程

https://blog.csdn.net/yx2017/article/details/72953537

转载 最简爬虫详细解读

https://blog.csdn.net/meihao5/article/details/79563902

转载 自然语言处理（NLP）知识结构总结

自然语言处理知识太庞大了，网上也都是一些零零散散的知识，比如单独讲某些模型，也没有来龙去脉，学习起来较为困难，于是我自己总结了一份知识体系结构，不足之处，欢迎指正。内容来源主要参考黄志洪老师的自然语言处理课程。主要参考书为宗成庆老师的《统计自然语言处理》，虽然很多内容写的不清楚，但好像中文NLP书籍就这一本全一些，如果想看好的英文资料，可以到我的GitHub上下载：  http://gith...

转载 人工智能之迁移学习

转自：http://mp.ofweek.com/ai/a045673320166前言: 深度学习主要强调的是特征，强化学习主要强调的是反馈，而迁移学习主要强调的是适应。之前介绍过人工智能之机器学习算法有前5大类内容，具体请参见相关文章。今天我们重点探讨一下第6类--迁移学习（Transfer Learning）。 ^_^传统的机器学习是种瓜得瓜，种豆得豆，而迁移学习可以举一反三，投桃报...

转载 使用python调用训练好的模型来分类（Ubuntu）

https://www.aliyun.com/jiaocheng/126550.html?spm=5176.100033.2.29.GFuia4摘要：在caffe的学习过程中,我发现我需要一个模板的程序来方便我测试训练的模型。我在上一篇博客中(caffe学习(五):cifar-10数据集训练及测试(Ubuntu)),最后测试训练好的模型时是修改caffe自带的classify.py来进行测试的...

转载 Tesseract-OCR识别中文与训练字库实例

转自：https://www.aliyun.com/jiaocheng/18274.html?spm=5176.100033.2.15.GFuia4摘要：关于中文的识别,效果比较好而且开源的应该就是Tesseract-OCR了,所以自己亲身试用一下,分享到博客让有同样兴趣的人少走弯路。文中所用到的身份证图片资源是百度找的,如有侵权可联系我删除。一、准备工作1、下载Tesseract-OCR引擎...

转载 将tensorflow训练好的模型移植到android

摘要：http://blog.csdn.net/cxq234843654/article/details/71171293说明本文将描述如何将一个训练好的模型植入到Android设备上,并且在android设备上输入待处理数据,通过模型,获取输出数据。 通过一个例子,讲述整个移植的过程。(demo的源码访问github上了https://github.com/CrystalChen1017/TSF...

转载 香港科技大学计算机系主任杨强：论深度学习的迁移模型

一、迁移学习的三大优点 为什么我们做迁移学习？我总结了三条原因：  小数据。我们生活当中大量遇见的是小数据而不是大数据，当数据很稀疏，看到不同的类别我们还是能在当中做出很靠谱的模型。这并不是空穴来风，而是之前我们有过很多大数据的经验可以去借鉴，站在大数据的巨人肩膀上，所以人工智能大量地应用，迁移学习这种模式是必不可少的。   可靠性。即使我们有一个大数据模型，我们也很关...

转载 用大白话告诉你什么是强化学习和迁移学习

一.深度学习（Deep Learning）    深度学习是近期人工智能取得重大突破的重要因素之一。现在商用的多是有监督的深度学习，需要大量的标注数据。    举个例子，怎么教小朋友认识小狗呢。你会找些图片给小朋友看，告诉他这是小狗；路上碰见小狗，你会指给他看，告诉他这个是小狗；而小朋友指着电视上的猫说这是小狗，你会赶紧指正，告诉他这不是小狗，旁边那个才是小狗。时间久了，次数多了，小朋友就...

转载 名词解释

转载 卷积神经网络

在机器学习中，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别。 [1] 卷积神经网络，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。中文名卷积神经网络外文名Convolutional Neural Network研究领域计算机组    成卷积层和池化层简    称CNN目录1 卷积神经网络简介2 神经网络卷积神经网络简介编辑卷...

转载 深度神经网络的训练方法：如何构建各层的特征表示（五）

参考文献：http://blog.csdn.net/zouxy09/article/details/87755185.1训练原理            2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步：一是，每次训练一层网络；二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。方法是：             1）首先逐层...

转载 深度学习的框架：深度（分层）的数学表示（四）

参考文献：http://blog.csdn.net/zouxy09/article/details/8775518具有层次结构的数学算法：                 神经网络                         到     深度神经网络DNN          限制深度波尔茨曼机      到     深度波尔茨曼机DBM          限制深度波尔茨曼机      到   ...

转载 深度学习基本思想:分层的特征表示（三）

参考文献：http://blog.csdn.net/zouxy09/article/details/8775518       假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为：I =>S1=>S2=>…..=>Sn => O        如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可...

转载 域名解析TTL是什么意思 TTL值设置为多少合适？

下面举个例子还帮助你了解TTL是什么意思。假如：有这样一个域名www.enkj.com，对应IP地址为1.1.1.1，把它的TTL设为3600秒，这条记录存储在一台DNS服务器上。现在有一个用户在访问www.enkj.com时，网络服务商的DNS就会试图为用户解析www.enkj.com，当然网络服务商这台DNS服务器并没有包含www.enkj.com这条信息，因此无法立即解析，但是通过全球DNS...

转载 BP 神经网络

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。发展背景编辑在人工神经网络的发展历史上，感知机(Multilayer Perceptron，MLP)网络曾对人工神经网络的发展发挥了极大的作用，也被认为是一种真正能够使用的人工神经网络模型，它的出...

转载 深度学习 Deep Learning简介 （一）

主要参考文献：http://blog.csdn.net/zouxy09/article/details/8775360（从一到八）1：机器学习在解释深度学习之前，我们需要了解什么是机器学习（ML，Machine Learning）。机器学习是人工智能（AI，Artificial Intelligence）的一个分支，而在很多时候，几乎成为人工智能的代名词。简单来说，机器学习就是通过算法，使得机器能...

转载 深度学习 Deep Learning简介 （二）：浅层学习（Shallow Learning）和深度学习（Deep Learning）

主要参考文献：http://blog.csdn.net/zouxy09/article/details/8775360（从一到八）；http://www.csdn.net/article/2013-05-29/2815479 从1980年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习（Shallow Learning）和深度学习（Deep Learning）。需要指出是，机器学习历史阶段的...

转载 【VS调试】C#读写Windows 7注册表时抛出“不允许所请求的注册表访问权”的解决办法

在XP/2003下调试得好好的程序，到了windows7下，却抛出“不允许所请求的注册表访问权”的异常，该异常就在读写注册表时引发，例：[csharp] view plaincopyprint?public class Program     {          public staticvoid SetAutoRun(string keyName,str

转载 数据导出到Excel（或Word）源代码大全

在日常工作中，大家都习惯Office作为办公软件，因此，在开发软件的时，常常会有把数据导出到Excel等Office软件的需求。在此，收集一些常用的导出文件的源程序，希望给大家带来方便。（不断更新）一、DataSet数据集内数据转化为Excel // 作用：把DataSet数据集内数据转化为Excel、Word文件 // 描述：这些关于Excel、Word的导出方法，基本可以实现日

转载 C# MD5 加密方法

1publicstring md5(string str,int code)2{3   if(code==16)//16位MD5加密（取32位加密的9~25字符）4   {5       return System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFil

转载 用SHA1或MD5 算法加密数据(示例:对用户身份验证的简单实现)

(一).功能   用哈希算法: SHA1或MD5 实现用户账号和密码验证.   数据库存储实现原理是: 用户账号直接存储在数据库中，密码经过加密后再存储到数据库中.       当用户登录时，密码要经过加密后再与数据库中的实际存储密码比较，确定是否合法用户.(二).代码及实现    1.打开命名空间:using System.Web.Security;  2.在

转载 将字符串转成ASCII码

将字符串转成ASCII码将字符串转成ASCII码   private  string  CloakText(string  text)    {         StringBuilder  sb =  new  StringBuilder();         System.Text.ASCIIEncoding  asciiEnco

转载 基于.Net的单点登录(SSO)解决方案

单点登录，其实这个概念早已耳熟能详，但实际应用很少，难得最近轻闲，于是决定通过本文来详细描述一个SSO解决方案，希望对大家有所帮助。SSO的解决方案很多，但搜索结果令人大失所望，大部分是相互转载，并且描述的也是走马观花。      闲话少叙，进入正题，我的想法是使用集中验证方式，多个站点集中Passport验证。 如下图所示：      为方便清晰描述，先定义几个名词，本文中出现之处均

转载 在.net(C#)中查找本地及局域网内所有sql server实例

因为要做一个数据库辅助小工具，所以需要查到本地与局域网内所有sqlserver实例。完成后将方法写出来，供大家参考：下面方法是分别将本地及局域网内所有sqlserver实例查找出来并绑定到ComboBox控件中的示例。一、查找本地sqlserver实例private void Source_DataBindByLocal(){//获取本机的计算机名string Ho

转载 利用DevExpress的WebChartControl绘制柱状图，线状图与饼状图示例

WebChartControl是DevExpress控件群下的一个Web图表控件，它使用非常的方便，生成的图表也相当的漂亮。我们在本章就如何利用WebChartControl控件来绘制柱状图，线状图与饼状图做个示例。首先，我们需要在aspx页面放置一个WebChartControl控件，代码如下，为简单起见，我们不为它设置任何属性：注意需要在aspx的头部注册该控件：而

转载 在C#得到指定日期所在周的第一天与最后一天的方法

我们在计算时期的时候，可能会经常需要得到指定日期所在周的第一天与最后一天的日期，又因为我们的计算周的方式与西方有所不同，他们是以星期天为每周的第一天，而我们习惯以星期一为每周的第一天。这里我们分别给出两种不同计算方法的示例，方法如下：using System;using System.Collections.Generic;using System.Linq;using Syste

转载 在asp.net中对url地址统一编码的示例

因为自己现在所在项目中很多url传值的地方都没有将值经过Server.UrlEncode编码而直接传值，所以造成在传值的时候存在大量错误。比如值中存在汉字，或者存在+,/等特殊符号时，接收到的值就和原来的传的值不一样了。所以我们在url传值时一定要将值经UrlEncode编码后再传，url的编码可参看本站：Url编码与解码分析但现在项目中已经存在大量的没有编码的情况该怎么办呢？一个一个去改

转载 从GridView中导出全部页数据示例

今天看到有朋友在论坛上面问到，我是使用PagedDataSource来绑定GridView的数据源的，然后导出数据到execl中只导出了当前页的数据，请问要如何导出GridView中全部页的数据呢？这个其实很简单，最方便的方法是在导出前取消分页，让GridView加载全部数据，导出后再重新设置好分页就好了。代码可以参考下面：GridView1.AllowPaging = false;

转载 C#中String与StringBuilder性能差异的原因详解

我们来看一段简单的代码：string text = "Red";string _tempStr = text;_tempStr = "Blue";Console.WriteLine(text);Console.ReadKey();按照引用的理论，此处 _tempStr 变量应该是存储的 text 变量的地址，那么修改 _tempStr 变量的值，text 的值就应该随之改变

转载 C#中数组，ArrayList与List对象的区别

在C#中，当我们想要存储一组对象的时候，就会想到用数组，ArrayList,List这三个对象了。那么这三者到底有什么样的区别呢？我们先来了解一下数组，因为数组在C#中是最早出现的。数组数组有很多的优点，比如说数组在内存中是连续存储的，所以它的索引速度是非常的快，而且赋值与修改元素也很简单，比如：string[] s=new string[3];//赋值s[0]="a";

转载 敏捷开发一千零一问系列之二十：怎样持续改进？（兼谈共振）

这是敏捷开发一千零一问系列的第二十篇。（在这里提问，之一，之二，之三，问题总目录）问题问题来自提问帖第14楼：http://blog.csdn.net/cheny_com/article/details/7564388问题原文：有迭代，有总结，也有人说话。但是下个版本，大家又忘记自己提的改进意见了。这个问题还有很多变形，比如怎样开好反思会什么的。初步分析反思会被认为是敏捷开

转载 敏捷开发一千零一问系列之二十一：怎样写设计？（教育软件案例）

这是敏捷开发一千零一问系列的第二十一篇。（在这里提问，之一，之二，之三，问题总目录）问题这个问题来自于QQ聊天记录。早期的对话大致是：问： 12:50:06敏捷开发 提倡的是简单设计是吧？ 那么是不是就弱化了 设计文档了呢？ 陈勇-咨询-北京(139107533) 12:54:06 弱化设计是相对的，敏捷的目的只有一个：强化最后的可用产品。 对于本来设计有点过头

转载 敏捷开发一千零一问系列之二十二： UI设计怎么做到敏捷呢？（兼谈对UI热的理解）（上）

这是敏捷开发一千零一问系列的第二十二篇。（在这里提问，之一，之二，之三，问题总目录）问题这个问题，也来自QQ群的讨论，整理一下。问： 13:12:49 我问一个具体问题，我做移动OA 问题是  UI设计 怎么做到敏捷呢？  其实就是 设计稿变化 程序老跟着变 陈勇-咨询-北京 (139107533)2012-06-29 13:17:50恩，我们团队不大，

转载 敏捷开发一千零一问系列之二十四： UI设计怎么做到敏捷呢？（兼谈对UI热的理解）（下）

这是敏捷开发一千零一问系列的第二十四篇。（在这里提问，之一，之二，之三，问题总目录）续上文陈勇-咨询-北京(139107533) 13:27:03这个是我们的组织结构维护视图，本来是一个很简单的树控件，但就Domain而言，一个人只有看到长相如此的东西，才会理解它是一个组织结构图（尽管M就是树）但是，V里边的代码，不过如此：真正的代码，被放到M里边了

转载 HTML5手机的春天， Web Apps来袭

如同历史上任何一次互联网基础标准的变化都会在随后几年中带来应用创新的大爆发一样，当HTML5在2011年逐渐被主流厂商所接受之后，围绕Web Apps领域的创新风暴正山雨欲来。2012年1月12日，老牌传媒集团《金融时报》（Financial Times，以下简称FT）宣布收购为其开发移动Web App的研发公司Assanka ，这样，FT将不再以外包的形式雇佣Assanka为其打造移动W

转载 HTML5 跨域信息交互技术之 postMessage

我们知道传统的HTML 规范中对于跨域的请求有这严格的限制，如果没有这个限制，将会发生很可怕的事情，设想一个场景当你在公司上班打开公司内部的管理信息系统，同时你打开了另一个外部网页页面， 那个外部网页中的动态脚本比如JS 脚本可以嗅探到你公司内部管理信息系统的内容，假如你公司的信息系统是一些敏感的信息时，其实你在不知不觉中已经泄漏了公司的信息，由此可能将会造成给公司很大的损失，所以浏览器是阻止这些

转载 HTML5编写的小游戏

HTML5 是什么东西？而 HTML5 的优势又在哪里？大家可以回顾之前一篇相关文章了解下 HTML5 知识：《深入分析：Flash VS HTML5到底谁统江山》。现在介绍多款 HTML5游戏，看看 HTML5 到底有什么优势可以吸引我们。下面介绍的所有小游戏都是使用 HTML5+JavaScript代码编写，大家可以使用WebKit 浏览器进行游戏。目前，IE 系列中只有 IE

转载 敏捷开发一千零一问系列之十九：提问帖

这是敏捷开发一千零一问系列的第十九篇。（在这里提问，之一，之二，之三，问题总目录）先说说一千零一问的来历。无论在培训、咨询中，还是在日常博客、邮件、QQ群中，都不断有人提出不同的敏捷开发问题，一一作答的时间消耗太大；如不作答，又知道这些不只是一个“感兴趣”的问题而已，而是关乎某个团队若干人月的工作，或一些人的职业生涯，或乃至企业的很多未来决策，虽然不怀疑大家迟早会找到答案，但以自己“曲折的