dragonguai-CSDN博客

转载为什么L1稀疏，L2平滑？

问题为什么L1正则化较容易产生稀疏解，而L2正则化较平缓稳定1介绍L1和L2 L1和L2正则常被用来解决过拟合问题。而L1正则也常被用来进行特征选择，主要原因在于L1正则化会使得较多的参数为0，从而产生稀疏解。我们可以将0对应的特征遗弃，进而用来选择特征。角度一 ——从代价函数上来看但为什么L1正则会产生稀疏解呢？这里利用公式进行解释。假设只有一个参数为w，损失...

2019-06-28 17:09:42 462 1

原创 Python3 垃圾回收（GC）（二）

1. Garbage collection(GC垃圾回收)现在的高级语言如java，c#等，都采用了垃圾收集机制，而不再是c，c++里用户自己管理维护内存的方式。自己管理内存极其自由，可以任意申请内存，但如同一把双刃剑，为大量内存泄露，悬空指针等bug埋下隐患。对于一个字符串、列表、类甚至数值都是对象，且定位简单易用的语言，自然不会让用户去处理如何分配回收内存的问题。 python里也同j...

2018-12-11 11:44:08 176

原创 python爬虫——urllib2库的安装及使用

urllib2库的基本使用所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib2。urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用)urllib2 官方文档：https://docs.python.org/2/library/urllib2.htmlurllib2 ...

2018-12-11 11:42:12 2975

原创 Python3 垃圾回收（GC）（一）

1. 小整数对象池整数在程序中的使用非常广泛，Python为了优化速度，使用了小整数对象池，避免为整数频繁申请和销毁内存空间。Python 对小整数的定义是 [-5, 257) 这些整数对象是提前建立好的，不会被垃圾回收。在一个 Python 的程序中，所有位于这个范围内的整数使用的都是同一个对象.同理，单个字母也是这样的。但是当定义2个相同的字符串时，引用计数为0，触发垃圾回...

2018-12-11 11:40:12 120

原创 GIL问题的理解

Python中有GIL为什么还需要线程同步？简单说：线程的锁机制与CPU的锁（GIL）粒度不一样，GIL并不能保证线程安全单个字节码操作（原子操作）是线程安全的，非原子操作是多字节码操作所以我理解的GIL只是使一些简单的原子操作变成了线程安全的，而非那些原子操作的过程仍然需要我们自己使用锁机制进行同步 GIL保证的是字节码同一时刻只能被一个线程执行，但是同一个操作可能对应多个字...

2018-08-01 13:34:37 271

原创墓碣文

墓碣文我梦见自己正和墓碣对立，读着上面的刻辞。那墓碣似是沙石所制，剥落很多，又有苔藓丛生，仅存有限的文句——“……于浩歌狂热之际中寒；于天上看见深渊。于一切眼中看见无所有；于无所希望中得救。……“……有一游魂，化为长蛇，口有毒牙。不以啮人，自啮其身，终以陨颠。……“……离开！……”我绕到碣后，才见孤坟，上无草木，且已颓坏。即从大阙口中，窥见死尸，胸腹俱破，中无心肝。而脸上却绝不显哀乐之...

2018-07-31 16:45:07 1487

转载机器学习中的范数规则化之（一）L0、L1与L2范数

今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。监督机器学习问题无非就是“minimizeyour error w...

2018-07-24 09:35:28 143

原创 windows下scrapy框架学习笔记—'scrapy' 不是内部或外部命令

开开心心的安了scrapy等众多神级框架，可是当我满怀期待的试着使用时告诉我它不认识我！不对，是cmd不认识它，这就让我很尴尬，给了你们那么长时间相互了解最后告诉我你们不认识？！WTF！！！好了不扯了，进入正题：在环境变量都具备的情况下竟然识别不出“scrapy startproject demo”，安装时也没有任何问题，唯独使用时掉链子这是很悲哀的一件事。。。有问题就找help，首先我们来看一下...

2018-06-11 15:48:12 2580 6

转载使用Scrapy-redis实现分布式爬取

Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。而Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedu...

2018-06-11 10:00:28 537

u012720990的博客