HelenLi的博客

原创 Python报ValueError: invalid literal for int() with base 10解决办法

a = int(value)报错：ValueError: invalid literal for int() with base 10: '21.0'解决：a= int(float(value))

原创 Python：ValueError: Invalid control character at: 解决办法

错误：ValueError: Invalid control character at: line 13862 column 32 (char 151679)分析原因：字符串格式不对，接口返回非标准json格式解决：添加strict=False非严格模式 json.loads(jsonstr,strict=False)...

转载 点击率预估

点击率预估是广告技术的核心算法之一，它是很多广告算法工程师喜爱的战场。一直想介绍一下点击率预估，但是涉及公式和模型理论太多，怕说不清楚，读者也不明白。所以，这段时间花了一些时间整理点击率预估的知识，希望在尽量不使用数据公式的情况下，把大道理讲清楚，给一些不愿意看公式的同学一个Cook Book。点击率预测是什么？·        点击率预测是对每次广告的点击情况做出预测，可以判定这次为点击或不点击...

转载 阿里数据竞赛

1.    问题介绍与评估指标开放数据：天猫用户在4月-8月的品牌行为数据，对品牌的点击、购买、收藏、加入购物车等。（一共5个月的数据）预测数据：同样这些用户在9月购买的品牌。提供的数据形式如下：　　　　 具体内容，请戳比赛介绍。2.    天猫推荐算法在阿里内部，天猫算法团队将品牌推荐转化为一个点击率预估问题。（注意：这里讨论推荐的目标是为用户展示之后用户会去点击，但是比赛要求的是预测用户是否去...

转载 KERAS各种优化方法总结

KERAS各种优化方法总结 SGDMOMENTUMNESTEROV http://blog.csdn.net/luo123n/article/details/48239963 前言这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。SGDSGD指stochastic gradient desc...

原创 【数据分析】挖掘建模-分析与预测

原创 【数据分析】数据预处理

原创 【数据分析】数据探索

原创 【数据分析】数据挖掘基本概念

数据挖掘基本任务：分类与预测、聚类分析、关联规则、时序模式、偏差检测、智能推荐 数据挖掘建模过程：定义挖掘目标、数据取样、数据探索、数据预处理、挖掘建模、模型评价定义挖掘目标数据取样抽取标准（1相关性 2可靠性 3有效性）质量衡量（1资料完整无缺，各类指标齐全  2数据准确无误，反映的都是正常（非异常）状态下的水平抽样方式：随机、等距、分层、从起始顺序、分类数据探索异常值分析、缺失值分析、相关分析...

原创 也说推荐系统【1】

推荐方式（简要分为3种）社会化推荐：如向朋友咨询基于内容的推荐：如搜喜欢的演员的电影基于协同过滤的推荐：如看别人在看什么电影，找一部好评的片推荐系统应用组成（3部分）前台：展示页面后台：日志系统推荐算法系统推荐相关的三方：用户，网站，内容提供方推荐系统实验方法（三类）离线实验（准确度）用户调查（满意度）在线实验（AB测试）

原创 Python中时间格式转换

在项目中遇到时间格式转换的问题，由CST形式的string转为XXXX-XX-XX形式的日期，如：原来：Thu Jun 22 00:00:00 CST 2017目标：2017-06-22一番查找后，找到了解决方法，思路：利用strptime和strftime方法，先将原本格式的时间转成时间戳，再利用strftime转成规定形式的字符函数：import timedef cst

转载 四种Cast

C++中的Cast引言在一次看More Effective C++中，有一节提到了《Prefer C++-Style Casts》。其中列举许多C++ Cast的一些好处，当然这些都是相对于C语言中的强制转换这类而言的。所以首先来了解C++中的Cast。一、Dynamic_Cast我们从适用范围来了解这个操作。

转载 C++STL一般总结

C++ STL 一般总结以下内容来源网上 经过整合而成一、一般介绍      STL（Standard Template Library），即标准模板库，是一个具有工业强度的，高效的C++程序库。它被容纳于C++标准程序库（C++ Standard Library）中，是ANSI/ISO C++标准中最新的也是极具革命性的一部分。该库包含了诸多在计算机科学领域里所常用的基本数据

转载 PHP框架

1、LaravelLaravel是一款免费并且开源的PHP应用框架，它是为开发基于MVC的WEB应用而设计的，个人觉得，Laravel是2014年最棒的PHP框架了，它可以帮助你创建一些很酷的WEB应用，而且可以轻松地使用权限验证、URL路由、Session以及缓存等功能。官方网站：http://laravel.com/2、PhalconPhalcon是运行

转载 tcpcopy的工作原理

本文内容是整理自 王斌的博客（http://blog.csdn.net/wangbin579）和郑钧的博客（http://www.cnblogs.com/zhengyun_ustc），以便让自己可以有个宏观的认识。Tcpcopy是一个分布式在线压力测试工具，可以将线上流量拷贝到测试机器，实时的模拟线上环境，达到在程序不上线的情况下实时承担线上流量的效果，尽早发现bug，增加上线信心。

原创 【每天学点redis】Redis的五种结构类型

Redis:特点：快速、非关系、内存存储、不使用表（必要时才用，少量数据，专属命令）比较：MySQL:关系数据库，大量，增改删查 Redis:服务器关闭时，紧凑的格式将存储在内存中的数据写入硬盘 持久化方法：1.时间点转储：指定时间段内有指定数量的写操作执行                            2.将所有修改了数据库的命令全部写入一个只追加文件里面

转载 软件安全性测试

软件安全性是一个广泛而复杂的主题，每一个新的软件总可能有完全不符合所有已知模式的新型安全性缺陷出现。要避免因安全性缺陷问题受各种可能类型的攻击是不切实际的。在软件安全测试时，运用一组好的原则来避免不安全的软件上市、避免不安全软件受攻击，就显得十分重要。　　一、软件安全性测试基本概念　　软件安全性测试包括程序、网络、数据库安全性测试。根据系统安全指标不同测试策略也不同。　　1

原创 接口测试工具postman安装及简单使用

安装个人了解的postman有两种，一种是chrome浏览器的插件，一种是PC客户端，强推客户端，安装和使用方便，浏览器插件安装麻烦，需改后缀解压拖拽至浏览器应用程序，并且使用不灵。简单使用postman用于模拟网络请求包，快速创建请求，回放、管理请求，快速设置网络代理。eg:页面访问请求百度首页www.baidu.com，框中输入域名，点击send,即可获取html信息，点击左侧

转载 Charles使用教程

Charles 的简介如何安装 Charles将 Charles 设置成系统代理Charles 主界面介绍过滤网络请求截取 iPhone 上的网络封包截取 Https 通讯信息模拟慢速网络修改网络请求内容给服务器做压力测试修改服务器返回内容总结简介Charles 是在 Mac 下常用的网络封包截取工具，在做 移动开发时，我们为

转载 敏捷开发，QA面临的10个挑战

敏捷开发，QA面临的10个挑战1.没有MRD，如何管理好需求？2.没有需求评审，怎么保证需求质量？3.研发模式变更，怎么把握进度？4.没有详细设计如何保证设计没有问题？5.没有测试设计如何保证测试质量？6.何时提测？提测频繁，如何降低提测成本？提测时间不固定，如何分工？7.如何提高RD代码质量？8.没有准入，怎么保证提测质量？9.如何避免新增story影响已

转载 HTTP的长连接和短连接

HTTP的长连接和短连接    本文总结&分享网络编程中涉及的长连接、短连接概念。    关键字：Keep-Alive，并发连接数限制，TCP，HTTP一、什么是长连接     HTTP1.1规定了默认保持长连接（HTTP persistent connection ，也有翻译为持久连接），数据传输完成了保持TCP连接不断开（不发RST包、不四次握手），等待在同

原创 PHP利用cookie保存登录信息

Cookie是在客户端由浏览器维护的存储空间，利用它可以保存用户相关信息，本博文以PHP语言为基础，给出利用cookie保存用户登录名和密码的实现例子，然而须知cookie安全性较差，在实际应用中不宜采用cookie保存私密信息。练习：用php的cookie存用户名和密码登录页面login.php登录后页面loginProcess.php 结果：

原创 详解设计模式——策略模式

策略模式(Strategy)定义一系列的算法,把它们一个个封装起来,并且使它们可相互替换。本模式使得算法可独立于使用它的客户而变化。类图：1.Strategy：策略接口，用来约束一系列具体的策略算法。Context使用这个接口来调用具体的策略，实现定义的策略。2.ConcreteStrategy：具体的策略实现，也就是具体的算法实现。3.Context：上下午，负责与具体的策略

原创 详解设计模式——观察者模式

观察者模式(Observer)对象间的一种一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新。类图：1.抽象主题(Subject)角色：把所有对观察者对象的引用保存在一个集合中，每个抽象主题角色都可以有任意数量的观察者。抽象主题提供一个接口，可以增加和删除观察者角色。一般用一个抽象类和接口来实现。2.抽象观察者(Observer)角色：为所有具体

原创 详解设计模式——装饰器模式

装饰器模式(Decorator)对客户透明的方式动态地给一个对象附加上更多的责任，同时又不改变其结构。装饰模式可以在不使用创造更多子类的情况下，将对象的功能加以扩展。类图：1.抽象构件(Component)角色：给出一个抽象接口，以规范准备接收附加责任的对象。2.具体构件(ConcreteComponent)角色：定义一个将要接收附加责任的类。3.装饰(Decorator)角色：持

原创 详解设计模式——外观模式

外观模式(Facade)为子系统中的一组接口提供一个一致的界面，Facade模式定义了一个高层接口，这个接口使得这一子系统更加容易使用。隐藏系统的复杂性，并向客户端提供了一个客户端可以访问系统的接口。降低访问复杂系统的内部子系统时的复杂度。类图：在客户端和复杂系统之间再加一层，将调用顺序、依赖关系等处理好。举个例子：我们经常用的电脑，开机其实是个非常复杂的过程，而我们只需要按开机按钮就

原创 详解设计模式——适配器模式

适配器模式(Adapter Class/Object)是指将一个接口转换成客户端希望的另外一个接口，该模式使得原本不兼容的类可以一起工作。举个例子：macbook pro有一个HDMI接口，一条HDMI接口的数据线，现在要外接显示器，而显示器只有VGI接口，我们需要一个HDMI-VGI转换器，这个转换器其实起到的作用就是适配器，让两个不兼容的接口可以一起工作。类图：适配器有4种角色

原创 详解设计模式——模板方法模式

模板方法模式(Template Method)定义一个操作中算法的框架，而将一些步骤延迟到子类中，使得子类可以不改变算法的结构即可重定义该算法中的某些特定步骤。类图：模板方法模式是编程中经常用到的模式，其非常简单，AbstractClass叫抽象模板，其方法分为3类：1.抽象方法：父类中只声明但不加以实现，而是定义好规范，然后由它的子类去实现。2.模版方法：由抽象类声明并加以实

原创 详解设计模式——建造者模式

建造者模式(Builder)将一个复杂的构建与其表示相分离，使得同样的构建过程可以创建不同的表示。主要解决在软件系统中，有时候面临着"一个复杂对象"的创建工作，由于需求的变化，这个复杂对象的某些部分经常面临着剧烈的变化，一些基本部件不会变。所以需要将变与不变分离。与抽象工厂的区别：在建造者模式里，有个指导者(Director)，由指导者来管理建造者，用户是与指导者联系的，指导者联系建造者最后得

原创 详解设计模式——抽象工厂模式

抽象工厂模式(Abstract Factory)为创建一组相关或相互依赖的对象提供一个接口，而且无需指定他们的具体类。抽象工厂是工厂模式的升级版，他用来创建一组相关或者相互依赖的对象。来看下抽象工厂模式的类图：上节学习了工厂模式，类的创建依赖工厂类，程序需要扩展时，我们必须创建新的工厂类。工厂类是用来生产产品的，那我们也可以把“工厂类当成我们要生产的产品”，所以抽象工厂就是“工厂的工厂

原创 详解设计模式——工厂方法模式

工厂方法模式(Factory Method)定义一个用于创建对象的接口，让子类决定实例化哪一个类，工厂方法使一个类的实例化延迟到其子类。类图：1.很多工厂都有一些相同的行为，比如汽车工厂。我们需要抽象这些相同的行为成接口，每个工厂都实现这个接口。1.  publicinterfaceIFactory{2.   3.      publicvoid creat

转载 JMeter接口测试

前言：　　本文主要针对http接口进行测试，使用Jmeter工具实现。　　Jmter工具设计之初是用于做性能测试的，它在实现对各种接口的调用方面已经做的比较成熟，因此，本次直接使用Jmeter工具来完成对Http接口的测试。 一、开发接口测试案例的整体方案：第一步：我们要分析出测试需求，并拿到开发提供的接口说明文档；第二步：从接口说明文档中整理出接口测试案例，里面要包括详细

转载 接口测试基础

接口测试简介百度百科中为接口测试给出的定义：接口测试是测试系统组件间接口的一种测试。接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。测试的重点是要检查数据的交换，传递和控制管理过程，以及系统间的相互逻辑依赖关系等。接口测试通常包括两类，模块之间的接口测试和 Web 接口测试。前者通常是由开发人员在单元测试中进行测试，后者则通常由测试人员进行测试。后

转载 linux无界面下selenium安装及使用示例

selenium相信做自动化测试的童鞋并不陌生，但平常都是在windows下进行脚本运行。    如果换成Linux呢？命令行的linux如何去进行自动化测试呢？    答案是：使用phantomJS配合selenium，可以创建无界面的浏览器，这样即可达到我们的目的。 配置方法： 1.安装phantomJShttp://www.phperz.com/article/1

转载 IP头结构详解

版本号（Version）：长度4比特。标识目前采用的IP协议的版本号。一般的值为0100（IPv4），0110（IPv6）IP包头长度（Header Length）：长度4比特。这个字段的作用是为了描述IP包头的长度，因为在IP包头中有变长的可选部分。该部分占4个bit位，单位为32bit（4个字节），即本区域值= IP头部长度（单位为bit）/(8*4)，因此，一个IP包头的长度最长为“

原创 简单说说如何测试内存泄漏

内存泄漏产生的原因：内存分配后忘了回收（new或malloc后没有delete或free）;程序代码问题造成内存无法回收（如死循环造成无法执行到回收步骤）；API函数操作不当，造成内存泄漏。检查方法人工静态法：代码走读，人工查找未被回收的内存。自动工具法：借助相应测试内存泄漏的工具，如Visual Leak Detector，记录每次内存分配，清楚告诉用户内存是如何泄漏的。

原创 查缺补漏——Shell里的"$"

Shell里的"$"        Shell中纷繁的"$"让人眼花缭乱，简单的总结几个常用的"$"。$$:  进程号$0:  脚本名$1:  第一个参数$#:  参数数量$*:  全部参数 不分开$@:  全部参数 分开$？:  退出状态，正常是0

转载 查缺补漏——define和inline

首先#define有很大的好处：　1．首先谈一下在C中使用这种形式宏定义的原因，C语言是一个效率很高的语言，这种宏定义在形式及使用上像一个函数，但它使用预处理器实现，没有了参数压栈，代码生成等一系列的操作,因此，效率很高，这是它在C中被使用的一个主要原因。　　2．这种宏定义在形式上类似于一个函数，但在使用它时，仅仅只是做预处理器符号表中的简单替换，因此它不能进行参数有效性的检测，也就不能享

原创 java垃圾回收（GC）

面试被问到GC，又发现了自己的薄弱点，亡羊补牢，把这块缺失的知识补上！先来几个基本概念：JVM：Java Virtual Machine，执行java字节码的虚拟机。Java可在任意平台运行，不需在不同平台下重新编译，归功于JVM。JVM由堆、栈、本地方法栈、方法区等部分组成。1)堆所有通过new创建的对象的内存都在堆中分配，其大小可以通过-Xmx和-Xms来控制。堆被划分为新

转载 ARP协议与RARP协议

ARP协议详解RARP原文链接http://www.cnblogs.com/LUO77/p/5906381.htmlARP协议（地址解析协议）是IP地址转换成MAC地址的协议。属于链路层协议。过程如下：1：首先，每个主机都会在自己的ARP缓冲区中建立一个ARP列表，以表示IP地址和MAC地址之间的对应关系。2：当源主机要发送数据时，首先检查ARP列表中是