搞数据的李红颖-CSDN博客

原创深度学习【深入浅出】— 【1 分解数据】——评估

好戏上场你知道哪些数据块能让你做到这一点。需要仔细、专注地看看这些组块，形成自己的判断评估分解组块的关键就是比较过对这些因此进行相互比较，你看出了什么？针对问题的观察结果 ...

2019-01-17 15:40:08 290

原创深度学习【深入浅出】— 【1 分解数据】——问题和数据分解

接着上一节，继续学习中把问题确认清楚后，下一步是什么？把得到的问题和手头的数据放在一起，把这些问题分解颗粒级的小问题将数据分解为更小的组块已经成功地将问题分解为更小，更好管理的组块现在是时候对这些组块进行更具体的评估了……...

2019-01-17 14:13:40 1154 1

原创深度学习【深入浅出】— 【1 分解数据】——确定问题

数据无处不在要知道如何处理所有的数据材料，如何将原始数据转变成推进现实工作的妙策，如何分解和构建复杂的问题和数据，进而牢牢把握工作中的各种弄问题的要害。第一个问题思考：过去6个月销售有哪些变化？由于有一些分析经验，先做了一些数据解读跟着数继续往下看确认问题：帮忙分析分析，改如何提高销售，等待分析结论。——首席执行官想从你这里得到什么如何确定问题？未明...

2019-01-16 17:34:08 317

一、背景说明移动平均法是用一组最近的实际数据值来预测未来一期或几期内公司产品的需求量、公司产能等的一种常用方法。移动平均法适用于即期预测。当产品需求既不快速增长也不快速下降，且不存在季节性因素时，移动平均法能有效地消除预测中的随机波动，是非常有用的。移动平均法根据预测时使用的各元素的权重不同，可以分为：简单移动平均和加权移动平均参考百度百科：移动平均法移动平均法是一种简单平滑预测技术，它的基本思想...

2018-06-08 11:34:21 33034 1

原创 Excel—对数回归分析与预测

背景：很多业务并不是线性增长，当增长某一程度时，其增长率会开始减缓1、准备数据案例中准备数据如下以excel2013为例选择数据“插入”散点图，见下图选择增加“趋势线”选择对数配置，选择公式显示，便可以看到公式也可以向前或后预测，图中实例向后预测5期，结果显示如下...

2018-06-08 10:12:49 7552 1

原创 Excel-数据分析-线性回归判断及预测分析

一、默认Excel没有数据分析，需要进行设置，设置步骤如下以office10版为例；新建并打开excel表格，如图 2. 然后点击“加载项”选项，选中“分析工具库”，点击下方"转到"按钮，如图点击“转到” 选择分析工具库在数据->看到“数据分析” 设置成功，见下图二、利用Excel对数据进行线性回归判断及分析 1、准备数据，要分清楚自变量X，哪个是因变量Y，用户数为...

2018-06-08 09:33:28 31202 2

转载 SparkSQL—相关语句总结

SparkSQL相关语句总结1.in 不支持子查询 eg. select * from src where key in(select key from test);支持查询个数 eg. select * from src where key in(1,2,3,4,5);in 40000个耗时25.766秒in 80000个耗时78.827秒2.union all/union不支持顶层的uni...

2018-04-23 15:22:44 5275

原创数据分析--检测异常样本方法

在建模或数据分析前，首先要做的事情就是数据预处理，数据预处理的好坏，很大程度上决定了模型或分析结果的好坏。其中，异常值（outliers）检测是整个数据预处理过程中，十分重要的一环。方法也是多种多样。1、经验法，对行业数据比较了解情况数据分析师，能很快发现数据的问题，经常能发现一些数据异常，如果没有经验通过算法也不一定能发现。这也是有经验和没有经验的重要差别。 a）总体检测，总规模、均值进行...

2018-04-13 10:56:52 6315

转载 quartz定时任务时间表达式说明

quartz定时任务时间表达式说明这些星号由左到右按顺序代表： * * * * * * * 格式： [秒] [分] [小时] [日] [月] [周] [年] 序号说明是否必填允许填写的值允许的通配符 1 秒是 0-59 ...

2018-04-12 09:58:17 379

原创 Python--脚本传参和Python中调用mysqldump

Python脚本传参和Python中调用mysqldump<pre name="code" class="python">#coding=utf-8import MySQLdbimport sysimport os# 李红颖编写，用户湖南CLV数据分割使用print 'dump database:',sys.argv[1] ##传入的第一个参数，数据库名称print 'd...

2014-07-08 19:17:53 4151

转载数据分析--经典语录汇总

数据分析经典语录汇总【转载】【数据分析三字经】①学习：先了解，后深入；先记录，后记忆；先理论，后实践；先模仿，后创新； ②方法：先思路，后方法；先框架，后细化；先方法，后工具；先思考，后动手； ③分析：先业务，后数据；先假设，后验证；先总体，后局部；先总结，后建议；——@小蚊子乐园做数据分析首先是熟悉业务及行业知识，其次是分析思路清晰，再次才是方法与工具，切勿为了方法而方法，为工具而工具。——...

2012-08-03 11:30:37 4033

原创 MySQL--is blocked because of many connection errors解决方案

max_connect_errors C:\Documents and Settings\Administrator>D:\iCloud_1\bin\iCloud_Channel_One.exeUnhandled Exception: MySql.Data.MySqlClient.MySqlException: Host 'svctag-87f843x' is blocked because...

2011-12-16 10:17:05 22862 1

转载 MySQL--my.cnf配置详解及设置建议

mysqld 程序--目录和文件basedir = path 使用给定目录作为根目录(安装目录).character-sets-dir = path 给出存放着字符集的目录.datadir = path 从给定目录读取数据库文件.pid-file = filename 为mysqld程序指定一个存放进程ID的文件(仅适用于UNIX/Linux系统); Init-V脚本需要使用这个文件里的进程ID...

2011-11-18 10:07:04 650

原创 MySQL--参数配置项

MySQL配置项： key_buffer_size=512M 索引缓存大小，32 位平台纸上，此值建议不要超过2GB 大小需要通过三个指标来计算：第一个是系统索引的总大小；第二个是系统可用物理内存；第三个是根据系统当前的Key Cache 命中率 key_buffer_block_size= 索引缓存中的Cache Block Size； key_ca...

2011-11-17 12:20:09 416

转载 MySQL--性能优化的参数

MySQL性能优化的参数公司网站访问量越来越大，MySQL自然成为瓶颈，因此最近我一直在研究 MySQL 的优化，第一步自然想到的是 MySQL 系统参数的优化，作为一个访问量很大的网站（日20万人次以上）的数据库系统，不可能指望 MySQL 默认的系统参数能够让 MySQL运行得非常顺畅。通过在网络上查找资料和自己的尝试，我认为以下系统参数是比较关键的： (1)、back_log：要求 M...

2011-11-16 10:38:24 313

原创 MySQL--不停机修改mysql表结构

先创建一个临时表： CREATE TABLE b_termibal_tmp LIKE b_terminal;接着重命名将新表替换上去： rename TABLE b_terminal TO b_terminal_bak,b_terminal_tmp TO b_terminal;就是这样，基本可以做到无损失，无需停机更新表结构，但实际上RENAME期间表是被锁死...

2011-11-16 10:38:07 811

转载 ORACLE UPDATE 语句语法与性能分析

3) 两表(多表)关联update -- 被修改值由另一个表运算而来 update customers a -- 使用别名 set city_name=(select b.city_name from tmp_cust_city b where b.customer_id=a.customer_id) where exists (select 1 f 3) 两表(多表)关联update -- 被修改值由另一个表运算而来 update cust

2011-03-18 10:34:00 463

转载 MySQL--保留MYSQL的存储过程注释

本来在MySQL的Store Procedure 里添加注释很简单。可惜如果用命令行客户端来导入备份的数据，注释就会被干掉。在存储过程BODY里面添加注释解决办法：/*!99999* Write your comments here.*/我来举一个例子：DELIMITER $$DROP PROCEDURE IF EXISTS `t_girl`.`sp_say_hello`$$CREATE DEFI...

2011-03-15 10:51:00 637

转载 MySQL--如何利用mysqldump备份MySQL数据库

如何利用mysqldump备份MySQL数据库2011年01月05日00:27　来源：IT168 作者：宇文欢迎发表评论0 字号: 　　【IT168 技术】在现实工作中，定期备份数据库是一项极为重要的事情。当我们使用MySQL时，在数据库备份方面有许多选择的余地，而本文将向读者介绍如何使用MySQL的mysqldump来备份数据库。　　一、数据备份的重要性　　工作中，如果意外删除了重要的文...

2011-01-05 10:08:00 650

原创 MySQL--字符转换，cast，concat 字符转换

1、以id分组，把name字段的值打印在一行，逗号分隔,以name排倒序 mysql> select id,group_concat(name order by name desc) from aa group by id; +------+---------------------------------------+ | id | group_co...

2010-12-28 17:06:00 1602

原创 MySQL--实例案例配置参数学习

1、目录指向 basedir=path(如："C:/Program Files/mysql/") 数据库安装根目录datadir=path(如："C:/Program Files/mysql/data/") 数据库数据存放的根目录log-error ="C:/Program Files/mysql/data/bh.err" 错误日志存放文件 2、mysqld 配置项 default...

2010-12-24 16:02:00 506

转载数据库性能进行优化的的几大绝招

以下的文章主要介绍的是对MySQL数据库性能进行优化的的几大绝招，其中包括选取最适用的字段属性，使用连接(JOIN)来代替子查询(Sub-Queries)，使用联合 (UNION)来代替手动创建的临时表的内容介绍。 1. 选取最适用的字段属性 MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设

2010-12-07 13:46:00 493

转载 MySQL--数据库的无缝迁移问题

mysql数据库的无缝迁移问题？问：在平时的开始过程中，由于经常“需求理解，架构设计，需求变更”等多种原因，导致系统运行一段时间后，数据库的表结构需要变更，如何实现尽量短的停机，实现无缝的迁移？我开玩笑说，最好的解决办法就是不迁移。不迁移肯定最好，这要依赖于非常好的设计，在前期架构设计的时候能够考虑到需求可能的变更，数据库设计也可以根据业务来进行一定程度的抽象。这可能有点太理...

2010-12-07 13:46:00 713

转载 MySQL--日期函数上个月的第一天、最后一天等

上个月的第一天： select date_sub(date_sub(date_format(now(),'%y-%m-%d'),interval extract( day from now())-1 day),interval 1 month) 上个月的最后一天： select date_sub(date_sub(date_format(now(),'%y-%m-%d'),interval ex...

2010-12-07 10:33:00 823

原创 Unknown table engine ‘InnoDb’的解决办法

今天mysql碰到“Unknown table engine ‘InnoDb’”问题 提示信息明显，缺少InnoDb数据库引擎。 命令行下查看一下可用数据库引擎： mysql> show engines;+————+———+————| Engine | Support | Comment …+————+———+————| MEMORY | YES | …| FEDERATED | NO || MyISAM

2010-12-01 11:47:00 2249

转载 C#URL编码解码演示代码

C#URL编码解码演示代码字体大小: 小中大作者: 猪悟能 | 分类: C#技术 | 浏览:| 评论: 0 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Web; namespace ConsoleApplication3 { class Progr

2010-11-18 17:20:00 918

原创 MySQL--mysqladmin的使用心得

D:/Program Files/MySQL/MySQL Server 5.1/bin>mysqladmin -h 10.10.136.24 -u probe-p -P3306 create lhytestEnter password: *********** 在两台机器之间移动数据库的最简单(尽管不是最快)的方法是在数据库所在的机器上运行下面的命令D:/Program Files/My...

2010-11-16 13:40:00 972

原创 MySQL--自建分割字符串函数

DELIMITER $$DROP FUNCTION IF EXISTS `traffic`.`portgroup`$$CREATE DEFINER=`root`@`*` FUNCTION `traffic`.`portgroup`(p INT) RETURNS varchar(30) CHARSET latin1 READS SQL DATABEGIN DECLARE a varcha...

2010-11-09 15:42:00 440

原创 using MSXML2;

异步发送一个链接请求 XMLHTTP xmlhttp = new XMLHTTP(); xmlhttp.open("POST", serverUrl, true, "", ""); xmlhttp.setRequestHeader("Content-Type", "application/soap+xml"); xmlhttp.send(sendQuer

2009-05-11 10:17:00 581

原创导出整个数据库

1.导出整个数据库　　mysqldump -u 用户名 -p 数据库名 > 导出的文件名　　mysqldump -u wcnc -p smgp_apps_wcnc > wcnc.sql　　2.导出一个表　　mysqldump -u 用户名 -p 数据库名表名> 导出的文件名　　mysqldump -u wcnc -p smgp_apps_wcnc users> wcnc_users.sql　　3

2009-02-28 15:58:00 358

原创 c# .net 调用oracle存储过程学习例子

创建procedure P_test_query带有4个参数，1个输入参数，3个输出参数 create or replace procedure P_test_query(par1 in varchar2, par2 out varchar2, par3 out number, par4 out varchar2) is v_sql v

2009-02-26 15:56:00 475

转载【转贴】Subversion权限详解

1 背景假设厦门央瞬公司是一家电子元器件设备供应商，其中有个ARM部门，专门负责ARM芯片的方案设计、销售，并在北京、上海各设立了一个办事处。对于工作日志，原先采用邮件方式发给经理，但是这种方式有个缺点，那就是不具备连续性，要看以前的日志必须一封一封邮件去查看，很麻烦。于是就想到利用 Subversion，让员工在自己电脑上编辑日志，然后利用svn传送回来，既方便员工自己编写日志，

2008-12-26 16:21:00 554

原创 c# 获取url 的当前文件名的方法

c# 获取url 的当前文件名的方法 : string[] arrayurl = HttpContext.Current.Request.Url.PathAndQuery.Split(?); file = (arrayurl[0].Substring(arrayurl[0].LastIndexOf(/) + 1)).Replace(".aspx

2008-11-13 11:39:00 5128

原创在c#中，cs文件post数据到其他的网址中

最近学习了一种post数据的放发代码： using System;using System.Data;using System.Configuration;using System.Collections;using System.Web;using System.Web.Security;using System.Web.UI;using System.Web.UI.Web

2008-09-01 15:02:00 1066 1

转载怎样把网站变为灰色

怎样把网站变为灰色来源：懒人图库　作者：不详　为表达全国各族人民对四川汶川大地震遇难同胞的深切哀悼，国务院决定，2008年5月19日至21日为全国哀悼日。在此期间，全国和各驻外机构下半旗志哀，停止公共娱乐活动，外交部和我国驻外使领馆设立吊唁簿。5月19日14时28分起，全国人民默哀3分钟，届时汽车、火车、舰船鸣笛，防空警报鸣响。

2008-08-20 17:42:00 472

原创 man 命令

man 1.作用 man命令用来提供在线帮助，使用权限是所有用户。在Linux系统中存储着一部联机使用的手册，以供用户在终端上查找。使用man命令可以调阅其中的帮助信息，非常方便和实用。 2.格式 man 命令名称 man [-acdfhkKtwW] [-m system] [-p string] [-C config_file] [-M path] [-P pager] [-S section_

2008-07-17 17:46:00 1108 1

原创判断checkbox是否选中

function $(x){ return document.getElementById(x); } String.prototype.Trim = function() { return this.replace(/(^/s*)|(/s*$)/g, "");

2008-06-18 17:14:00 866

原创安全删除MySql二进制日志

安全删除MySql二进制日志 mysql>SHOW MASTER LOGS;此命令显示目前二进制日志的数目。然后mysql> PURGE MASTER LOGS TO ‘binary-log.xxx’;除了命令中给出的日志之后的外，其他的二进制日志全部删除。具体如下:PURGE MASTER LOGS PURGE { MASTER|BINARY } LOGS TO ‘log_n

2008-06-10 16:26:00 2722

转载 python目录与文件操作

python目录与文件操作（助记）os和os.path模块os.listdir(dirname)：列出dirname下的目录和文件os.getcwd()：获得当前工作目录os.curdir:返回但前目录（.)os.chdir(dirname):改变工作目录到dirnameos.path.isdir(name):判断name是不是一个目录，name不是目录就返回falseos.path.is

2008-06-06 10:40:00 877

原创进入一个目录后后再执行一个命令比如make

进入一个目录后后再执行一个命令比如make. os.chdir(＂somedir＂) os.system("cd somedir && make")用7zip压缩test文件7zip a test.7z test

2008-06-03 08:55:00 901

MYSQL5的中文帮助

配色常识,颜色配色,帮助手册

空空如也