健雄-CSDN博客

原创使用tensorflow的tfdbg调试代码常见的一个问题

下面这段代码使用tfdbg来进行调试，如果这段代码在命令行中运行没有问题，如果在IDE(例如：pycharm)中则运行报错:error: cbreak() returned ERR。# -*- coding: utf-8 -*-import osimport sysfrom tensorflow.python import debug as tfdbgimport numpy as np...

2019-02-01 23:36:26 489

原创 vim多行注释

control+v进入视图块中，然后选择块大小(这里21行-28行) shit+i，调到块首行位置，并建入# esc，退出块操作后自动添加#到块其他行中

2016-09-22 19:55:56 475

原创 shell之trap的使用

temp.sh: exit 1 test.sh: trap “echo ‘[ERROR] 执行function: testfunction 失败’;exit” ERR sh ./temp.sh 执行./test.sh，脚本会调用trap语句,显示“[ERROR] 执行function: testfunction 失败”并退出。

2016-09-22 10:39:27 671

原创 awk之if控制流

获取第四列并过滤出1720： cat 2016083000 | awk ‘BEGIN{OFS=’\t’}{if($4==”1720”){print $0}}’>tmp

2016-08-31 11:27:51 449

翻译最小二乘法(Least Squares Fitting)

least squares fitting proceeds by finding the sum of the squares of the vertical deviations R2R^2 of a set of n data points: The condition for R2R^2 to be a minimum is that for i=1, …, n. For a

2016-04-29 15:39:39 2286

原创让shell脚本在后台运行的两种方法

一、nohup使用nohup，其中test.sh为所执行的脚本，out.txt为输出信息的地方。 nohup sh test.sh>out.txt &二、sh使用sh，其中test.sh为所执行的脚本，out.txt为输出信息的地方。 sh test.sh>&out.txt &

2016-04-27 15:38:59 15584 1

原创计算广告概述

1、需求方组织与接口(1) 广告计划，包括预算、时间范围等基本信息； (2) 广告组，包括设定受众定向条件和出价； (3) 广告素材，包括标题、描述等内容。2、广告结算方式(1) CPM结算，即按照千次展示结算。特点与对象与CPT类似； (2) CPC结算，即按照点击结算。对象：效果类广告市场； (3) CPT结算，即将某个广告位以独占方式交给某广告主，并按独占的时间段收取费用的方法。特点：

2016-04-27 09:38:52 1269

1、简介Windows 下远程 Linux 开发工具，比较著名的就是 WinGDB 和 Magic C++。都是商业软件，而且配置复杂，据说还不稳定。其实，我们想要的就是个图形环境 IDE，而且是直接操作的远程 Linux 环境。经过若干的实践，发现使用 Xmanager+ Eclipse 可实现可视化远程 Linux 开发。先附上最终效果图： 2、环境&软件准备Windows 环境：Window

2016-03-14 14:50:12 765

原创 python之sorted、map、reduce、join、split函数的实例操作

sorted数据如下： key为选择需要排序的元素；reverse为True，表示逆序排序。 reverse为False，表示顺序排序。 map数据如下。按lambda表达式操作。 reduce按lambda表达式操作，数据如上。 join数据如下。使用’+’把元素连接起来。 split数据如上，把字符串按’ ‘分隔符分开。

2016-03-11 11:21:24 1132

原创 python读文件

读文件操作：from collections import Counterwith open("./data.txt", 'r') as f: domain_counts = Counter(line.strip().lower().split("@")[-1] for line in f

2016-03-11 10:01:38 320

原创初试 cmake – cmake的 helloworld

本节选择了一个最简单的例子Helloworld 来演练一下cmake的完整构建过程，本节并不会深入的探讨cmake，仅仅展示一个简单的例子，并加以粗略的解释。内部构建 3,基本语法规则

2016-03-10 17:34:09 411

原创 C++实现二叉树递归遍历

#include <iostream>#include <string>using namespace std;// 树结构struct Tree {public: string _data; Tree *lchild; Tree *rchild;};// 递归创建二叉树void recursion_create_tree(Tree *tree) { st

2016-02-23 15:38:16 397

原创 python之文件编码转换

原文件temp.txt内容： with open('C:\\Users\\Administrator\\Desktop\\temp.txt', 'r') as file_in: with open('C:\\Users\\Administrator\\Desktop\\temp1.txt', 'w') as file_out: file_out.write(file_in.

2016-02-23 14:50:33 408

原创 Linux之增加用户以及赋予root权限

创建用户指令: adduser + 用户名作用: 创建一个用户如下图所示创建一个hadoop01用户：设置密码指令: passwd + 用户名作用: 为用户设置密码如下图所示：赋予root权限指令: vi /etc/sudoers 进入sudoers文件中在root下面添加一行，如下所示：：## Allow root to run any commands anywhere

2016-02-16 18:16:14 524

原创 Linux之配置网络

指令：vim /etc/sysconfig/network-scripts/ifcfg-ens33 (这个文件名不是固定不变，有可能是ifcfg-ethx，x为数字) 作用：修改ifcfg-ens33文件里的内容(如，ip地址;子网掩码;网关等) 把BOOTPROTO由dhcp改成static，即有动态分配ip改成静态分配ip； DEVICE为文件名ifcfg-ens33后半部分的名称； O

2016-02-16 18:04:18 498

原创 Linux之切换用户以及查看容量

切换用户指令：su + 用户名作用：从当前用户切换到所指用户里指令：Ctrl + d 作用：退到上一用户中查看容量查看容量分为2种，一种是查看逻辑卷容量，第二种查看文件的容量。逻辑卷指令：df -h 作用：查看逻辑卷容量如下图所示：文件指令：du -hs 作用：查看文件容量

2016-02-16 16:37:05 704

原创 VMware安装CentOS

创建虚拟机：选择Typical：选择I will install the operating system later: 选择 Linux -> CentOS 64位：虚拟机名称以及存储位置：设置磁盘大小，这里我设置成10g：结束虚拟机设置：选择虚拟机的网络 -> bridged：选择CD/DVD -> Using ISO image file，设置所安装系统包的路径：

2016-02-16 15:27:35 305

转载最大似然估计(Maximum likelihood estimation)

最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的

2016-02-16 14:02:44 556

翻译 TBB之task

这部分介绍Intel TBB task scheduler，task scheduler是一个loop模板的引擎，在实际应用中，你应该使用loop模板而不是task scheduler，因为模板隐藏了调度器的复杂度。然而，如果你有一个算法不能映射到高阶模板中的一个，请使用task scheduler。#include "tbb/tbb.h"#include <cstdio>using names

2016-02-03 18:46:00 2170

翻译 TBB之Timing

当计算并行程序性能时，通常计算wall clock时间，而不是CPU时间，这是重要的，理由是通过利用更多的CPU增加了更好的并行度，其时间是多CPU时间的聚集。TBB的类tick_count提够一个简单的接口测量wall clock时间，tick_count有个静态方法tick_count::now()表示当前的绝对时间，2个tick_count相减是一个相对时间在(tick_count::inte

2016-02-03 18:17:17 587

翻译 TBB之Atomic

通过使用atomic操作避免使用互斥锁，当一个线程执行一个atomic操作，其他线程挂起，atomic操作的优点是它们相对locks更快，不会有deadlock和convoying的现象，缺点是它们只能做有限的操作，常常没有足够同步更复杂的操作，但是你不应该放弃使用atomic操作的机会而去使用互斥锁，类atomic实现c++风格的的操作。atomic操作的典型应用是线程安全的引用计数。假设x是一个

2016-02-03 18:03:25 1523

翻译 TBB之concurrent_vector

concurrent_vector是一个动态可增长的数字，当其他线程对其中的元素操作时，可安全push元素到concurrent_vector，对于安全并行增加元素，concurrent_vector有3个方法支持动态数组的使用:push_back, grow_by以及grow_to_at_least。方法push_back(x)安全把x赋给array，方法grow_by(n)安全赋值n个连续的元素

2016-02-03 16:25:57 5069

翻译 TBB之concurrent_hash_map

Intel TBB 提供高并发的容器类，Windows或者Linux线程能使用这些容器类或者和基于task编程相结合(TBB)。一个并发容器允许多线程同时对容器访问和更改条例，典型的C++STL容器类不允许并发更新，尝试并行更改他们引起恶化容器。STL容器能使用互斥锁来包装，目的让他们安全访问，通过只让一个线程同时操作一个容器，但是这种方式消除了并行，限制了并行提速。Intel TBB提供的容器有

2016-02-03 15:06:37 7838

翻译 TBB之Exceptions and Cancellation

Intel TBB支持exceptions和cacellation。当Intel TBB算法里的代码抛出exception时，会发生下面的事情：exception被捕获，在算法里更远的exceptions被忽略。算法被取消，未实现的迭代不被执行，如果内部嵌套Intel TBB的并行程序，它会被取消。一旦算法所有部分停止，那么调用这个算法的线程会抛出一个exception。#include "

2016-02-03 11:20:58 727

转载什么是自然语言处理

前几年曾经马少平老师的引荐，为某科普图书写过一篇短文介绍自然语言处理，介绍了NLP的基本概念、任务和挑战，可做入门参考。一、什么是自然语言处理简单地说，自然语言处理（Natural Language Processing，简称NLP）就是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。由于自然语言是

2016-02-02 09:56:47 5392

翻译 TBB之pipeline

Pipelining是一个通用并行模型，模仿一个传统的制造集成生成线，数据流向一系列的管道滤波，每个滤波以某种方式处理数据，给定一个输入流数据，一些滤波能并行操作，另外一些不能。例如，视频处理，对帧的处理不依赖其他帧，那么能同时处理多个帧，反之，对帧的操作需要首先处理先前的帧。TBB类pipeline和filter实现pipeline模式。一个简单的文本处理例子会被使用证明pipeline和filt

2016-02-01 18:11:10 2534

翻译 TBB之parallel_do

对于一些循环，迭代空间的结束是未知的，或者循环体在循环结束之前可能增加更多的迭代，你能使用模板类tbb::parallel_do处理这2种情况。链表是迭代空间未知的例子，在并行编程中，通常使用动态数组代替链表是更好的，因为访问链表的条目本质是串行的，但是如果你被限制使用链表，条目能被安全并行处理，处理每个条目花费至少几千个指令，你能使用parallel_do增加一些并行度。例如，考虑下面的串行代码：

2016-02-01 17:15:43 1579

翻译 TBB之parallel_reduce

循环做的是reduce(最终输出的是单一的数)，例如求和：float SerialSumFoo( float a[], size_t n ) { float sum = 0; for( size_t i=0; i!=n; ++i ) sum += Foo(a[i]); return sum;}你能使用模板类parallel_reduce并行这个循环：floa

2016-02-01 16:31:06 1671

翻译 TBB之parallel_for

下面是串行代码：void SerialApplyFoo( float a[], size_t n ) { for( size_t i=0; i!=n; ++i ) Foo(a[i]);}tbb::parallel_for把迭代空间分成若干块，在每个块上运行独立的线程。第一步形成Body，把它作用在块上，这个Body是一个STL风格的对象，叫做body对象，这个对象里面有个opera

2016-02-01 14:57:13 2198

翻译 TBB介绍

介绍这篇教程教你怎样使用Intel的Threading Building Blocks(Intel TBB)，它是一个库帮助你利用多核提高性能，你不需要是个线程专家，这个项目可能首先看似使人畏惧，但是通常你只需要知道一些关键点就能利用多核处理器来改善你的代码。例如，通过只阅读这篇文档的3.4节，你就能成功实现多线程程序。随着你的专业知识的增长，你可能想要投入到更加复杂的项目中，这些都覆盖在更高级的章

2016-02-01 11:46:05 15751

原创 pandas怎样对数据进行遍历

pandas.DataFrame.iterrowsDataFrame.iterrows() 迭代(iterate)覆盖整个DataFrame的行中，返回(index, Series)对。import numpy as npimport pandas as pddef _map(data, exp): for index, row in data.ite

2016-01-29 10:47:43 88185

原创 Vim编辑器之删除单词

首先，Vim的效率真的很高！虽然Vim学习曲线很陡峭，但学会了就非常好用。比如，当你想删除一个单词的时候，在记事本里，要么用鼠标整体选中删除，要么就按住退格键回删。但是在Vim的普通模式里(键入Esc按钮进入普通模式)，把焦点放到要删除的单词上，你只需要输入“daw”就可以实现。例如：步骤一：我们要删除main单词，把焦点移动到main单词上，然后进入普通模式。步骤二：在键盘上键入daw，这样就把m

2016-01-28 09:38:44 1154

翻译一步一步教你反向传播的例子

背景反向传播(Backpropagation)是训练神经网络最通用的方法之一，网上有许多文章尝试解释反向传播是如何工作的，但是很少有包括真实数字的例子，这篇博文尝试通过离散的数据解释它是怎样工作的。Python实现的反向传播你能使用Python来实现反向传播，我曾经在 this Github repo上实现了反向传播算法。反向传播的可视化显示神经网络学习时相互作用的可视化，检查我的Neural N

2016-01-27 11:44:25 17797 6

原创 C++优化：把频繁操作的成员变量局部化

当我们在类成员函数中频繁操作类成员变量时(例如，在for循环中反复调用成员变量)，我们可以把该成员变量复制到成员函数中，成为局部变量，帮助编译器更好的优化循环体，因为成员变量对编译器来说更容易追踪。例如下面程序，在operator()的for循环中反复调用成员变量m_i：// main.cpp#include <iostream>#include "tbb/tbb.h"using namesp

2016-01-20 16:25:06 1270

原创输出gdb调试信息到文件中

有时我们需要把gdb调试信息输出到文件中，利用vim编辑器强大的功能更加方便的找到出错的位置，下面我们通过一个例子来说明如何把gdb调试信息输出到文件中。首先键入 gdb <可执行文件> < core文件> 进入到gdb命令行中。键入 set logging file <文件名> 设置输出文件：在这里我们设置输出文件为thread.txt。键入 set logging on，开始拷贝：

2016-01-18 15:28:39 5348

原创利用GDB调试多线程core文件

在linux下程序崩溃时，一般会在指定目录下生成一个core文件。core文件仅仅是一个内存映象(同时加上调试信息)，主要是用来调试的，接下来我们通过一个案例观察怎么利用GDB调试core文件。在命令行中键入 gdb <可执行文件> < core文件>：进入gdb命令行中：键入 bt 可以查看程序终止线程的堆栈：但是有时错误不是发生在这个堆栈上。键入 info threads 查看所

2016-01-18 15:03:01 9145 1

原创 C++中运算符重载

下面代码实现+、()、=的运算符重载，仅供参考。#include <iostream>class Body{public: Body(int a = 0):m_a(a) {} ~Body() {}#include <iostream>class Body{public: Body(int a = 0):m_a(a) {} ~Body() {} Body(co

2016-01-15 17:23:24 226

原创 C++中关于拷贝构造函数

拷贝构造函数假设我们有一个类Body，其形式如下：class Body{ Body(int a):m_a(a) {}; // 构造函数 ~Body() {}; // 析构函数int m_a;};在这个类中有一个隐含的拷贝构造函数如下：class Body{ Body(int a):m_a(a) {}; // 构造函数 ~Bo

2016-01-15 16:24:08 292

原创实现Linux免密钥登陆

我们在一台Linux机器上利用SSH登陆其他Linux机器时，需要我们输入PassWord，以及搭建集群时，节点之间相互通信，都需要输入PassWord。第一，长时间SSH登陆需要反复输入密码；第二，集群之间通信需要自动化。这时，免密钥登陆就显得尤为重要，接下来我们将要介绍如何设置免密钥登陆。我们以3台Linux机器为例说明免密钥登陆的步骤，以此类推，可以扩展到n台Linux机器中。

2016-01-14 13:40:02 5036

原创 Excel之数理统计

数据来源商务与经济统计（原书第11版）中的StockPrices.xls。计算Share字段的LN(B2/B3)到index中统计index字段的统计量均值标准差最小值最大值

2015-12-31 16:24:00 904

c++中hash_table以及std::map应用案例

代码重点是hash_table，附加std::map与其做对比，实现的是一条sql语句：select c_nationkey, c_mktsegment, count(*), max(c_acctbal) from aaa_customer_1g group by c_nationkey, c_mktsegment order by c_nationkey, c_mktsegment

2015-12-24