火玄子-CSDN博客

原创 DataX编译笔记

DataX编译笔记DataX简介获取源码DataX 编译和使用环境本文编译环境编译DataX常见问题Maven 仓库配置问题tablestore-streamclient版本问题odpsreader里odps-sdk-core依赖问题Maven打包编译参考DataX简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、Po...

2019-12-13 20:17:25 786

原创 Linux批量修改多个文件内容

Linux批量修改多个文件内容参考单个文件批量替换或者修改文件内容，用vim相当舒爽。但是重复修改N个文件相同的内容就很烦了。这个时候就可以使用sed这个流编辑神器进行处理。sed作为一种流编辑器，它是文本处理中常用的工具，配合正则表达式使用一起使用，可谓江湖神器。简单了解了下sed原理，它在处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed...

2019-05-13 20:58:22 14486 1

原创 git stash命令

git stash命令git stash是一个很实用特性，在日常团队项目中，可能会遇到这样场景：比如项目成员推送了当前项目新特性，你需要拉取，但是不想把这些特性合并到当前开发分支，需要checkout到其他分支去拉取，而当前开发分支又不想提交，那么这时就可以使用stash特性解决这个问题。stash字面意思存放，贮藏，在git里的含义是把当前暂存区内容存放起来，通常理解为保存当前工作进度，st...

2018-08-05 20:57:15 2401

原创 HBase regionserver启动JVM警告

HBase regionserver启动JVM警告解决方案在启动HBase时，出现JVM警告，如下：starting regionserver, logging to /usr/local/hbase/logs/hbase-lake-regionserver-node-04.outJava HotSpot(TM) 64-Bit Server VM warning: ignoring ...

2018-05-06 18:05:39 559

原创 U盘安装Ubuntu Server CD-ROM挂载失败

U盘安装 Ubuntu Server 发生Failed to copy file from CD-ROM问题解决方案使用UltraISO制作Ubuntu Server安装盘，在安装过程中出现[!!] Load installer components from CD警告，这一步应该是安装文件检查步骤，没有检测到完整镜像文件而提示警告。ubuntu社区里也有很多人安装server出现加载镜像文件...

2018-05-03 20:43:24 11833 2

原创 MySql的TIMESTAMP自动更新和初始化

MySql的TIMESTAMP\DATETIME自动更新和初始化概述很多时候，在设计表的过程中，考虑将行数据的创建时间和最后更新时间记录，希望数据库服务器自己管理，而不是在应用程序中控制创建时间和最后更新时间字段。在MySQL中，就可以借助DEFAULT CURRENT_TIMESTAMP 和 ON UPDATE CURRENT_TIMESTAMP 轻松实现，不过也需要一些注意的坑。...

2018-04-20 21:47:01 3848

原创 Git 撤销修改

Git 撤销修改情景一：提交完了才发现漏掉了几个文件没有添加，或者提交信息写错通过git commit --amend或，提交命令尝试重新提交。这个命令会将暂存区中的文件提交，如果自上次提交以来你还未做任何修改（例如，在上次提交后马上执行了此命令），最近提交snapshot会保持不变，加-m参数，可以修改的最近一次提交信息,如：git commit --amend -m 'chang...

2018-04-01 17:54:10 862

原创 ODPS MapReduce JobClient的runJob与submitJob区别

ODPS MapReduce JobClient的runJob与submitJob区别ODPS MapReduce SDK提供两种任务提交方式，runJob与submitJob,两个函数功能都比较类似，都是向阿里伏羲(Fuji)系统提交Job,但用法有些差别。static RunningJob runJob(JobConf job)阻塞（同步）方式提交MapReduce作业后立即返回...

2018-03-15 15:41:36 644

原创 ODPS MapReduce基础

ODPS MapReduce基础执行MapReduce Job(jar)命令jar -libjars [resoucre_name] -classpath [local_package_path] [MainClass] [arguments1] [arguments2]...;resoucre_name指发布到odps上的资源文件，即MapReduce任务jar包名称，如wor...

2018-03-15 15:27:07 756

原创 Hadoop BindException

Hadoop BindExceptionHadoop节点daemon无法启动，报BindException,启动日志如下：2018-03-12 10:16:56,057 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOExceptionjava.net.BindExcepti...

2018-03-13 17:19:39 712

原创 U盘安装 Ubuntu 16.04 LTS 提示：gfxboot.c32: not a COM32R image

U盘安装 Ubuntu 16.04 LTS 提示：gfxboot.c32: not a COM32R image这是一个Ubuntu的bug，在Ubuntu 14.01 LTS里也出现过1。解决办法很简单，在boot输入install，就可以进入安装界面。Ubuntu社区里有网友说可以按Tab，Tab之后会出现live, live install等等之类的选择。但按Ubuntu Bug #13

2018-01-16 09:52:12 4389

原创 Java排序Comparator实现接口发生异常

在JDK8环境下,通过实现Comparator接口，对HashMap根据value降序排序出异常:Comparison method violates its general contract!

2017-12-27 17:21:56 4276

原创 VIM字符匹配交换

Vim中可以通过模式匹配实现复杂的字符匹配和替换，《Learning the vi and Vim Editors》书中称之为Pattern-Matching。例如使用\(\)缓冲区模式可以实现不同缓冲区hold buffer之间交替，在vim中最多可支持9个hold buffer1。例1：将me and you字符串替换为you and me,可以使用如下命令：C1 :%s/\(

2017-12-11 14:19:54 1970 1

原创求两个正整数均值(防溢出)

两个整数平均数(防溢出，向下取整)已知两个整数a、b，a和b的值均没有出现溢出，而a + b有可能出现溢出，例如在归并排序中，通过mid = (low + high)/2求中位值，就可能整数溢出问题。现在需要在防止溢出的情况下求a和b的平均值，该平均值取其实际值的向下取整。

2017-12-11 09:40:50 1486 3

原创 ycmd server SHUT DOWN

Vim YouCompleteMe异常异常信息如下：The ycmd server SHUT DOWN (restart with ':YcmRestartServer'). Unexpected error while loading the YCM core library. Use the ':YcmToggleLogs' command to check the logs.

2017-12-11 09:10:28 15822

原创 Hive外部表

Hive外部表Hive中表与外部表的区别:Hive 创建内部表时，会将数据移动到数据仓库指向的路径；Hive 创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变；在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。

2017-10-27 17:00:36 12155 3

原创 Python三元运算

Python三元运算

2017-09-20 11:23:36 640

原创 Python2.x 中文md5编码问题

在Python2.x中采用hashlib进行md5加密中文字符时UnicodeEncodeError: 'ascii' codec can't encode cha

2017-09-19 12:57:12 1314

原创 SpatialHadoop2.x源码编译

官方地址下载的SpatialHadoop2.4版二进制包可以在Hadoop1.x下运行，但在Hadoop2.x上可视化组件就会出问题，可能导致namenode名称节点的元数据WebUI无法打开。原因是官网SpatialHadoop2.4安装包不兼容Hadoop2.x。SpatialHadoop2.4可视化组件和SpatialHadoop1.X有出入，如果要在Hadoop2.x上使用需要编译最新源码。

2016-10-28 19:40:17 818

转载 MapReduce:详解Shuffle过程

MapReduce Shuffle过程详解

2016-10-27 16:13:00 336

原创 SpatialHadoop 2.4源码配置pom.xml异常

从github获取的SpatialHadoop 2.4源码配置，出现Maven配置依赖项错误。

2016-10-16 16:41:02 710

原创 Hadoop namenode重新格式化需注意问题

hadoop重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题。格式化前需要进行一些特别的文件删除操作，否则将导致格式化后hadoop无法正常启动。

2016-10-15 11:25:15 37737 4

转载 CentOS 7 下Firewall防火墙配置用法详解

centos 7中防火墙是一个非常的强大的功能了，但对于centos 7中在防火墙中进行了升级了，下面我们一起来详细的看看关于centos 7中防火墙使用方法。 FirewallD 提供了支持网络/防火墙区域(zone)定义网络链接以及接口安全等级的动态防火墙管理工具。它支持 IPv4, IPv6 防火墙设置以及以太网桥接，并且拥有运行时配置和永久配置选项。

2016-10-14 09:37:40 1049

原创 Hadoop 数据节点DataNode异常

使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。

2016-09-27 13:13:47 12684 10

原创 .NET定时任务执行管理器开源组件–FluentScheduler

简单，易用，轻量级.NET定时任务执行管理器开源组件–FluentScheduler

2016-08-16 10:23:48 8629 2

原创 Oracle修改表空间大小

问题描述在向orale数据库导入数据的时候报 ORA-01658: 无法为表空间 XXX中的段创建 INITIAL 区错误。这是由于表空间对应的数据文件中数据量超过Oracle在创建表空间的时候数据文件初始化大小值,当数据量达到这个值,再向数据库中导入数据就会报错。解决方案解决办法就是扩展表空间，可以选择将表容量扩大,比如扩展到5000MB,或者当表空间不够时每次自动增加一定的容量,如

2016-07-21 10:01:02 21783 4

原创 C#图片压缩

使用Magick.NET进行图片压缩预处理，也就是将高清图片等比压缩成低质量小图片。

2016-05-13 20:56:52 1465

原创 Linux某个用户无法登录系统

Linux某个用户无法登录系统，其原因可能是该用户的主目录因为其他管理员用户的某些操作变更了目录权限，导致该用户没有访问此目录。

2016-04-28 09:58:26 5812

转载 SpatialHadoop实例：面向空间数据的高效MapReduce框架

原作：Ahmed Eldawy；Mohamed F.Mokbel （UMN）翻译：Leo（CAU）译文来源：SpatialBall《SpatialHadoop实例：面向空间数据的高效MapReduce框架》摘要：本文实例介绍了SpatialHadoop平台，它是第一个基于成熟MapReduce对空间数据具有原生支持的框架。SpatialHadoop是对Hadoop的做了一个全面的扩展，使其核

2016-03-28 14:42:44 619

原创 ArcEngine无法读取中文路径栅格数据集

ArcEngine或ArcObjects无法读取中文路径栅格数据集，原因是权限不足，这里的权限指的是ArcEngine/ArcObjects开发License验证权限。最简单直接的方法就是在操作栅格数据集的窗体加License控件，当然如果嫌License控件累赘，可以使用代码进行License绑定。...

2015-12-13 22:24:13 911

原创 ArcEngine修改字段名称

修改字段名称需注意设置锁模式为执行模式锁（esriExclusiveSchemaLock），当其他应用已经锁定要素类，不管是（esriExclusiveSchemaLock，还是esriSharedSchemaLock），都无法修改当前要素类锁类型，即无法修改字段名称。当字段修改完成后应该将当前的执行模式锁（esriExclusiveSchemaLock）改为共享锁（esriExclusiveSc...

2015-12-13 22:22:51 3587 8

原创使用ArcObjects或者ArcEngine对ArcGIS要素类重命名

将要素类转IDataset再进行重命名，需要注意可能存在要素类被锁和同名情况，因此要加CanRename判断和catch。需要注意以下两点： 1、对SDE要素类进行重命名需要较高的开发权限，经过测试似乎只有将License绑定为Advanced级别开发License【注：测试使用ArcGIS10.1系列产品，使用License控件进行验证，ArcSDE for Oracle 11g】。如果没...

2015-12-13 22:20:11 3810 1

原创 Centos7安装时引导错误以及解决方案

使用U盘刻录方式安装CentOS7.1，但是发现安装初始化时候发生错误，使用UltraISO刻录安装时就可能出现初始化引导错误

2015-07-18 22:17:46 38091

原创 ArcGIS栅格计算器

栅格计算器用于在工具中创建和执行“地图代数”表达式，即空间内栅格点集的变换和运算。与其他地理处理工具一样，栅格计算器可以在“模型构建器”中使用。栅格计算是栅格数数据空间分析中数据处理和分析中最为常用的方法，而ArcGIS栅格计算提供了简便强大的栅格运算功能。除了提供基本的加减乘除等基本的栅格运算外，还提供了基于数学函数的栅格运算和多语句的同时输入和运行。不过栅格计算器工具专门用于应用程序（仅作为 ...

2015-07-07 21:51:00 44684 1

原创 uploadify大文件上传IO Error问题解决方案

Uploadify上传大文件会报IO错误，这是由于webconfig节点设置问题，需要在system.web和system.webServer节点做设置，设置如下：（1）<httpRuntime maxRequestLength="1073741824" executionTimeout="3600" />（2）<validation validateIntegr...

2015-07-06 21:15:49 2487

原创 ArcEngine批量添加XY数据

使用ArcGIS Desktop “添加XY数据”或者“创建XY事件图层”工具可以导入Excel坐标数据，生成临时图层并添加至ArcMap、ArcGlobe或者ArcScene中。在ArcEngine中可以利用GP工具（MakeXYEventLayer）将某个 x,y 坐标表添加到地图、globe 或 scene 中。该数据表中必须包含两个字段：一个用于 x 坐标，一个用于 y 坐标。Excel...

2015-02-08 14:47:31 3983 4

ESRI FileDatabase文件地理数据库结构导出工具

1、此工具用于导出文件地理数据库要素类以及表的属性表结构 2、导出生成Office Excel 2003 3、测试文件位于解决方案文件夹目录TestFile（含有Excel文件、以及FileGDB） 4、基于ArcObjectives/ArcEngine 10.1以及NPOI

2017-02-22

Twain_32.8BA

Photoshop5/Photoshop6扫描插件，解决Photoshop导入打印机扫描图片，具体使用：Twain_32.8BA文件拷贝至Photoshop安装路径下的Plug-ins目录，例如：D:\Program Files\Adobe\Adobe Photoshop CS6 (64 Bit)\Plug-ins

2017-01-16

spatialhadoop 2.4.1

spatialhadoop-2.4.1编译包，源码来源https://github.com/aseldawy/spatialhadoop2.git，编译环境：jdk1.7.0_79；Hadoop2.6.0

2016-10-28

FluentScheduler定时器使用例子

.NET定时任务执行管理器开源组件–FluentScheduler使用例子

2016-08-15

C#图片压缩

C#图片压缩，也就是将高清图片等比压缩成小质量图片。

2016-05-13

GDAL读取Shapefile并将Shape转换成WKT

C# GDAL 2.1.0读取Shapefile并将Shape转换为WKT源码

2016-05-04

Hadoop权威指南第4版(英文原版)

Hadoop The Definitive Guide 4th Edition，Hadoop权威指南第4版[英文原版]

2015-12-21

C#凸包算法

C#实现凸包算法，核心算法参考源至网络以及相关算法书籍

2015-10-06

Code-First Development with Entity Framework

Entity Framework Code-First enables developers to read and write data in a relational database system using C# or VB.NET. It is Microsoft's answer to demand for an ORM from .NET developers. This book will help you acquire the necessary skills to program your applications using Entity Framework. You will start with database configuration and learn how to write classes that define the database structure. You will see how LINQ can be used with Entity Framework to give you access to stored data. You will then learn how to use Entity Framework to persist information in a Relational Database Management System. You will also see how you can benefit from writing ORM-based .NET code. Finally, you will learn how Entity Framework can help you to solve database deployment problems using migrations.

2015-08-17

Programming Entity Framework: Code First

Take advantage of the Code First data modeling approach in ADO.NET Entity Framework, and learn how to build and configure a model based on existing classes in your business domain. With this concise book, you’ll work hands-on with examples to learn how Code First can create an in-memory model and database by default, and how you can exert more control over the model through further configuration. Code First provides an alternative to the database first and model first approaches to the Entity Data Model. Learn the benefits of defining your model with code, whether you’re working with an existing database or building one from scratch. If you work with Visual Studio and understand database management basics, this book is for you.

2015-08-17

Programming Entity Framework, 2nd Edition

Get a thorough introduction to ADO.NET Entity Framework 4 - Microsoft's core framework for modeling and interacting with data in .NET applications. The second edition of this acclaimed guide provides a hands-on tour of the framework latest version in Visual Studio 2010 and .NET Framework 4. Not only will you learn how to use EF4 in a variety of applications, you'll also gain a deep understanding of its architecture and APIs. Written by Julia Lerman, the leading independent authority on the framework, Programming Entity Framework covers it all - from the Entity Data Model and Object Services to WCF Services, MVC Apps, and unit testing. This book highlights important changes for experienced developers familiar with the earlier version.

2015-08-17

Programming Entity Framework DbContext

本书主要EF 4.1 ，包括、Code First简单 EF 编码模式与 DbContext、 DbSet、 ChangeTracker 和验证 Api。仅供学习交流使用，购买正版书籍看起来更爽^ _ ^

2015-08-17

Tortoise+SVN简明操作指南.pdf

Tortoise+SVN简明操作指南，Tortoise SVN是我发现的非常好用的团队开发管理软件中的之一，它提供的功能很强大，强烈推荐这一款版本管理工具软件，而且它是开源的。该文档作者：陈国栋

2013-05-07

jquery_uploadify_v3.2版 jquery.uploadify.js

jquery_uploadify_v3.2版 jquery.uploadify.js 英文提示汉化

2013-05-07

javascript教程--从入门到精通

javascript教程--从入门到精通_ppt

2013-05-05

MVC4与MVC汉化包

MVC4版是一个相当成熟的基础上，能够把重点放在一些更高级的场景。一些高级的功能包括： ASP.NET Web API Enhancements to default project templates(增强了默认的项目模板) Mobile project template using jQuery Mobile(使用jQuery Mobile的移动项目模板) Display Modes(显示模式) Task support for Asynchronous Controllers(任务支持异步控制器) Bundling and minifi cation(捆绑和微小)

2013-04-07

MVC3与MVC汉化包

ASP.NET MVC 可实现模型-视图-控制器 (MVC) 模式，这有助于 Web 开发人员生成易于维护的网站，因为 MVC 减小了应用程序层之间的依赖性。 ASP.NET MVC 还通过支持测试驱动的开发 (TDD) 来提高 ASP.NET Web 应用程序的可测试性。

2013-04-07

《CLR Via C#》

一位是Don Box。他以《Essential COM》确立了自己COM专家的地位，在.NET时代，Don Box又以《Essential .NET》（Volume I The Common Language Runtime）确立了自己.NET专家的地位。2002年，Microsoft将其招致麾下，成为.NET Architect，与Anders Hejlsberg一起研发并推出了Linq。由于Don Box的杰出贡献，Microsoft授予其“杰出工程师（Distinguished Engineer）”称号，目前从事声明式语言及工具的开发。可能是工作繁忙，以致没有后续著作问世。　　　　另一位是Jeffrey Richter。Jeffrey Richter是.NET与Windows技术的咨询培训机构Wintellect的共同创立者（co-founder），在Windows领域早已是家喻户晓的世界级专家。从1999年起参与Microsoft .NET平台的研发，受Microsoft委托，为其开发人员提供技术咨询。在此过程中，诞生了《CLR via C#》。

2012-03-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人