- 博客(29)
- 收藏
- 关注
RSS订阅
转载 开源免费etl作业批量调度必备软件 Taskctl Free应用版
目录写在前面关于taskctl Free应用版功能特性与授权安装环境安装方法与步骤0元授权写在前面2020年疫情席卷全球，更是对整个市场经济造成了严重影响，年初疫情肆虐，西方世界单方面的科技、经济封锁，国际关系吃紧.....导致很多中小型企业业务链受阻，大型企业经费资金吃紧，轮班制导致公司运维人员工作量大幅增加；塔斯克信息技术公司经领导研究决定为了履行社会责任，积极回报社会，帮助在此疫情期间受影响的企业减少运维资金支出、提升工作效率、保证后台数据安全，工作需求场景能够应用到的
2020-11-18 09:53:15
849
原创 教你如何下载、安装配置Web版etl调度软件Taskctl
Web版应用简介：Taskctl在线应用版V1.2相比C/S应用端功能完整，并精简部分操作逻辑，适合初学者体验taskctl产品，也能作为中小项目生产应用。安装环境：安装方式：百度网盘——提取码（97mk）官方下载安装准备：因为在线应用端基于java开发，因此需要安装java1.8及以上版本。可以通过java – version 命令查看具体，如下图所示：安装步骤1. 上传并解压安装包taskctl-web-1.2.0.tar.gz2. 进入解压后的t
2020-11-17 14:12:40
678
原创 如何入门 Python 爬虫？400集免费教程视频带你从0-1全面掌握
学习Python大致可以分为以下几个阶段：1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法等，基础过的很快，基本上1~2周时间就能过完了，我当时是在这儿看的基础：Python 简介 | 菜鸟教程2.看完基础后，就是做一些小项目巩固基础，比方说：做一个终端计算器，如果实在找不到什么练手项目，可以在 Codecademy - learn to code, interactively, for free 上面进行练习。如果时间充裕的话可以买一本讲Python基础的书
2020-08-10 11:35:58
501
原创 关于python经典的80个案例操作（附源码解析）
1.Python Hello World 实例# -*- coding: UTF-8 -*-# Filename : helloworld.py# author by : www.runoob.com# 该实例输出 Hello World!print('Hello World!')执行以上代码输出结果为：Hello World！2.Python 数字求和# -*- coding: UTF-8 -*- # Filename : test.py# author by
2020-08-05 11:09:59
3898
原创 自动化运维管理平台TASKCTL如何在Docker安装部署
由于在dockerhub上没有查询到有关于TASKCTL的镜像就只能自己制作了，但由于本人仅是对软进 行件部署安装，没有实际的应用场景，所有制作的镜像也仅提供了最基础的运行环境。这也是给想要 在Docker上部署TASKCTL的小伙伴提供一点思路，可以根据个人的不同需求来定制自己的镜像。首先从官网下载安装包 (cir_linux_64_8.0.tar、taskctl-web-8.0.tar)TASKCTL下载安装：www.taskctl.comDocker拉取一个centos的基本镜像：制作taskc
2022-06-23 10:51:49
347
2
原创 ETL工具-Taskctl在Windows作业类型的使用(Soap服务驱动)
TASKCTL服务端部署在Linux端，因此不能直接调用Windows环境的作业。从taskctl6.0.2开始，推荐采用基于web服务的taskctl-plugin-windows插件服务来驱动Windows平台的作业。安装taskctl-plugin-windows服务1确保安装环境（windows）具备java1.8+版本。2 下载taskctl-plugin-windows.zip，解压后进入目录，以管理员身份执行install命令3按照install程序提示，确定安装信息：...
2021-03-08 14:19:59
647
1
原创 ETL批量处理作业调度软件 Taskctl 服务端调度服务高可靠架构原理与安装
本文分两部分：TASKCTL调度服务高可靠原理； 高可靠的安装方法与步骤适合应用场景：调度服务高可靠应用场景安装架构重要说明：1无论是多机协同调度还是代理集群调度，调度服务均可采用高可靠方式进行安装2对于单机模式（即无代理调度模式），不能采用服务高可靠安装。3 TASKCTL安装包安装，只需通过主机安装即可，备机无需相应安装。安装方法与步骤安装环境准备1.准备共享存储环境方法参考：共享存储环境的搭建2.分别在主机与备机相应TASKCTL应用环境添...
2021-02-02 17:26:50
501
原创 批量作业调度、数据挖掘，这几款应该是今年 “最值得推荐” 的ETL工具了
工具传送门：Taskctl商业付费版(付费) Taskctl Web商业免费版（永久免费） Kettle（开源免费） Datastage(付费)ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。下面给大家介绍一下什么是ETL以及ETL常用的三种工具——Datastage，Taskctl，Kettle。什么是ET
2020-12-11 15:30:52
1314
1
原创 ETL调度工具 Taskctl 作业(组)节点类型概述
串并组节点、不同类型的作业节点，是TASKCTL定义的最基本单位；怎么定义这些节点，，是TASKCTL用户必须掌握的知识。两个重要的组节点：serial & parallel在TASKCTL流程设计代码中，所有的作业节点信息都是通过串并组节点来组织的，它是表达TASKCTL作业之间关系的重要技术手段。 serial：串行组节点。所有在该节点的作业节点、组节点，拥有自上而下，从前到后的依赖关系。 parallel：并行组节点，所有在该节点的作业节点、组节点，是并行的关系。.
2020-12-08 14:18:01
656
原创 10万级批量作业自动化调度工具Taskctl之轻量级Web应用版
什么是批量作业:批量处理是银行业整个信息后台最为重要的技术形态，也是银行核心信息资产数据的分享、传输、演化的重要技术手段。有调查指出，全球70%的数据是经过批量处理得以再次使用，可见批量处理在整个信息生态中的技术占比与重要性。银行业经过多年的信息化建设，逐步建立起几十甚至几百个信息系统，其中，绝大多数系统后台都具备有不同规模的作业批量处理，总体批量作业数已发展成几千到几万这样的一个庞大规模。随着大数据时代的到来，特别是在数据仓库、大数据平台的带动下，这样的规模还将快速发展，其批量作业数规模也必将产生
2020-12-01 13:43:10
739
转载 ETL工具作业批量调度软件Taskctl-Web应用版作业设计
软件下载地址：去公众号"Taskctl"关键字回复"领取"即可获得永久授权并使用认识Taskctl-webTASKCTL遵循软件产品标准化的原则，以“专业、专注”为设计理念，结合ETL 调度领域自身的特点，构建了一套直观易 用的ETL控制容器调度设计、监控 维护、管理平台 taskctl-web-application。功能架构通过上图了解到，taskctl-web-application 是TASKCTL中客户端应用软件家族 的重要一员。有三大功能模块：平台...
2020-11-25 11:50:56
344
转载 ETL工具——Taskctl Web应用篇
关于taskctl Free应用版适合中小企业IT自动化类系统建设，如数据系统批量调度自动化、系统运维自动化、企业数据资产监控等等。 适合数据开发人员，大数据从业人员，运维人员学习了解批量作业调度技术功能特性与授权是TASKCTL 6.0下一个版本的预览版，具备TASKCTL6.0（官网最新发布版）功能和一些新特性（如工程级变量管理，作业分片执行，微批循环等）。免费授权规格如下表：TASKCTL在线应用简介：（请注意：软件未注册，不能实现7*24h连续自动化运行，因此不能用于生...
2020-11-20 10:01:46
952
转载 【开源调度】国产10万级etl作业调度软件 taskctl 6.0 免费永久授权
TASKCTL是成都塔斯克信息技术有限公司专为批量作业调度自动化打造的一款敏捷调度工具。可为批量作业自动化调度者提供简单的方法来管理各类复杂作业的调度和监控管理。TASKCTL通过将企业内部复杂的作业调度依赖关系，进行灵活的统一编排和管理，带来前所未有的简单性。TASKCTL采用全内存计算，基于全事件技术驱动，可简单、快速地对作业进行定义、编排和执行，并生成优化调度执行建议，从而负载均衡执行作业调度。TASKCTL作为敏捷批量调度的开拓者，产品设计从一开始就专门为整洁的体验而设计，并提供丰富、直观的用户
2020-07-13 15:06:14
735
原创 如何在开源调度工具taskctl里完成kettle作业定时调度部署？
写在前面：使用文档关注公众号"taskctl"软件技术问答微信 "kitleer" 备注 "咨询"“我在spoon里面运行一个作业只要几秒种，但是在TASKCTL中运行却要好几十秒？”“并行同时运行几个job，就把内存撑爆了，TASKCTL好占资源呀！”TASKCTL中调用kettle作业，实际上是通过pan和kitchen命令去调用。每一次调用都会重新初始化kettle运行环境，这个过程占用大量的时间。并且每启动一个kettle运行环境都相当于启动一个JVM进程。每个JVM则..
2020-06-30 14:40:27
559
原创 【开源免费】kettle作业调度—自动化运维—数据挖掘—informatica-批量作业工具taskctl
关注公众号"taskctl"，关键字回复"领取" 即可获权产品简介taskctl是一款由成都塔斯克信息技术公司历经10年研发的etl作业集群调度工具，该产品概念新颖，体系完整、功能全面、使用简单、操作流畅，它不仅有完整的调度核心、灵活的扩展，同时具备完整的应用体系。目前已获得金融，政府，制造，零售，健康，互联网等领域1000多家头部客户认可。图片来自网络2020年疫情席卷全球，更是对整个市场经济造成了严重影响，导致很多中小型企业业务链受阻，大型企业经费资金吃紧，轮班制导致公司运维人员.
2020-06-29 18:06:17
1061
转载 TASKCTL中不使用代理，通过ssh免密连接执行远程脚本配置（SSH插件扩展）
使用TASKCTL调度服务时，如果需要跨用户或者跨服务器调度可以通过安装taskctl的代理来实现，但有时需要执行作业的服务器上仅仅只有几个脚本，此时再部署代理，就显得有点得不偿失了。我们知道TASKCTL支持任意作业类型的扩展，所以我们是不是可以考虑通过SSH远程连接来执行这些少量的脚本程序。 下面是通过扩展TASKCTL用ssh连接来支持调度远程作业的步骤，一方面解决一些朋友迫切
2017-10-26 09:52:25
471
1
转载 taskctl新增作业类型配置插件时注意事项
昨天参照着 http://www.taskctl.com/forum/detail_96.html在给调度服务新增datax作业类型，配置完成后，在Designer中测试datax类型作业，老是报错cprundataxjob.sh: line 2: $'\r': command not foundcprundataxjob.sh: line 44: syntax error
2017-10-12 12:43:43
314
转载 taskctl自带工具splitexm功能及使用
继上一次使用的ctlsendevent (向TASKCTL产品核心远程发送事件的应用，用来实现taskctl跨服依赖的实现http://www.taskctl.com/forum/detail_103.html)，最近有在玩splitexm这个小工具，它的主要功能是将流程导出文件以流程为单位进行切分，语法：splitexm[需切分文件名称]。这个有什么用呢，主要是有时候导出的备份是整体，现在导
2017-09-28 15:34:57
384
转载 TASKCTL设计作业流时该用定时器还是流程
在调度业界中，都有一个跑批的概念。我们通常希望流程在某个时间点开始每天执行一次。比如每天的凌晨1点开始执行一次。在TASKCTL中，有两种方式可以实现该需求。使用“condition+修改批次变量”1、首先需要添加日期批次变量，如workdate，并设置变量格式为yyyymmdd，如201701012、编写流程模块代码如下： MainModul_rootnode
2017-09-21 10:04:45
922
转载 第一次使用taskctl启动遇到问题
作为一个使用taskctl并且经常出没在taskctl官方QQ群的用户，看到QQ群的萌新第一次使用taskctl基本都会遇到启动的一些问题。作为一个也犯过同样错误的用户在这里总结分享给大家，其实基本上的启动问题都是环境问题。这里的环境包括环境变量、安装路径、系统资源等。环境变量就是安装taskctl时，设置的TASKCTLDIR和新增PATH路径，如果你设置的是用户环境变量，那
2017-09-14 11:49:38
1559
转载 taskctl的后台字符界面登录不了解决办法
今天在使用taskctl的designer时，十多分钟挂了2次，每次挂了之后就签不出来了，只能等半小时，然后在taskctl的QQ群里咨询了，给的解决方案是http://www.taskctl.com/forum/detail_58.html，我按照步骤操作时发现ctladmin登录不了，在群里技术人员的帮助下终于解决了这个问题，在这里分享给大家： 首先我们要确认的是服务端的状态，
2017-09-07 09:43:46
564
转载 kettle调度现状、痛点及解决方法
kettle作为非常优秀的开源ETL工具得到了非常广泛的使用，一般的使用的都是使用客户端操作管理，但问题是当投入生产环境使用时，动辄上百或几百个job需要管理，这时在使用客户端管理已经很难完成了。我所知道的解决方案有用命令行的调用的，操作麻烦，体验很差（基于命令行上构架出来的一般都用Linux的crontab、或者是Windows下用定时器等）；还有就是开发web端管理工具，kettle自带了
2017-08-28 11:45:49
19961
5
转载 在openStark框架中能用taskctl吗
下面是个人的一些想法，如果不对请多多指正。首先从技术领域来说，openStark是云计算技术领域，TASKCTL是数据处理调度工具链上的一款作业调度工具。随着当下云计算技术与大数据平台技术的发展，未来更多的是数据的竞争。openStark是云计算技术的一个框架，主要体现在将异构资源进行统一整合成为一个虚拟资源池，然后各应用在从这个虚拟资源池中建设各种集群架构的业务应用系统。建设各种集群架构的业务应
2017-08-24 10:16:23
370
原创 开源作业调度工具实现开源的Datax、Sqoop、Kettle等ETL工具的作业批量自动化调度
1、阿里开源软件：DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。（摘自百科）2、Apache开源软件：SqoopSqoop(发音:skup)是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据
2017-08-17 10:12:36
29227
1
原创 ETL作业调度工具TASKCTL的两个重大突破
在传统设计理念下，流程图的可视化、作业流的定义设计功能，随着作业量增加，越来越难用，越来越不适用是一个难以避免的问题。就这两个问题，我给大家分享一下TASKCTL是如何转变思路、如何突破、如何带来一些更理想的效果。同时，我也希望通过此次分享，带来一些抛砖引玉的效果，希望业界更多同仁，就批量调度技术更多的问题，敢于突破，使整个批量调度技术变得更完善、更易用。
2017-08-14 11:08:41
980
转载 [转载]必看:数据平台的搭建教程及软件工具
按系统功能分，不同的数据平台对应着不同的常用软件。在大数据兴盛的今天，欲进军数据界的你，应该对此有更进一步的了解。
2017-08-11 14:27:31
552
转载 ETL作业调度软件TASKCTL产品功能清单
功能分类功能描述一级二级关系调度控制作业依赖关系调度作业依赖关系调度是调度最基本的功能，指作业间具有顺序的运行，比如：a、b、c三个作业，只有当a完成后才运行b，b完成才能运行c作业并行调度与依赖关系对应，同样是调度的基本功能，指作业间运行不存在关系，可同时运行。
2017-08-10 10:08:01
2055
原创 ETL作业调度软件TASKCTL4.5软件分布式集群架构安装部署详解-笔记分享
在这里我们说一下TASKCTL的部署过程，TASKCTL部署可以分为单机部署和联机部署（集群部署）。先说一下我们需要准备的东西，首先我们需要到官方网站去下载服务端与客户端的安装包，然后准备一个Windows端的FTP工具和解压缩工具。我们这里用VMWare Player虚拟机安装一个Linux系统来当做我们的服务器，在这个系统中创建4个账户（taskctl，magent，sagent1，sag
2017-08-07 11:43:22
1092
原创 ETL作业调度软件TASKCTL4.5单节点架构安装笔记分享
TASKCTL4.5的安装，一般最开始使用都是单机部署，实际上就是将Server节点和字符客户端安装到同一个地方，当有一定的使用经验，根据每个人不同的需求在决定要不要在其他服务器上安装代理，也就是TASKCTL说的集群。Server节点是TASKCTL服务端的最顶层，负责客户端与服务端之间的通信，也是调度服务控制层，有Agent节点的部分功能，能够直接执行任务。下面是单机部署的过程：一般我
2017-08-07 11:42:17
511
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人