- 博客(40)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 开放式ETL产品 是 信创国产化替代“标配“（下篇）
轻量化的ETL工具 Beeload 产品 & 高端的ETL工具 BeeDI 产品 为北京灵蜂纵横软件有限公司 源自2008年，专注、专一、专业 于自研核心ETL技术（非包装开源）。完全符合当下 所需的 信创国产化替代之基础型软件中间件。即刻下载体验 http://www.livbee.com
2023-07-17 21:34:08
309
原创 开放式ETL产品 是 信创国产化替代“标配“（上篇）
信创国产化通俗来讲，就是在核心芯片、基础硬件、操作系统、中间件、数据服务器等领域实现信创产业的国产替代。先期虽无软件成本，后期有无下限的人员成本、时间成本、精力成本、无效成本、维护成本、人员衔接成本...... 比如繁多的FTP（文件传输）搞晕了运维人员，付出的管理成本很大。当下对于已上线的开源工具&包装开源（就算扩展可解决以上问题），最大的潜在风险是——闭源！国内ETL技术在数据仓库技术、数据集成、数据中心、数据整合平台、数据交换池、数据管理等等，发展中日趋成熟，先阶段各企业应用现状大体呈现有三大方向。
2023-06-18 17:49:39
1002
原创 国产Beedup & ODG同而不同
Beedup基础类软件中间件Beedup 为信创产业的国产替代产品 ，始于2012年研发～可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。Beedup是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。
2023-03-21 21:43:11
391
原创 Oracle数据库同步复制工具Beedup产品功能（二）
由北京灵蜂纵横软件有限公司研发的数据库实时复制软件Beedup，提供数据库（Oracle/SQLServer/DB2/MySQL/Gbase/PostgreSQL）异地容灾备份，异地数据同步功能。
2023-01-03 12:05:44
651
原创 Oracle日志复制—国产自研Beedup(基于日志结构化数据复制产品）
国产自研Beedup 基于日志结构化数据复制产品Beedup能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。
2022-11-25 23:05:45
450
原创 国产ETL工具 BeeDI 产品“实时同步“之 高阶 功能组件
BeeDI提供“ 实时”企业数据集成。实时组件通过实时处理和传输业务数据的能力，增强了BeeDI的批处理功能。为满足当下复杂的业务需求，IT部门需要实时集成以加快核心业务流程和信息流。使用实时功能，IT部门可以使用统一界面，从BeeDI平台迅速、轻松地部署实时数据集成解决方案。
2022-11-10 11:25:45
1003
1
原创 ETL工具— C/S 架构 为 数字基建 “安全” 保驾护航
Beeload&BeeDI 产品 C/S架构 为 信创中间件（ ETL工具）添砖加瓦从系统软件（操作系统、数据库）、中间件、应用软件、安全软件...... 重中之重的安全、可靠、稳定性，必须 C/S 架构 给予重任！
2022-09-09 15:58:29
2452
原创 国产etl工具BeeDI 产品 之“数据联邦“ 经典功能组件
etl工具 BeeDI 产品：数据联邦（跨库合并数据） 功能组件 ，可满足对实际数据集成中不断扩展需求。
2022-09-02 19:55:14
2704
原创 国产ETL工具BeeDI 产品 之 全国连锁到集团总部 数据同步
国产ETL工具BeeDI 产品 之 全国连锁到集团总部 数据同步厂商-北京灵蜂纵横软件有限公司国内最早做的数据集成工具(ETL)产品自2008年~
2022-08-13 10:22:50
1980
1
原创 国产etl工具 在公安管控系统中心 需求拓扑—— Beeload
国产ETL工具自控核心 Beeload 源自2004年 在公安管控系统中心 应用
2022-06-08 19:16:26
340
原创 实时 双向同步&双向复制 即 Beedup 产品
Beedup基于数据库日志解析的实时复制软件产品，支持数据库（Oracle/SQLServer/DB2/MySQL/Gbase/PostgreSQL）异地容灾备份，异地数据同步功能。支持复制时的主库和从库双活，支持CDC（Changed Data Capture）， 满足从PC到服务器、从Windows到Linux 再到Unix环境的复制。...
2022-04-25 23:04:51
3149
原创 开源Kettle 瓶颈—灵蜂ETL产品 BeeDI 解决
在实际业务中，在直接使用开源Kettle 和包装开源Kettle功能 遇见硬核功能瓶颈，灵蜂ETL产品 BeeDI 来解决！详见下表： 序号 技术 参数 BeeDI Kettle 1 整库迁移或批量表 导出 批量自动映射源表结构到目标库。 手工逐一定义MAP完成表映射。 2 时间戳
2021-06-21 22:25:36
224
原创 开源ETL工具 Kettle 瓶颈 —灵蜂ETL产品BeeDI 解决
在实际业务中，灵蜂ETL产品 解决开源ETL工具 Kettle 解决不了核心功能点，即是自研国产ETL工具的商业的最大价值。 序号 技术 参数 BeeDI Kettle 1 整库迁移或批量表 导出 批量自动映射源表结构到目标库。 手工逐一定义MAP完成表映射。 2 时间戳 同..
2021-06-21 21:26:42
331
原创 实时增量同步之 海量(15T～) 图片数据
灵蜂ETL工具产品之BeeDI 应对海量（15T~)图片数据同步解决方案：一、完成数据同步需要2个过程：1、历史数据同步——2、实时增量同步二、环境、数据量级主库环境：Oracle RAC+ASM，内存64G 从库单实例环境：内存192G历史数据 19T日增归档100G 主库包含 15T 图片数据 (单表约6000万条记录)三、主要问题：历史数据同步：初始采用Oracle导入导出方式（IMP/EXP），海量图片数据由于记录数庞大导致EXP 过程超时无法正常倒出数据...
2021-05-10 20:55:11
214
原创 CSDN 快速转载 五步 OK！
第一步：找到转载文章第二步：文章任意处右键➡检证（中文菜单叫检查）第三步：出现代码窗口后，在代码窗口移动鼠标并观察文章选中的位置，停在选中文章整体的位置（不包括标题）第四步：右键➡Copy➡Copy outerHTML第五步：粘贴代码➡复制标题➡发布文章...
2021-03-23 23:42:52
63
原创 ETL工具 大全（商业、开源）核心对比
列表如下： 序号 名称 软件性质 数据同步方式 作业调度 1 Informatica（美国） 入华时间2005年 http://www.informatica.com.cn 商业 图形界面 支持增量抽取，增量抽取的处理方式，增量加载的处理方式，提供数据更新的时间点或周期 .
2021-03-12 22:32:29
1045
原创 ETL技术、 ETL工具、 ETL产品 有区别吗？
概念 技术：是解决问题的方法及方法原理,是指人们利用现有事物形成新事物，或是改变现有事物功能、性能的方法。工具：原指工作时所需用的器具，后引申为达到、完成或促进某一事物的手段。只要能使物质发生改变的物质，相对于那个能被它改变的物质而言就是工具。产品：为了满足市场需要，而创建的用于运营的功能及服务”就是产品。产品是以使用为目的物品和服务的综合体。ETL：是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（tra...
2021-03-05 00:04:48
419
1
原创 ETL工具精髓功能 实时数据同步
无实时数据同步 功能的ETL工具，为准ETL工具（如开源Kettle无此功能，开发人员需额外写代码）IT机构、开发团队以及开发人员使用实时数据同步组件实现：通过对各种实时数据源进行双向集成同步，推动零延迟实时数据的业务流程 通过实时传递企业需数据的信息加快决策过程 通过支持基于数据源和用户定义的提交以及基于规则定义，确保实时数据的完成整性一、作用 提供“实时”的企业数据集成 在建数据仓库、大数据中心（数据中台）实现数据实时处理和传递运营数据的价值时……先期必须进行数据汇总、数..
2021-02-03 18:51:04
701
原创 E-T-L 技术、ETL工具、数据中台 易混淆
第一：E-T-L技术 E-T-L（Extract、Transform、Load）共包含了数据抽取、数据转换与数据装载3部分内容，E-T-L技术是在数据仓库技术发展中日趋成熟的。到现在，大家常说的ETL技术已经远远超越出了这E、T、L这三部分的范畴，不再是简单地将数据从一个地方抽出进行转换再装载到另外一个地方这种概念了。时下大家说得最多的名词是数据仓库、数据治理、数据集成、数据中心、数据整合平台、数据交换池、数据管理、数据中台、数据融通等等，这些概念里都涵盖了ETL技术，这些都已经是E-T...
2021-01-11 23:59:42
1047
原创 ETL工具 鱼龙混杂，如何甄选？（开源、包开源、包数据库辅助功能、商用）
实施数据集成项目遇到如下问题吗？无限投入人力 无限投入精力 无限投入时间 没有服务支持多数公司在用“开源ETL工具Kettle ”实际项目落地后，可谓哑巴吃黄连——有苦难开！无法从项目中脱身而去，导致用户不满意，公司成本核算累计递增......当下可谓“后开源ETL工具Kettle”时期，如何选择商用ETL工具？慎选商用ETL工具是当下替换“开源ETL工具Kettle”集成商迫在眉睫，调研指标参考如下：一、ETL工具项目价值ETL工具本身就是从手工代码中发展出来的，主要是用于提高
2020-12-07 18:56:57
574
原创 ETL工具中ELT 特点、局限性和缺陷
一、ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据，ETL是BI（商业智能）项目重要的一个环节。二、ETL所描述的过程，一般常见的作法包含ETL或是ELT（Extract-Load-Transform），并且混合使用。 E T L为独立软件产品代表（Informatica、Beeload）E L T依赖数据库引擎代表：ODI (甲骨文收购)三、在ELT架构工具典型代...
2020-11-20 19:26:25
1436
原创 ETL工具厂商演绎数仓商用价值最大化？
一、ETL在数据仓库角色ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。在整个数据分析流程中，用于数据处理的时间往往要占据70%以上。有着大数据分析系统中的数据“发动机”比喻！二、为什么建数据仓库需要ETL工具？数据仓库具有集成、稳定、高质量等特点，基于数据仓库为数据分析提供数据，往往能够更加保证数据..
2020-09-30 00:28:48
337
原创 ETL工具 之InformaticaPowerCenter / IBM Datastage& 国产灵蜂BeeDI 的 77项参数对比大全!
为什么用商业ETL工具？ 选择ETL工具的维度有很多都可以影响您的决策，如时间、成本、易用性、云能力、未来需求变化的应对能力等等。当有一个工具能够在同一时间解决这些困扰你的因素你会选择么？在寻找ETL工具之前其实更好的方式是总结数据仓库构建过程中真正导致失败的原因：1. 缺乏强有力的执行团队 2.不完整的企业级数据仓库体系结构和文档 3.缺乏数据仓库设计思维 4.执行团队未获知完整的需求 5.分析过程没有及时验证原型 6....
2020-09-17 18:57:27
425
原创 ETL任务调度—ETL工具的灵魂功能
前有实施上线ETL（设计ETL任务），后有ETLN多任务的高效管理，对N 个ETL模块化管理即运维是整个项目投入人力、时间、精力 刚刚启动，不可控成本随之而来......上线ETL项目及用户感同身受，只有经历过才有发言权。所以ETL任务调度是ETL工具灵魂......ETL任务用于定义数据的抽取，转换及装载规则。ETL任务调度（简称ETL调度）用于控制ETL任务的启动运行（启动时间、运行周期及触发条件），实现数据的传输转换操作。ETL调度按照功能复杂度分为简单定时调度和工作流调度...
2020-09-04 10:22:14
955
原创 开源ETL Kettle 与 老牌国产自研Beeload 核心功能对比
建设数据中心其间有一重要且烦碎的数据治理工作即（数据清洗、数据过滤、数据转换、数据标准化......）建数仓必备工具-ETL工具：业界最出名的开源Kettle 与 国产老牌Beeload 核心功能对比参考如下：北京灵蜂 Beeload & Pentaho Kettle 核心功能对比 序号 技术参数 Beeload Kettle ...
2020-07-17 20:38:53
615
原创 ETL工具Kettle & Beeload 功能验证参数比对
用开源免费kettle （含包装开源）？还是选用商用自控？企业领导考虑利润空间、项目经理核算成本时犹豫、纠结、困惑......免费开源无需付费、按项目开发后 代码企业拥有，可为项目挤出更多利润（诱惑啊） kettle的功能都可满足项目需求吗？ 还需投入多少人力和时间开发kettle未有的功能？ 写代码的员工离职，留下那些他理解的代码价值何在？网上资料有关开源ETL工具kettle安装、操作、配置、开发...... 不再赘述当您无法决策引进kettle时，务必全面了解其功能参数。（如需...
2020-05-20 21:44:47
397
原创 数据库增量同步 四类模式功能对比
时间戳、触发器、全表比对、日志解析 哪类最佳？数据库实时同步目前国内外技术中无非共4类数据库级增量同步机制（基于数据库辅助功能 、手工代码 飘过～）时间戳、触发器、全表比对、日志解析（非文件日志）。每种同步机制在不同的软 、硬件、网络环境中，请选取最佳方式。以下是在同样软件（操作系统、数据库）、硬件、网络环境中测试对比排序：按同步性能由高到低排序依次为： 时间戳>日志...
2020-04-23 20:40:35
1611
转载 ETL工具常见技术问题答疑（二）
续（一）11 在同步软件无法同时TCP连接源库和目标库的情况下，北京灵蜂 ETL工具（Beeload/BeeDI)是否提供数据同步解决方案？当ETL服务器无法同时连接源库和目标库时，北京灵蜂ETL工具提供以下2种同步解决方案：（1）在源端和目标端分别部署北京灵蜂ETL工具，在源端或目标端部署FTP服务器。在源端ETL工具将数据抽取到文件，并将文件存入FTP服务器；在目标端ETL工具从...
2019-07-03 15:39:53
1071
1
转载 洞察ETL工具技术硬核—源头C/S & B/S架构
C/S架构 B/S架构 一 概述 C/S架构：是一种典型的两层架构即客户端/服务器架构，其全称是Client/Server。C/S架构主要特点是交互性强、具有安全的存取模式、网络通信量低、响应速度快、支持功能复杂的UI界面，提供良好的用户体验。C/S架构一般基于TCP实现客户端与服务器的消息交互，需要开发者编码完成S...
2019-06-20 19:41:14
820
1
原创 几种老字号ETL工具比对
常见的几种ETL工具清单 序号 国籍 名称 价格区间 点评 下载地址 1 美国 ODI (数据库自带） 数据库厂商提供 有局限性，与 oracle 数据库耦合太深，做不到异构数据库之间 (C/S架构） www.oracle.com/technetwork/c...
2018-05-07 23:58:14
6117
3
原创 慎选 ETL工具（informatica？beeload? kettle?)
近年来由于信息化如海啸般袭来，商业智能（BI)、大数据、数据挖掘、数据分析、人工智能相关需求应用而生。要做到这些终极决策需求，需要及时、精准、海量数据中获取，既不能直接在业务层抽取数据（影响业务性能、数据存在"脏数据"......)；传统手工代码小量数据处理还是可以应对。随着数据量日趋成倍增长, 需要满足大中小企业数据集成—ETL工具就是其诞生的理由！提起ETL工具，业内人士首先是想到国...
2018-04-24 23:45:55
10522
5
原创 ETL工具常见技术问题答疑（一）
以下是灵蜂ETL工具产品在实际项目实施落地时遇到的典型技术问题（20个）总结：1 灵蜂ETL工具（Beeload/BeeDI)如何与数据库交互，需要在数据库服务器安装代理程序吗？灵蜂ETL工具产品通过TCP方式远程连接数据库，通常需要了解数据库服务器IP、端口、数据库名、用户及密码参数信息。不需要在数据库服务器安装任何代理程序，依据实际项目情况，灵蜂ETL产品可以单独部署在源数据服务器...
2018-03-07 12:08:15
1111
1
原创 ETL工具 与SQL server对比(即日志解析与事务复制）
一、 工作原理1. 灵蜂ETL工具 之 BeeDI日志解析同步的工作机制 下图显示了日志解析同步的组件关系。日志解析同步由日志解析模块、过滤转换模块和数据加载模块组成。日志解析模块从指定的解析点（源库日志中事务发生时间）开始，按照提交顺序依次解析日志文件中各个事务包含的DML记录，同时向前移动解析点，并将记录封装为灵蜂ETL工具BeeDI内部格式数据，
2018-01-23 21:44:53
1294
2
原创 论：ETL工具与手工写脚本之比较
近几年大数据时代到来，海量数据爆发，需要在无穷尽数据中分析、挖掘可用数据，面临前所未有的挑战，仅评传统手工代码解决洪水般数据是远远无法满足决策者所及。受国人传统思想，人工编码最为省时省力，导致信息化程度只是停留在数据、口号中，未曾把沉睡的历史数据跑起来，实现最大价值化，才是大数据信息时代下的价值最大化。ETL工具就是其诞生的理由所在。 一、灵活性。ETL工具比较灵活，需要在此平台上设置规
2018-01-23 20:49:51
2011
基础信息建设三驾马之中间件工具之ETL产品-灵蜂BeeDI (国产化替代 Informatica/DS ) 本产品自2010年～
2024-03-20
信创 国产替代之- 基础软件中间件 ETL工具BeeDI 产品 源自2010年～ 持续升级至最新版本 V11.0
2023-05-29
北京灵蜂ETL工具（高端）BeeDI V10.0 技术白皮书2021版.pdf
2021-02-03
ETL工具数仓必备品.pdf
2021-01-25
ETL工具77项参数对比大全.pdf
2020-10-10
PostgreSQL数据库复制与CDC实施方案.pdf
2020-09-30
MySQL数据实时同步到ES轻松配置.pdf
2020-09-25
ETL工具 beeload (shale)免费版 详细使用教程.pdf
2020-09-02
北京灵蜂 高端 ETL工具 BeeDI 9.0 技术白皮书.pdf
2020-07-01
国产ETL工具Beeload在高校电子离校系统应用.pdf
2020-06-30
ETL工具 Beeload V7.0 （2020版）技术白皮书.pdf
2020-05-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人