woohooli的专栏

原创 数据集成之主数据管理（一）基础概念篇

数据集成是当下比较热门的话题，相关的产品和平台也越来越多。很多CIO都在各种数据集成平台和产品之间犹豫不决。因此对数据集成平台的框架体系有全面的理解，对各个厂家产品所提供的功能有深入的认识才能为数据平台选型的决策提供可靠的保证。我有幸参与了国内一个知名企业的集成平台的设计工作，并主导了数据集成平台的需求分析和产品选型工作。这次工作中，研究了很多新的技术方向和产品，下面我主要讲一下数据集成领域的

原创 GPT学习笔记-Enterprise Knowledge Retrieval（企业知识检索）--私有知识库的集成

我对"Retrieval"重新理解了一下，源自动词"retrieve"，其基本含义是“取回”，“恢复”，或“检索”。在不同的上下文中，"retrieval"可以有稍微不同的含义。"Enterprise Knowledge Retrieval"中，"retrieval"指的就是从企业的知识库中查找和提取信息的过程。GPT的很多应用需求和场景就是对企业自有知识库的问答、发掘、汇总、分析。这里openai提供了一个简单的例子。但现实的场景，企业知识还是很庞杂的，存储的方式多样、数量众多的拥有者，知识碎片化。

原创 GPT学习-Embeding Playground嵌入向量游乐场

一个有助于理解open ai 的embedding的示例代码

原创 GPT学习-在Atlas可视化数据

Atlas 是一个机器学习工具，主要用于在网络浏览器中展示和可视化大量的嵌入（embeddings）数据集。嵌入（embeddings）是机器学习中的一个重要概念，主要用于将非结构化的数据（如文本或图片）转化为结构化的数据（如向量）。你可以将大量的这样的嵌入数据上传到 Atlas 平台，并在你的网络浏览器或者 Jupyter 笔记本中与这些数据进行交互，如查看、分析等。我对Atlas使用不多，所以理解不够深入。目前只是按照例子完成了示例代码。需要在atlas.io网站完成注册，获取token，

原创 GPT学习-使用embedding做回归（regression）预测

1.导入的库：sklearn.ensemble 中的 RandomForestRegressor 是用于回归预测的模型，sklearn.model_selection 中的 train_test_split 用于将数据集划分为训练集和测试集，sklearn.metrics 中的 mean_squared_error 和 mean_absolute_error 用于评估模型的预测性能。Regression"回归"是机器学习中的一个术语，指的是预测一个连续的数值，而不是分类的类别。是测试集的特征，返回的。

原创 GPT学习笔记-Embedding的降维与2D,3D可视化

例如，词嵌入可以捕捉到"king"和"queen"，"man"和"woman"之间的相似性，并且可以通过向量运算来表示语言的一些特性，如"king" - "man" + "woman" ≈ "queen"。嵌入的维度通常是一个需要调整的超参数，它的选择取决于多种因素，包括数据的复杂性（例如，词汇的大小和语言的复杂性）、模型的复杂性、计算资源的可用性，以及特定任务的需求。因此，选择合适的降维方法（如PCA、t-SNE等）和降维后的维度是非常重要的，需要根据具体的应用需求和数据特性进行选择。

原创 GPT学习笔记-使用embedding实现语义文本搜索（Semantic text search）

在这种架构中，文本被转换为一种叫做嵌入（Embeddings）的高维向量，这些嵌入在模型的训练过程中被持续调整，以便更好地捕捉文本的语义信息。然而，要注意的是，虽然GPT在处理语义文本搜索任务时具有这些优势，但它也有一些限制。例如，GPT的知识是截止到它最后一次训练时的，这意味着它可能不知道最近的事件或信息。：如果用户搜索"最好的科幻电影"，返回的结果可能因人而异，因为"最好"的定义可能因人而异。：由于GPT在多样性的文本上进行训练，它可以处理各种类型的查询，包括复杂的、特殊的或者罕见的查询。

原创 GPT学习笔记-文章的摘要

在多数针对GPT的应用中，很多都是希望通过GPT加载私有数据，为企业或个人做知识助理。对于海量的数据的处理方法应该是结合向量数据库和已有的文件数据库ES,Mongodb等。下面我们看看，openai提供的一个把已有的pdf文档加载到GPT中的代码例子。GPT-3可以帮助我们从过大而无法放入上下文窗口的文档中提取关键的数字、日期或其他重要内容。例子代码是openai的cookbook的examples/Entity_extraction_for_long_documents.ipynb。

原创 CHATGPT学习笔记-定制嵌入（客户化）customizing Embedding。

例如，词嵌入模型可能会学习到"猫"和"狗"的向量在空间中相对接近，因为它们在很多上下文中都有相似的用法（都是宠物、都是动物等）。这个向量中的每个数字（或"维度"）都代表了单词"猫"的某种抽象特性。这些特性并不是预定义的或可解释的（例如，“这个维度代表语气”，“那个维度代表情感”等），而是在训练嵌入模型的过程中通过机器学习自动学习的。7.使用提供的训练数据优化矩阵：这段代码的目的是将训练得到的优化矩阵（matrix）应用到嵌入向量上，从而得到优化后的嵌入向量，然后计算这些优化后的嵌入向量之间的相似度。

原创 GPT学习笔记-聚类（clustering）

聚类是一种非常有用的无监督学习技术，它的主要目的是发现数据的内在结构和模式。在许多实际应用中，我们可能没有明确的目标变量或预测目标，但我们仍希望了解数据的组织方式，或者找出数据中的特定模式或组。这就是聚类的价值所在。尽管聚类是无监督的（即我们不需要任何标签或目标变量来引导学习过程），但这并不意味着聚类是无目的的。：聚类可以帮助我们理解数据的结构和模式，例如，哪些数据点是相似的，哪些数据点是不同的，数据中是否存在特定的群体或者异常值等。：聚类的结果可以作为其他机器学习任务的输入。

原创 GPT 学习笔记-让GPT基于embeddings搜索来回答问题

嵌入（Embedding）是一种将离散的符号（如词语、字符或文档）映射到连续向量空间的表示方法。它将离散的符号转换为实数向量，从而使得计算机可以更好地处理和理解文本数据。OPENAI提供内置的Embedding api，可以直接使用。

原创 Appium中对于弹出窗口(popup window)的元素如何定位（locate）

在使用Appium中的UI 过程中，因为有些弹出窗口（Popup）无法定位。而模拟场景又必须来定位这些元素，本人在实践中摸索了一种方法。环境 Appnium， python3.8， Pycharm开发环境主要思路：把定位调整到基础的窗口，然后利用pycharm的调试功能和driver.find_element_by_class_name的方法来定位测试场景是一款证券app,弹出的是...

原创 JMS与IBM MQ的集成的一个问题处理

IBM MQ是一款非常成熟的消息队列产品，在人民银行的核心系统中使用，国外的很多客户也使用。我本次遇到的就是一个国内客户与国外MQ集成时遇到的问题。在IBM的官方文档里面对连接方法和原理有非常详细的介绍。https://www.ibm.com/support/knowledgecenter/SSFKSJ_7.5.0/com.ibm.mq.dev.doc/q032350_.htm主要的关...

原创 AWS云服务器安装Python3 + Selenium

因工作需要，做一些Python爬虫的工作，申请了一个AWS的云服务器，要自己安装Python3环境。把安装过程记录一下，方便有类似需求的人，也给自己做个记录。1. AWS上有现成的yum安装包，先查看一下[ec2-user@]$ sudo yum list | grep python3python3.i686 3.7.4-1.amzn2...

原创 TUXEDO安装调试遇到的几个问题

在linux环境下安装，使用tmboot或者tmadmin均出现如下错误信息：114925.tuxedo1!tmadmin.15423.4155840192.-2: GP_CAT:1345: ERROR: pif: can't load 'registry.so'114925.tuxedo1!tmadmin.15423.4155840192.-2: LIBSEC_CAT:22: ERROR

原创 TUXEDO一个常见问题的处理，drop old connection

昨天处理一个客户现场故障时，客户的应用总是会间歇性的报错，客户找不到规律。我去了之后，在ULOG日志中发现 LIBGWT_CAT:1553: INFO: Connection accepted from domain xxxx drop old connection 对于

转载 JMS Details

JMS DetailsThis section provides a more detailed description of JMS. In particular, we explore the acknowledgement modes, which are fundamen

原创 weblogic中oracle jdbc驱动更新方法

weblogic中JDBC驱动版本确定方法和升级方法weblogic JDBC jar升级方法

原创 Weblogic安装过程中一些故障的处理方法

weblogic 安装过程中A fatal error has occurred出现解决的方法。 weblogic 安装 故障解决方法java.lang.NullPointerException at java.security.SecureRandom.nextByte s错误处理的方法。Weblogic 安装

原创 weblogic ORA-03111错误的处理过程

weblogic通过JDBC连接数据库的“ORA-03111＂故障的处理过程，希望对大家有帮助

原创 8个常用于可扩展系统的设计模式(转载）

<br />Ricky Ho 在文章 Scalable System Design Patterns 中列举了一系列构建可扩展系统的优秀实践，以下是对这些优秀实践模式的一个摘要：<br /><br />1,负载均衡 – 把一个请求按一定hash算法或规则分配到服务器组中的一台去处理，以分担单个服务器的压力。这一般多见于大型网站的构架。<br /><br />2,分头收集（Scatter and Gather） –  把一个请求分解成好几个服务请求分发到多个server上，每个server处理后返回的结果会被

原创 JPD update failure升级到WLI10.3.1失败

WLI8.1 jpd无法升级的问题IMPORTING OF WLI 8.1 JPDS INTO WLI 10.3.1 DOES NOT WORK.

原创 WLI的一个错误的处理

最近由于有一个客户要升级WLI8.1到WLI10.3，因此帮助客户测试WLI10.3的功能。weblogic.management.DeploymentException: [Deployer:149606]Failed to configure deployment mbean for beehive-controls-1.0

翻译 OWB的安装（一）

详细介绍了Oracle warehouse builder （OWB）的安装需求和安装步骤

原创 HOTSPOT 虚拟机noclassgc等几个参数的含义

-Xnoclassgc关闭CLASS的垃圾回收功能，就是虚拟机加载的类，即便是不使用，没有实例也不会回收。如果一个类20分钟还没有使用，虚拟机会卸载这个类。如果这个类再次使用，虚拟机会重新加载这个类，由于虚拟机加载类包含了IO和内存分配的操作，因此加载时会对性能有所影响。对于一般应用，这个参数对性能影响不大。-Xoptgc优化的GC标志。提高短生命周期的对象垃圾回收的性能。如果服务器端的应用每

原创 数据集成之数据整合（Data Consolidation）

数据整合（Data Consolidation） 数据整合（Data Consolidation）的概念数据整合是把在不同数据源的数据收集、整理、清洗，转换后（有点像ETL）加载到一个新的数据源，为数据消费者提供统一数据视图的数据集成方式。数据整合(data consolidation)和数据集成（data integration)的区别在于：数据整合是单纯的数据整合，而数据集成的

原创 数据集成之数据联邦（data federation）

数据联邦（data federation）数据联邦的概念数据联邦（也有翻译成数据联合）提供了一种创建对数据消费者（应用）角度看数据集成视图，数据逻辑看上去存在一个位置，但实际的物理位置却可能在多个数据源中。也可以说，数据联邦技术提供了一种为数据提供抽象的数据接口的能力。这些多个数据源组成的虚拟视图可以使数据消费者（应用）不需要知道数据的物理位置、数据结构和保存方式。以上两个概念虚拟

转载 甲骨文紧急修复WebLogic严重安全漏洞

　　2月8日消息，在俄罗斯一位安全人员发布了这个安全漏洞的细节两个星期之后，甲骨文急忙发布了一个补丁修复其WebLogic应用服务器软件中的安全漏洞。　　甲骨文说，这个安全漏洞存在于WebLogic的节点管理器软件中。一般来说，防火墙将封锁这个软件。然而，如果黑客能够访问节点管理器的管理端口，就会造成灾难性的后果。甲骨文在详细介绍这个安全漏洞的博客中说，成功地利用这个安全漏洞会全面

原创 关于在Apache和Weblogic中分别部署静态页面的对比报告

关于在Apache和Weblogic中分别部署静态页面的对比报告一:概述      大家都知道，一般来说一个Web应用都分为动态内容（jsp，servlet, CGI)和静态内容（图片，文档，HTML）两部分内容。而在很多地方，我们都没有把动态和静态内容进行分离，来提高应用的整体性能。下面的文章通过实际的测试数据告诉你，静态内容的分离对性能到底会有多大的影响。测试环境 APACHE,

原创 LIBGW_CAT1029 TPESVCERR gwerrno(402019) error

在metalink里面的解释是：对于所有的版本TUXEDO，LIBGW_CAT1029 TPESVCERR gwerrno(402019)这个信息都说明在GWTDOMAIN从远端域得到一个服务请求准备转发时，出现了阻塞的情况.我们知道在域模式下，GWTDOMAIN和WSH的作用有些类似，作为远端调用者在本个TUXEDO域的代理进程，做TPACALL的操作。这个错误信息说明GWTDOMAIN

原创 【讨论】TOMCAT的缺点是什么

首先，我必须承认TOMCAT是一个很好用的JAVA Web服务器，而且也被广泛用在了很多商用系统中。但是没有一种产品是完美的，相对于Weblogic，Websphere这些商用的JAVA Application server，它的不足到底在哪里呢？其实，换个角度说，我们在开发时选取各种产品，无非就是要看它是否能满足我们的需求，在那些情况下TOMCAT无法满足我们的要求呢？通过我自己的工作实践，我总

转载 weblogic 安全模型

一． WebLogic 安全框架下图显示 WebLogic 安全框架的高级视图。该框架由weblogic.security.service 包中的接口、类和异常组成。图 1-1 WebLogic 安全服务体系结构 Ø  组件：分为：访问者，工具，以及weblogic安全服务。访问者就是 客户端的应用程序，bea的一些其他的产品，还有资源的容器等等工具：weblogi.s

原创 Weblogic几个403错误的分析

在实际的技术支持工作中，遇到不少访问weblogic 出现403错误的情况，在这里总结一下： 1. 9&10版本部署应用后，访问应用报403错误 9&10 版本以后，需要部署完应用后，把应用激活。另外要记得选择“service all request“，才能正常的访问，否则会出现http response code 403的错误。  2. 从tomcat上移植过来的应用

原创 几个weblogic10 License的错误信息

今天有一个客户新装weblogic10.0MP2, weblogic服务器启动了之后，console无法进入的错误。 使用IE登录console后，报如下信息：“You must have valid license to use the WebLogic Portal Framework" 我给他换了一个license，结果进入console后，后台报如下错误信息：

原创 BPM选型策略

BPM选型策略BPM是一个流行了很多年的概念，其相关的产品也比较多。在新的SOA架构下，各个厂商都推出了基于新的规范的BPM产品套件，这些产品套件包含一个或者多个独立产品。但是对于刚接触BPM产品的人难免会多一些疑惑。另外很多CIO都在各种平台和产品之间也犹豫不决。因此对BPM平台的框架体系有全面的理解，对各个厂家产品所提供的功能有深入的认识才能为平台选型的决策提供可靠的保证。最近一个阶段

原创 关于多个应用在同一个server中部署时出现cookies被覆盖的解决方案

目录1 产生问题的配置... 22 产生问题的原因... 23 解决办法... 2（1）相关参数的解释... 2（2）解决办法一... 3（3）解决办法二... 3（4）解决办法三... 34 参考资料... 4  1 产生问题的配置     CookieName     TestSessionID   我们发现如果两个web应用都使用同样这

原创 莫为SOA而SOA

今天参加一个大企业的项目评审会，客户的要求其实比较简单，就是Portal + 核心业务系统。可是乙方的项目人员用了一个拼凑出来的PPT，尤其是技术发展路线里面用了几个原厂的SOA架构图，像客户推荐使用SOA的方案。 我于是问他们是否相关的Portal和CMS系统的实施经验，一个技术人员开始给我胡扯了几个网站的项目。另外说他们的SOA架构怎么好？ 我问了一句，对于客户业务的特点，建设客户的C

转载 原dev2dev的WebLogic General精华贴总结

   WebLogic General精华贴总结 总结人:周小超(dev2devID:supine) 1.   怎样获得jsp页面的物理路径http://dev2dev.bea.com.cn/bbs/thread.jspa?forumID=126&threadID=17881&tstart=75在一个web服务器上，虚拟路径将物理上分离的各文件组合在一起

原创 惊闻Oracle收购Sun

 回来居然看到这个新闻，真是惊愕。几个感觉比18M收购了好1. IBM这次真是虚晃一枪，结果让ORACLE直接得了便宜2. ORACLE终于有了硬件的支持，ORACLE最近连出重拳呀，收购了BEA之后，又在经济低潮有这么大的动作，真是气势汹汹，在应用软件领域与18M一争高下决心可见一斑3. SUN归属ORACLE比在18M下要好得多。       

转载 BEA dev2dev WebLogic管理精华