- 博客(88)
- 资源 (19)
- 收藏
- 关注
RSS订阅
原创 在 chest X-ray 数据集上做肺分割
在 chest X-ray 数据集上做肺分割介绍在此任务中，您将开发一个系统，可以在胸部X光片中自动检测肺部的边界框。对于这项任务，我们将使用一个名为[Yolo]的网络（https://arxiv.org/pdf/1506.02640.pdf） 。有关YOLO（以及最新的YOLOv2 / YOLO9000）方法的详细信息，请参阅以下文章：** YOLO：统一的实时物体检测** [http...
2018-12-25 21:53:51
10935
5
原创 医疗影像的图像处理基础
介绍计算机辅助诊断和图像处理基础介绍In this first assignment, we are going to implement and apply some basic image processing techniques, and we will get familiar with some kind of medical imaging data.In particular...
2018-12-20 10:03:03
12307
4
原创 如何创建一个在本地和离线运行的LangChain应用程序
默认情况下不需要任何参数，但可以指定一个指向您所需的Takeoff运行的URL的baseURL，并且可以提供生成参数。总的来说，本地和离线运行LLMs能够提供更大的自主性、效率、隐私和对计算资源的控制，这使得它成为许多应用和使用场景中的一个吸引人的选择。对于LLM/SLM实施，组织将需要确定业务需求和扩展需求，并将其与所使用的语言模型的容量和能力相匹配的适当解决方案相结合。默认情况下不需要任何参数，但可以指定一个指向您所需的Takeoff运行的URL的baseURL，并提供生成参数。
2024-02-29 14:19:13
886
原创 基于JSON的Ollama和LangChain agent
有趣的是，在实施自定义函数之后，我发现了一个现有的LangChain函数，它将自定义的Pydantic工具输入定义转换为Mixtral可以识别的JSON对象。正如提到的，大多数模型没有经过训练来产生行动输入或文本，如果不需要行动，我们必须使用当前可用的内容。它们共同使LLM能够提供更准确的推荐，随着时间的推移了解用户的偏好，并获得更广泛的最新信息，从而实现更具互动性和适应性的用户体验。正如提到的那样，除了在查询时能够检索到额外的信息外，它们还给LLM提供了一种影响他们环境的选择，例如在日历中预订会议。
2024-02-29 14:14:01
1508
原创 视频生成模型：构建虚拟世界的模拟器 [译]
我们致力于在视频数据上开展生成模型的大规模训练。具体来说，我们针对不同时长、分辨率和宽高比的视频及图像，联合训练了基于文本条件的扩散模型。我们采用了一种 Transformer 架构，这种架构能够处理视频和图像潜在编码的时空片段。我们的最大型号模型，Sora，能生成高质量的一分钟视频。我们的研究显示，扩展视频生成模型的规模是向着创建能够模拟物理世界的通用工具迈出的有前途的一步。本技术报告主要介绍了两方面内容：(1) 我们如何将各种类型的视觉数据转化为统一的表示形式，从而实现生成模型的大规模训练；
2024-02-20 15:12:30
1623
原创 “利用电子医院记录，针对急性护理环境中的老年人，开发并验证了一项医院脆弱风险评分：一项观察性研究“
一组中被确定为脆弱的六个群集之一，基于预定义的ICD-10代码清单（附录）中至少有一个脆弱标记的人数比例较高（4907人中的4073人[83·0%]），而在队列的其余部分中为17,232人中的29·1%（5008人）。至少有一种脆弱综合征的人数从434952人中的99604人（22.9%）增加到204514人中的193266人（94.5%），其中认知功能障碍的梯度最为显著，从434952人中的20443人（4.7%）增加到204514人中的135388人（66.2%）。每个集群中人群的特征总结在表2中。
2024-02-19 15:56:33
898
原创 建立流行病预警指数体系并优化传染病模型：对公共卫生突发事件监测数据的分析
R ，从传染病模型中移除的人群，指的是被隔离或对该疾病具有免疫力的人群[59]。经过数据筛选、分类和其他预处理工作，结合各国数据趋势，从2020年1月16日至5月15日中国累计确诊病例、累计疑似病例、新增确诊病例、累计死亡病例和累计治愈病例，以及从2020年2月1日至4月30日日本、韩国和英国（英国）的累计确诊病例和累计疑似病例，最终保留了从2020年3月1日至5月29日美国（美国）的新确诊病例、累计死亡病例和累计治愈病例，使用每个国家90天的新冠疫情相关数据集作为训练样本集，以确诊病例的时间数据集。
2024-02-19 14:29:39
902
原创 使用 RAG 创建 LLM 应用程序
通常，如果您有较少的数据，最好使用较低的“k”，大约为2。Hugging Face的模型中心提供了许多嵌入模型的选项，您可以浏览排行榜，选择最适合您需求的模型。有不同类型的链条适用于不同的使用情况，如果你希望你的 LLM 能够在一段时间内记住聊天的上下文，就像ChatGPT一样，你需要一个可以在多个对话片段之间共享的记忆实例，对于这种情况，有可用的对话链条。在我的测试中，我使用了包含有关《权力的游戏》中琼恩·雪的信息的网址，以及变形金刚论文和 YOLO V7 论文的 PDF 文件来评估机器人的表现。
2024-02-17 17:05:35
936
原创 Sora 的工作原理（及其意义）
作者：OpenAI 的新型文本到视频模型为电影制作开启了新篇章DALL-E 提供的插图。让我们先明确一点，我们急急忙忙慌乱。我们不会预测乌托邦或预言灾难。我们要保持冷静并...你真的看到 SORA 了吗？？？OpenAI 的新文本到视频模型可以生成一段 60 秒的高度逼真的视频，内容是两只可爱的。它能生成一个的视频，在这里，一只老虎在镶满翡翠的围栏里懒洋洋地躺着，一只卷尾猴戴着国王的皇冠待在金笼子后面。它还能生成一个的视频，在乡村厨房里，她穿着粉色的花朵围裙，制作着意大利土豆饺子。
2024-02-17 14:37:47
1034
原创 Sora 和之前 Runway 那些在架构上有啥区别呢？
Runway、Stable Diffusion 是基于扩散模型（Diffusion Model），扩散模型（Diffusion Model）的训练过程是通过多个步骤逐渐向图片增加噪点，直到图片变成完全无结构的噪点图片，然后在生成图片的时候，基于一张完全噪点的图片，逐步减少噪点，直到还原出一张清晰的图片。但是，由于 Sora 是基于“Patch”而非视频的全帧进行训练的，它可以处理任何大小的视频或图片，无需进行裁剪。想象一下从每一个存在的视频中剪出的 Patch——无尽的胶片塔——被堆叠起来并输入到模型中。
2024-02-17 14:01:15
866
原创 忘记 RAG：拥抱Agent设计，让 ChatGPT 更智能更贴近实际
然而，要真正创建一个能够执行更复杂的研究任务，如多步骤和自适应执行的智能代理，我们需要实现一些额外的能力。这个过程不仅让人想起人类的行为，而且比RAG模式更高效，RAG模式中知识检索是一个单独的过程，无论是否需要，都会向聊天机器人提供信息。附加的指示表示，如果需要，机器人应该重试并更改问题。这篇文章介绍了一种新的方法，灵感来自人类研究方法，涉及多种搜索技术，观察中间结果，不断完善和重试，然后才提供回应。当代理需要查找它所不具备的知识时，它会制定一个搜索查询，并向搜索引擎发出信号，以检索所需的答案。
2024-02-05 19:02:41
1586
原创 使用LlamaIndex，Qdrant，Ollama和FastAPI构建本地RAG api
互联网上有大量关于如何构建RAG管道的教程，问题在于，大多数都依赖于在线服务和云工具，特别是在生成部分，许多教程都主张使用OpenAI LLM API，不幸的是，这些API并不总是免费的，而且在处理敏感数据时可能不被认为是可信的。现在我们已经成功地将我们的数据（研究论文）加载到我们的向量存储（Qdrant）中，我们可以开始查询它以获取相关数据，以供我们的LLM使用。Llamaindex支持各种数据加载器，在我们的情况下，我们的数据将是一个文件夹中的一堆PDF，这意味着我们可以使用。对我们的数据进行分块。
2024-02-04 10:22:39
1489
原创 12个RAG痛点和建议解决方案
Neutrino 目前支持。此外，您可以微调自定义的重新排序器，以获得更好的检索性能，详细的实现已在《通过与LlamaIndex微调Cohere Reranker来改善检索性能》中记录。准确解释用户查询以检索相关的结构化数据可能会很困难，特别是对于复杂或含糊不清的查询、不灵活的文本到SQL转换以及当前LLMs在有效处理这些任务方面的限制。在使用 LLMs 时，您可能会想知道，如果您的模型遇到问题，比如与OpenAI的模型发生速率限制错误，您需要一个备用模型作为主要模型发生故障的替代方案。
2024-02-04 10:02:23
1492
翻译 模块化的RAG和RAG流程：第一部分
以上，我们可以看到RAG的快速发展已经超越了链式高级RAG范式，展示了模块化的特点。为了解决当前的组织和抽象不足，我们提出了一种模块化的RAG方法，无缝地集成了天真RAG和高级RAG的开发范式。模块化RAG呈现出一种高度可扩展的范式，将RAG系统划分为模块类型、模块和运算符的三层结构。每个模块类型代表RAG系统中的核心流程，包含多个功能模块。每个功能模块又包含多个具体的运算符。整个RAG系统成为多个模块和相应操作符的排列组合，形成我们所称的RAG流程。
2024-01-29 17:33:29
521
翻译 模块化的RAG和RAG流程：第二部分
定义了模块和运算符之后，它们可以帮助我们从流程角度查看各种RAG方法。每个RAG可以使用一组运算符进行排列。模块化RAG框架那么，在模块化RAG范式下，我们应该如何设计我们的RAG系统？在第二部分中，我们将深入探讨典型的RAG流程模式、具体的RAG流程实施以及最佳行业案例。典型的RAG流程模式和实施首先，让我们探索RAG流程的突出模式，以及每个模板下的具体流程，展示不同的模块和运算符是如何协调的。在RAG Flow的背景下，我们将为微调阶段划分三个不同的流程，并为推理阶段划分四个流程。
2024-01-29 17:18:49
414
原创 BERT模型的初步认识
1 BERT模型的初步认识不知道BERT（Pre-training of Deep Bidirectional Transformers，原文链接：BERT）没有关系，让我们来看一些数据。自从2018年BERT模型发布以来，BERT模型仅用 2019 年一年的时间，便以势如破竹的姿态成为了 NLP 领域首屈一指的红人，BERT 相关的论文也如涌潮般发表出来。2019 年，可谓是 NLP 发展历程中具有里程碑意义的一年，而其背后的最大功臣当属 BERT ！在NLP领域，如果把2019年称为“BERT年”也
2021-04-12 08:58:37
855
翻译 Word2Vec 教程 ： The Skip-Gram 模型
Word2Vec教程：Skip-Gram模型原文链接: .本教程介绍了Word2Vec的Skip-Gram神经网络体系结构。本教程的目的是跳过有关Word2Vec的常规介绍性知识和抽象性介绍，并深入了解更多细节。特别是在这里，我将深入研究Skip-Gram神经网络模型。模型介绍实际上，Skip-Gram神经网络模型的基本形式非常简单。我认为所有这些小的调整和增强开始使解释变得混乱。让我们...
2019-11-13 13:06:39
265
翻译 文本分类- Hierarchical attention network
本文实现了层次注意力模型来进行文档分类。 得益于Keras简单上手，这使得这个项目变得不是那么困难。 自定义Layer非常强大且灵活，可以将您的自定义逻辑嵌入到现有框架中。 功能性API使得分层InputLayer非常容易实现。Text classification using Hierarchical LSTM在全面实现层次注意力模型之前，我想要建立一个分层的LSTM网络作为base
2019-02-28 13:31:26
803
转载 Link Conda environment with Jupyter Notebook
For Anaconda I suggest you a much easier and proper solution; just give a look at the nb_conda_kernels package.It allows you to “manage your conda environment-based kernels inside the Jupyter Notebo...
2018-06-28 11:35:30
255
原创 使用catboost解决ML中高维度不平衡数据集挑战的解决方案
什么是不平衡的数据集本文中所涉及的数据分类之间不均匀，有的几千条，有的几十条，这种数据集被认为是不平衡的数据集。 这些类型的数据集通常存在于预测维护系统，销售倾向，欺诈识别，智能诊断等应用领域中。例如，在电子病历中的呼吸科疾病诊断中，以2200条测试数据来看具体分布，数据分布很不均匀，最多的是1214例，最少的37例。各个疾病的分布如下。J20 急性支气管炎 ...
2018-05-09 17:23:28
5386
3
原创 Scipy hstack results in “TypeError: no supported conversion for types: (dtype('float64'), dtype('O')
X = sp.sparse.hstack((X, OtherColumn.values)) #error here sc = preprocessing.StandardScaler().fit(X) X = sc.transform(X) X_test = sc.transform(X_test)Full error message:-----------------------...
2018-04-16 17:24:50
7525
原创 mac sublime3 3156 LICENSE
Sublime Text 3.x (after Build 3156)—– BEGIN LICENSE —–Bug7sec Team (www.bug7sec.org)50 User LicenseEA7E-106883286C49532 8F829C68 2ED18D56 162664F28B934F0C EB60A7FE 81D7D5EF BB8F1673
2017-12-08 09:38:50
3382
3
原创 sublime3 3154 LICENSE
—– BEGIN LICENSE —–TwitterInc200 User LicenseEA7E-8900071D77F72E 390CDD93 4DCBA022 FAF6079061AA12C0 A37081C5 D0316412 4584D13694D7F7D4 95BC8C1C 527DA828 560BB037D1EDDD8C AE7B379F 50C9D69
2017-11-30 09:01:07
1117
原创 主诉部分结构化使用说明
电子病历主诉部分结构化主要功能说明： 主要是基于分词库构建，然后根据上下文语义进行结构化 目前按照分词库分为如下几类：时间词库、方位词库、症状词库、性质词库、描述性文字词库、部位词库、疾病名称词库 需要维护词库，词库路径配置文件在jar包里的ermInfo.properties的dicDir配置 如果需要自己添加词库，可以修com.minz.med.hospi.DicCompl
2017-07-06 11:59:08
892
原创 Error compiling OpenCV, fatal error: stdlib.h: No such file or directory
cmake -DCMAKE_BUILD_TYPE=RELEASE -DCMAKE_INSTALL_PREFIX=/usr/local -DBUILD_NEW_PYTHON_SUPPORT=ON -DINSTALL_PYTHON_EXAMPLES=ON -DWITH_TBB=ON -DWITH_V4L=ON -DINSTALL_C_EXAMPLES=ON -DBUILD_EXAMPLES=ON -D
2017-05-26 00:06:20
8784
3
转载 How do Convolutional Neural Networks work?
Nine times out of ten, when you hear about deep learning breaking a new technological barrier, Convolutional Neural Networks are involved. Also called CNNs or ConvNets, these are the workhorse of the
2017-01-28 12:33:51
854
转载 An overview of gradient descent optimization algorithms
An overview of gradient descent optimization algorithmsNote: If you are looking for a review paper, this blog post is also available as an article on arXiv.Table of contents:Gradient
2017-01-28 11:59:01
929
转载 SGD的batch size多大是合适的?
The "sample size" you're talking about is referred to as batch size, B. The batch size parameter is just one of the hyper-parameters you'll be tuning when you train a neural network with mini-batch
2017-01-27 23:08:39
2217
原创 ffmpeg 安装方法
通过python安装ffmpge为了使用moviepy，这个包有一些依赖很麻烦，特别是ffmpge，需要编译。可以通过下面命令安装：import imageioimageio.plugins.ffmpeg.download()Imageio: 'ffmpeg.linux64' was not found on your computer; downloading it now.Try 1. D
2016-12-29 15:42:01
11277
6
原创 无人驾驶学习笔记
无人驾驶学习笔记-寻找车道-1本人报了udacity的无人驾驶纳米学位课程，从今天开始写学习笔记：python实现颜色选择让我们编写一个简单的Python的颜色选择app。 不需要下载和安装任何东西,您也可以仅跟随在浏览器中。 我们将使用上面的图片。 查看下面的代码。 首先，我从matplotlib导入pyplot和图像。 我也导入numpy操作图像。import matplotlib.p
2016-12-17 23:42:48
3511
2
原创 neural-networks Lecture 1 Quiz
关闭Lecture 1 Quiz已通过6/6 得分（100%)测验通过！返回第 1 周课程让您的成就得到认可。 “课程证书帮助您得到求职所需的认可，教学内容帮助您” 掌握工作所需技能。您不仅能提升自己的价值，而且能让自己的价值得到认可。” - Peter B.，美国，软件
2016-10-10 13:58:19
1283
转载 无人驾驶车核心算法 — SLAM
2005年，斯坦福大学的无人驾驶车 Stanley 在 DARPA 无人驾驶车挑战赛中获得冠军。斯坦福大学教授，斯坦福人工智能实验室主任，Stanley 团队队长 Sebastian Thrun 透露说，Stanley 使用 SLAM 作为其核心驾驶算法，让 SLAM 名声大噪。如今，SLAM 已得到广泛应用，从商用扫地机器人到驰骋在美国公路上的 Google 无人驾驶汽车，都在使用 SLAM 算
2016-09-23 15:10:32
20350
3
转载 Android Studio Gradle Error - Protocol Family Unavailable
down voteacceptedI also had this problem and the referenced thread also didn't work for me.What did work was setting _JAVA_OPTIONS environment variable to make Java use IPv4._JAVA_OP
2016-09-12 13:51:04
719
转载 详解Python中re.sub
转载：http://www.crifan.com/python_re_sub_detailed_introduction/re.sub的功能re是regular expression的所写，表示正则表达式sub是substitute的所写，表示替换；re.sub是个正则表达式方面的函数，用来实现通过正则表达式，实现比普通字符串的replace更加强大的替换功能；
2016-07-14 17:18:42
847
原创 cs120_lab1b作业答案
Word Count Lab: Building a word count applicationThis lab will build on the techniques covered in the Spark tutorial to develop a simple word count application. The volume of unstructured text in ex
2016-07-14 16:51:11
1374
原创 cs120_lab1a作业答案
Math and Python reviewThis notebook reviews vector and matrix math, the NumPy Python package, and Python lambda expressions. Part 1 covers vector and matrix math, and you'll do a few exercises by
2016-07-12 20:42:41
950
转载 Writing from Flume to HDFS
Example: Writing from Flume to HDFSApache Flume is a service for collecting log data. You can capture events in Flume and store them in HDFS for analysis. For a conceptual description of Flume, se
2016-06-01 17:09:50
711
原创 ScalersTalk成长会机器学习小组-深度学习第3次学习笔记
第九章前言什么是卷积神经网络里卷积的目的什么是池化卷积和池化的强先验前言卷积网络也叫卷积神经网络（或者CNN），是一种特殊的深层的神经网络模型，它适合于时间序列数据的处理和图像数据处理。这章内容主要讨论内容：什么是卷积使用卷积的动机什么是池化用于实践中的神经网络的几个变化卷积函数卷积如何应用于各种维度不同的数据讨论一些如何使卷积神经更有效率补充内容：卷积神经网络的特殊性体现
2016-05-30 12:27:34
3290
原创 CM添加kafka服务后出现错误
如果启动时出现内存溢出错误Fatal error during KafkaServerStartable startup. Prepare to shutdownjava.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.n
2016-05-18 10:40:12
1481
原创 Redis3.0 安装
redis安装部署（单机）redis官网：http://redis.io/ redis历史版本下载：http://download.redis.io/releases/ 下载：wget http://download.redis.io/releases/redis-3.2.0.tar.gz解压：tar -zxvf redis-3.2.0.tar.gz编译、安装makemake install拷
2016-05-18 10:27:36
719
opencv编译必须的文件
2019-01-18
python3 64位CRF编译结果
2018-08-01
mac 版sublime
2017-11-30
R on Spark
2014-02-23
hadoop面试题
2013-08-17
用HTML5新特性开发移动App
2013-03-20
Word 转换器(Word Converter)
2013-03-20
星号密码查看器
2013-03-20
extremeTable
2007-09-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人