- 博客(27)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 StarFS并行文件系统强大特性-管理篇
StarFS并行文件系统强大特性-管理篇StarFS是星实推出的面向海量数据存储场景的并行文件系统。具有非常强大的特性。可线性高效地扩展性能的存储随着数据的增长，您的存储应快速且经济高效地扩展。StarFS是一直支持无限扩展的分布式存储，具有很低的消费和最小的管理支出。StarFS出色的性能让用户更快的获取结果，加快工作流程，提高用户的生产效率。令人惊讶的简单管理星实StarFS提供单点管理系统，用户可以通过单个web界面管理整个系统和数据。StarFS管理系统保证了效率、强大的线性性能
2021-01-25 14:36:32
438
原创 “星”技术|星实StarFS完成鲲鹏+麒麟系统适配！
概述目前信创工作正在如火如荼的展开，星实目前也正在大力推进StarFS和StarNAS的国产化适配。在之前星实已经完成了StarFS申威平台的适配工作，StarFS并行文件系统在申威平台运行稳定并且能发挥不错的性能。StarFS on 鲲鹏+麒麟目前星实也完成鲲鹏CPU平台+麒麟操作系统的适配工作。StarFS在鲲鹏+麒麟平台上运行稳定，读写可靠。麒麟操作系统和StarFS挂载成功：鲲鹏CPU：面上获取到的cpu类型：关于鲲鹏鲲鹏是华为计算产业的主..
2021-01-22 09:47:09
451
1
原创 星方案｜StarFS文件系统支持海量视频媒体业务存储
概述视频媒体内容日常分发是为了确保视频媒体数据在您需要的时间和地点以应用程序所需的方式和接口随时可以调用，这就需要一个文件&对象存储解决方案，并且该解决方案需要对媒体工作流有深入的了解和全面的支持：从制作到后期制作、内容分发、媒体资产管理和数据归档。面向媒体和娱乐的云存储面临的挑战StarFS了解媒体创作者和内容发行商所需的性能、可扩展性和内容管理的重要性。视频存储的挑战难以集中存储海量数据1、数据量庞大：更高的分辨率（4K和8K）、更高的位深度（HDR）、更高的帧速率（
2021-01-22 09:26:16
205
1
原创 “星”技术|StarFS展现强大的软件定义文件存储服务
StarFS提供强大文件服务作为由软件定义的文件存储解决方案，StarFS为客户提供了最大的灵活性和性能，消除了硬件绑定、显着降低了存储成本、并简化了存储管理和扩展。StarFS能提供多种部署方式：物理机部署、公有云部署、虚拟化部署。StarFS并行文件系统支持NFS、SMB、客户端、S3、iSCSI、FTP等多种存储访问方式，包括多种高级功能。例如通过多协议客户端同时访问，这使StarFS并行文件系统可以为混合的Windows和Linux环境以及VMware和Hyper-V虚拟化环境提供高性能、高
2020-12-01 15:38:31
138
原创 “星”方案|StarFS助力三甲医院解决海量PACS文件存储难题
概述影像数据是医疗行业数据存储重点，据统计医院中80%的数据都是影像数据。根据《医疗机构管理条例实施细则》第53条要求：门诊影像数据保存期不少于15年，住院影像数据保存期不得少于30年。实际上医院通常不区分门诊和住院数据，超期后也不会删除，长期保存占用空间较大。一个三甲医院一年的影像数据会达到几十TB，大的医院甚至会达到上百TB，长影像数据规模都会达到PB级别，此以往医院中如何存储、管理这些PB级别的影像数据是一个难题。存储难题海量的PACS数据需要大容量存储传统存储的硬件兼容性封闭，后
2020-11-27 13:55:21
459
原创 “星”技术|StarNAS发布面向海量小文件杀手锏技术
概述当今各行各业每天都有海量的数据产生。据IDC预测达到2025年，全球将总共产生175ZB的文件。接下去5年的时间内产生的数据量将会比过去几十年人类产生数据量总和还多。这些数据中大部分都将是非结构化数据，其中图片这种偏小的文件也有很大一部分。海量小文件是存储界的难题，通常小文件是指大小在1MB以下的文件，百万以上我们称为海量。由此会有非常严重的海量小文件存储问题。海量小文件通常带来管理难、检索慢、访问延时高、数据恢复慢、数据迁移慢等难题。StarNAS的创新解决手段——container小
2020-11-24 08:42:49
138
原创 “星”方案|StarNAS高性能NAS存储系统支持GPU计算业务数据存储
概述StarNAS 存储系统是为解决存储服务类型多样、存储容量需求中等而量身定制研发的一款多功能一体化高性能存储设备。底层采用了StarFS并行文件系统，可按需配置单机或者双机模式，保障365*24小时安全可靠的运行。StarNAS具有高性能特点，及其小文件聚合功能，能加速GPU的计算。更多StarNAS介绍，请看："星"产品|全能StarNAS大显身手方案配置存储配置方案 ...
2020-11-10 10:17:11
236
原创 “星”方案|StarFS并行文件系统支持GPU计算数据存储
概述GPU以其强大的多核计算能力，已经成为研究者们进行人工智能计算的利器。GPU计算时并行算法运行会对存储有非常高的性能需求。另一方面，研究的数据都是宝贵的，需求完善的高可用存储来进行存储。星实推出的StarFS和StarNAS是满足GPU计算中存储需求的完美选择！StarFS解决方案方案介绍StarFS并行文件系统是一个性能为中心，围绕简单易用、易安装以及易管理而设计的领先并行文件系统。具有高性能、高可靠、出众的小文件性能等诸多特点。能很好的适应 ...
2020-11-10 10:13:34
302
原创 StarOS 对象存储支持海量数据
星实对象存储大数据时代的来临，数据爆炸式增长，数据的使用模式也在发生转变，传统架构的存储系统（DAS/NAS/SAN）在实际应用中逐渐遇到了性能、数据共享、扩展能力等方面的诸多问题，已经不能满足用户需求。上海星实信息技术有限公司针对这些问题，研发了构建于通用硬件之上的高性能、高可靠、高可扩展的新型分布式存储管理软件—— 星实对象存储系统（以下，简称StarOS）。应用StarOS，用户可以采用通用服务器、普通的SATA/SAS硬盘以及主流以太网络来构建媲美传统企业级存储产品的海量存储系统。对象存储.
2020-10-30 10:31:11
350
原创 星方案|StarFS加速生命科学研究
概述生物学是一门研究生物的结构、功能、发生和发展规律的科学，也是和人们日常生活最为密切的学科。当今的生物学研究早已离不开计算机的帮助，蛋白质结构研究，药物研究，生物信息学等场景，高性能计算都发挥了不可替代的作用，帮助研究者更好的从事药物设计、疫苗开发、处理基因数据，精准医疗研究等工作。这里我们以蛋白质研究为例，蛋白质研究是结构生物学中的一大研究领域。结构生物学通过研究生物大分子的结构与运动阐明生命现象的科学。药物设计、疫苗开发和蛋白质分子性能改造等应用领域都以结构生物学的研究成果为基础。主要采用三维
2020-10-30 10:28:14
177
1
原创 星方案|StarFS并行文件系统加速深度学习研究
概述深度学习是人工智能领域的一个新概念，在2006年由Hinton等人提出。深度学习通过建立模拟人脑进行分析的神经网络达到学习的目的，由于深度学习在语音识别、目标检测和计算机视觉等诸多领域相比于传统的机器学习方法有着突破性的进展，所以深度学习技术在学术界和工业界越来越火热。如今深度学习已经成为机器学习领域最具前景的方向之一，并且在语音、视觉、文本等多个方面取得了突破性的成果。深度学习与传统的神经网络最大的区别在于，它并不使用较“浅”，而是选择非常深的网络结构。这些非线性的神经元经过恰当的训练后.
2020-10-30 10:24:39
213
1
原创 StarFS方案 | 并行存储加速影视动漫渲染
概述日常生活中的电影、电视、动画、游戏，都离不开渲染，可以说渲染是与人们日常生活中最为贴近的高性能计算（HPC）应用之一。渲染在计算机绘图中是指：将模型（3D模型）变换为图像的过程，模型是用语言或者数据结构进行严格定义的二维、三维物体的虚拟场景的描述，他包括几何形状、视点、材质、纹理、光线和阴影等多个参数。渲染是计算机图形学中最重要的研究课题之一，并且在实际应用领域它与其他技术密切相关，在图形流水线中，渲染是最后一项重要步骤，通过它得到模型与动画最终显示效果。每幅图片的渲染时间，根据模型复杂度的不同，从
2020-10-30 10:21:36
648
原创 星产品|全能StarNAS大显身手
多面手StarNAS 存储系统是为解决存储服务类型多样、存储容量需求中等而量身定制研发的一款多功能一体化高性能存储设备，可按需配置单机或者双机模式，保障365*24小时安全可靠的运行。该产品能提供NAS文件存储功能的同时按需提供IPSAN、对象存储、企业云盘、虚拟化、StarChat等诸多企业功能。StarNAS能够以入门级价格提供中高端存储的品质，具备远优于同等价位产品的可靠性、性能和扩展能力，即插即用，可以更好的支撑用户业务的快速发展。 ...
2020-10-30 10:13:24
243
1
原创 “星”讲堂|RAID重建时间那么长，如何受得了?
1TB的硬盘损坏，修复时间需要十几个小时，这如何受得了？糟糕的现状近几年以来，作为存储行业的从业者会听到信息中心管理员对于存储系统RAID硬件容错保护技术越来越多的抱怨，其中很突出的一个抱怨点就是“RAID掉盘以后重建rebuiding过程太漫长了”。笔者就数次了解到一块6TB+的硬盘一旦损坏以后，整个RAID组开始做rebuid重建的时间超过20个小时。如果更大的硬盘更大的RAID组Rebuid重建时间甚至超过了一个星期...作为技术从业者会明白RAID重建时间长意味着什么：1.性能损.
2020-10-30 10:08:55
4161
1
原创 “星”技术 | StarNAS如何实现轻松的在线扩展容量
概述在各种电子数据大爆发的年代，作为数据中心基础三大件之一的存储系统也必须要随着业务需求而不断的扩展容量，否则完全无法跟上业务需要。从用户角度来看，如何扩容是一个需要非常重点考虑的问题。因为扩容涉及到成本、便捷程度、对于业务系统的影响、扩容是否有上限等诸多因素。文件数据占据了所有数据总量的60%以上。从文件存储来看，传统的NAS往往会在扩展容量的时候碰到以下几个常见的问题：无法无缝在线扩容很多常见的NAS存储系统底层采用了常见的Ext3、Ext4、XFS等文件系统来管理存储卷上面.
2020-10-30 10:04:25
180
原创 “星”方案 | StarNAS的轻量级超融合能力简化数据中心
中小型企业面临的挑战目前信息中心云化的发展逐渐成为一个趋势，很多大企业的数据中心都开始采用分布式架构、虚拟化、分布式存储等技术来实现资源的弹性化构建、分配、使用，以求集约化的构建、管理和使用基础资源。那么是否所有的客户都能轻易采取这种庞大的架构来获取这些特性？答案是否定的。当前很多企业如果要采用云化的信息中心架构往往会比使用传统的架构花费更多的费用，因为原来就只有为数不多的几台设备，规模大了反倒不经济。StarNAS提供创新解决方案StarNAS存储系统采用全新的...
2020-10-30 10:00:49
157
原创 “星”技术|StarNAS如何实现轻松的在线扩展容量？
背景概述在各种电子数据大爆发的年代，作为数据中心基础三大件之一的存储系统也必须要随着业务需求而不断的扩展容量，否则完全无法跟上业务需要。从用户角度来看，如何扩容是一个需要非常重点考虑的问题。因为扩容涉及到成本、便捷程度、对于业务系统的影响、扩容是否有上限等诸多因素。文件数据占据了所有数据总量的60%以上。从文件存储来看，传统的NAS往往会在扩展容量的时候碰到以下几个常见的问题：无法在线扩容很多常见的NAS存储系统底层采用了常见的Ext3、Ext4、XFS等文件系统来管理存储卷上面的本地文件系
2020-10-28 16:31:22
204
原创 “星”技术|StarNAS的性能优化详解
挑战存储系统的数据读写性能对于业务系统的效率至关重要。当前计算机的处理能力一直跟随者摩尔定律的节奏持续进化发展，计算能力在不断的提升。计算能力也迫切的需要数据访问性能的提升来与之匹配。如果存储系统性能不足，那么会导致庞大的计算处理能力挂起处于等待状态，浪费大量的计算资源。传统RAID性能瓶颈传统存储系统使用RAID技术来保护数据安全性。RAID技术也在一定程度上通过数据并发从多块硬盘上写入/读取数据来提升读写性能。由于RAID的机制原因，可以在一定程度上提升存储卷的读写性能。但是一旦针对该.
2020-10-28 16:29:13
196
原创 “星”技术|常见并行文件系统的高手大对决-安全篇
汹涌的后浪StarFS是星实推出的以性能为中心的并行文件系统，星实结合在文件系统领域的十多年经验结晶。系统通过元数据集群，系统容量最大可以扩展到EB级别，文件数量不限制。StarFS系统集高性能、高可靠、易维护为一体。主要结合存储的实际使用上，StarFS不同于现有常见HPC并行文件系统的安全性策略，具备能够大幅度提升数据安全性和文件系统服务连续性的功能特性。对于存储而言数据是安全是最为重要的，数据丢失对于任何用户都无法忍受。对于StarFS系统需要在保证数据安全性的情况下，提供足够高的性能。这
2020-10-28 16:27:39
276
1
原创 “星”方案|StarNAS支撑冷数据存储的优势
StarFS和StarNAS星实信息推出的StarFS并行文件系统和StarNAS存储一体机两个核心产品，分别面向了不同规模的海量文件存储场景：1）StarFS并行文件系统，是高性能、高可靠、易扩展的大规模并行文件系统。StarFS可以帮助客户构建数百PB甚至数千PB的统一名字空间的共享文件系统，支持用户高度并发、海量的文件数据存储；StarFS并行文件系统往往用来作为一级的高性能存储池；2）StarNAS存储一体机，单机内能够支持更加灵活的空间弹性，支持硬盘热插拔，无需重组RAID；StarN
2020-10-28 16:25:23
211
原创 “星”技术|StarFS完成申威26010兼容性测试
星实坚持走自主创新路线星实一直大力坚持自主开发，力争掌握所有核心技术点。近期已经与申威26010CPU+深度操作系统完成兼容性测试。测试结果表明，StarFS与申威CPU兼容性良好，系统功能正常，运行稳定。整体性能达到X86平台的70%以上。这将为政企客户提供纯国产化的软件定义存储系统方案，加速各行业的深度国产化系统落地。星实基于StarFS并行文件系统以及申威服务器，目前已经推出完全自主可控的高性能集群存储系统、高性能NAS存储系统、IPSAN、云盘一体机、超融合系统等产品和方案。关于申威
2020-10-28 16:23:34
241
原创 StarFS讲堂|什么才是并行文件系统？
概述文件系统是操作系统用于明确存储设备上文件的方法和数据结构，即在存储设备上组织文件的方法，是平常最常见、最简单的使用存储的方式。并行文件系统是文件系统一种，常用于高性能计算领域，能支持数据的并行读写。并行文件系统能很好的支持并行计算，支持并行计算的大规模数据读写。并行计算或称平行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的
2020-10-28 16:21:21
1943
1
原创 “星”技术|如何实现PB级数据快速跨存储/跨机房迁移？
海量数据迁移是一大难题在具有海量文件数据场景的大企业中，后台运维部门经常会碰到庞大的数据迁移需求和问题，比如将A机房中的文件数据要复制或者迁移到B机房中，或者只是将A存储系统中的文件数据迁移到B存储系统中。如果只是有数TB的数据，那还可以通过手工之类的办法实现复制和推送，一旦数据量达到数百TB甚至数PB的量级。那么如何将这么多数据进行安全、快速、高效、平滑的搬迁会是非常庞大的工程。StarFS具备强力解决方案星实公司在为诸多具有数PB甚至数十PB海量文件数据的客户提供并行文件系统产品和.
2020-10-28 16:04:20
453
1
原创 StarNAS的RAID重建速度实测:1.1TB 36分钟完成！
StarNAS是星实推出的多功能存储一体机，具有灵活得伸缩能力、多种企业级功能、高可靠性、高并发、超高小文件访问效率。RAID数据重构速度也是StarNAS高性能的体现之一。StarNAS的StarRAID特性能提升数据重构为传统RAID的十倍以上。本文将讲述一次StarNAS的实际恢复速度测试，来给大家真实展示：准备工作先通过iozone工具往存储内写入数据，将每块盘的数据写到1.1TB以上。（24块盘）客户端挂载情况直接拔除一块硬盘拔盘的动作会直接触发DAID数据重构。
2020-10-28 15:59:06
1951
转载 日常脚本二——重复数据删除
这个脚本是自己写的用作删除文件夹中重复文档的脚本； 参考了网络上的一个linux教程。 利用了相同文件的文件检验和相同的原理； 主要linux命令： 1、awk 2、tee 3、md5sum 4、comm 下面是脚本:#!/bin/bash ls -lS |awk 'BEGIN{ getline;getline; name1=$9;size=$5 } {
2016-04-29 11:48:16
704
原创 linux日常脚本一
#脚本作用 检查系统中运行的程序这里写代码片#!/bin/bash clear Process_name=1 check_process(){ ps -fe |grep1 check_process(){ ps -fe |grep Process_name|grep -v grep >/dev/null if [ ?−ne0]thenecho“GoandStart“? -ne 0
2016-04-22 17:44:02
293
空空如也
windous连接iscsi时发现不了目标。
2015-12-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人