正在智利建设的大型综合巡天望远镜(LSST)的相机是目前人类建造的最大数码相机,可捕捉整个南半球的天空,每晚产生的数据量达到15TB,10年期的运行预计会收集到60PB的数据,加上处理后的数据,数据总量将达到数百PB,仅对首次发布的数据而言,就需要约150 TFlops的计算能力。有效的数据管理并将数据转换为科学发现成为一个巨大挑战。
LSST数据管理系统需要能够:可靠地处理海量的数据;确保数据质量的一致性且无需手动干预;满足严格的近实时瞬态报警的需求;在最短十年的期限内能容纳科学与计算技术的演变;为全球不同用户团体提供LSST数据产品,LSST为此构建了一个三层结构的数据管理系统。 LSST数据管理系统的结构 LSST数据管理系统的三层结构分别为:基础设施层由计算、存储、网络硬件和系统软件组成;中间件层负责分布式处理、数据访问、用户接口和系统运行服务;应用层围绕数据产品组织,包括数据管道和产品及科学数据存档。 2 支撑数据管理系统的设施
LSST实验从相机和望远镜子系统间的接口获取原始数据,经过处理和分析后产生可供终端用户访问的数据产品。LSST的数据流经过三类数据管理设施到达终端用户站点,终端用户可以使用LSST数据或渠道资源在自己的计算基础设施上开展科学研究。
相关设施包括位于智利山顶的基地设施,位于美国的中央存档中心,多个数据访问中心和一个系统运行中心。LSST产生的数据通过高速光纤网从基地设施流向中央存档中心再流向数据访问中心。基地设施采集到的实验数据必须与其他LSST子系统交互并存储至中央存档中心;存档中心是一个高度可信和可用的超算数据中心,数据在这里被完整处理和再处理,存档中心也是一个主要的数据仓库将LSST数据反馈给科学社团。广泛用户可通过多个数据访问中心形成的网络以一种分层访问模式访问数据。系统运行中心则负责控制和监督数据管理系统。
下一篇:光反射让芯片性能更稳定