一种基于二维算法的新颖的多目标光纤光谱数据处理流程∗

张 博 叶中付徐 旭

(中国科学技术大学电子工程与信息科学系合肥230027)

一种基于二维算法的新颖的多目标光纤光谱数据处理流程∗

张 博 叶中付†徐 旭

(中国科学技术大学电子工程与信息科学系合肥230027)

郭守敬望远镜(Large Sky Area Multi-Object Fiber Spectroscopic Telescope, LAMOST)、斯隆数字巡天(Sloan Digital Sky Survey,SDSS)、英澳望远镜(Anglo-Australia Telescope,AAT)等大多数多目标光纤光谱望远镜现用的数据处理流程都是基于一维算法的.以LAMOST为例提出多目标光纤光谱数据处理流程方法.在LAMOST现用数据处理流程中,在预处理过程之后,通过基于一维模型的抽谱算法从二维观测目标光谱数据中得到一维抽谱结果作为中间数据.后续的处理步骤都基于一维模型的算法.然而,这种数据处理流程不符合观测光谱的形成机理.因此,在每个步骤中都引入了不可忽略的误差.为了解决这一问题,提出了一种还未被用于LAMOST及其他望远镜数据处理系统的新颖的数据处理流程.重新设计安排了各个数据处理模块的顺序,各关键步骤算法都是基于二维模型的.核心算法将详细论述.此外,列出了部分实验结果来证明二维算法的有效性和优越性.

望远镜,仪器:光谱仪,方法:数值,技术：图像处理,技术:分光镜

1 引言

郭守敬望远镜,即大天区面积多目标光纤光谱望远镜(Large Sky Area Multi-Object Fiber Spectroscopic Telescope,LAMOST)是大口径兼大视场光学望远镜的世界之最[1].

目前为止,LAMOST(http://www.lamost.org/public/dr/algotrithms/data-reducti on?locale=en)和斯隆数字巡天(Sloan Digital Sky Survey,SDSS)[2]、英澳望远镜(Anglo-Australia Telescope,AAT)的光谱仪系统(AAOmega spectrograph system)[3]、欧洲南方天文台(European Southern Observatory,ESO)的甚大望远镜(Very Large Telescope)的大型光纤阵列多目标摄谱仪(Fiber Large Array Multi Element Spectrograph, FLAMES)(ftp://ftp.eso.org/pub/dfs/pipelines/gira ff e/giraf-pipeline-manual-2.12.pdf)等多目标光纤光谱望远镜上所使用的数据处理系统,从总体上来说,都是基于一维算法的,也就是说,它们的主要处理步骤都在一维方向上处理数据.

然而,CCD相机上的二维观测光谱是由原始一维光谱通过光谱仪的光栅之后,以点扩展函数(point spread function,PSF)的形式将能量传递到邻近像素形成的.在空间方向,每根光纤的能量在每个波长位置以固定的PSF的形式扩散到邻近像素.因此在数据处理过程中空间和波长这两个方向不应分开进行.由此可知,之前的基于一维算法的数据处理流程是不合适的,忽略了空间方向和波长方向之间的相关性,破坏了数据的完整性,在每个步骤中造成了不可忽略的误差累计.

尽管某些算法在一定程度上改进了上述缺陷,但是没有从本质上在二维方向上进行从二维光谱到一维光谱的抽谱过程.部分算法在建立二维PSF模型之后仍然利用一维算法抽谱.例如,Piskunov和Valenti等人的最优抽谱算法[4−5],它在首次迭代中将流量叠加,忽视了波长方向的影响,后面的迭代过程无法弥补这一问题.也有算法建立二维PSF模型并在两个方向上进行抽谱,但是由于抽谱结果的振铃问题严重,不得不对解卷积后的抽谱结果重新卷积上矩阵回到与原始数据相同的二维光谱存储起来,不能求解出原始的一维光谱[6−7].

综上所述,根据二维观测光谱的形成机理,提出了一种新的基于二维算法的多目标光纤光谱数据处理流程.以LAMOST为例展示该系统流程.与现用的一维算法处理流程相比减小了误差.下面将详细论述所提的数据处理系统流程,包括关键步骤二维算法的核心思想.此外,给出了抽谱模块和减天光模块在LAMOST数据上的实验结果,并与之前LAMOST在用数据处理系统进行比较.

2 基于二维算法的光纤光谱数据处理系统流程

二维原始光谱数据的形成机理可用图1解释说明.

图1 CCD上的二维目标光谱的形成原理图Fig.1 Schematic diagram of formation mechanism of the 2-D observed spectra on CCDs

λ代表来自目标天体的原始一维光谱.为了在保证数据完整性的同时满足数学计算的要求,二维观测光谱中的像素点(x′,y′)组成的矩阵可以在波长方向上按列重新排列成一个向量Q.其中每个像素qi(i=1,2,···,N)是由每个对应的二维高斯PSF(Gji)映射到原始一维光谱上的每个像素点λj(j=1,2,···,M)而形成的.

图2分别列出LAMOST上正在使用的和提出的基于二维算法的光谱数据处理流程.

图2 多目标光纤光谱数据处理流程.左:LAMOST正在使用中的数据处理流程系统.右:所提算法数据处理流程系统Fig.2 Multi-object fiber spectral data processing procedure.Left panel:the using processing procedure on LAMOST.Right panel:the proposed processing procedure

提出的基于二维算法的数据处理流程步骤如下:

(1)首先进行预处理流程,如减本底,宇宙射线的检测和剔除,光纤追迹和一些参数的调控.

(2)用二维算法进行波长定标和流量定标.定标步骤在其他关键步骤之前实施可以提高光谱数据的处理精度.

(3)经过精确的定标之后,先进行基于二维模型的减天光过程,这样的安排可以在利用更多天光信息的同时,避免在抽谱步骤中引入误差影响减天光的精度.

LAMOST的每个光谱仪上有250根光纤,其中有10根是采样天光,skyi(x,y)(i= 1,2,···,10).对于在空间方向处于相同位置的切片,将它们按照波长值的大小重新排列,建立一条新的二维天光光谱sky′(x,y).这条新的二维天光光谱的天光采样率比原来的天光光谱提高了10倍.

(4)通过基于二维高斯(或二维指数多项式)模型的二维抽谱算法进行抽谱步骤,从获得的二维光谱中还原出原始一维光谱.

(5)最后进行光谱的合并,得到一维目标光谱.

3 光谱数据处理流程中关键步骤的二维算法

波长定标模块、减天光模块和抽谱模块是光谱数据处理流程中的关键步骤.它们的精确度决定了最终从系统中得到的一维目标光谱的真实性.下文中将对这些算法详细阐述.其他光谱数据处理模块(预处理模块、后续处理模块)与LAMOST现用光谱数据处理系统流程中所用方法相同,这里不再赘述.

3.1 二维波长定标算法

二维波长定标算法的主要步骤如图3所示.

图3 二维波长定标算法的流程图Fig.3 Flow chart of the 2-D wavelength calibration algorithm

(1)基于先验定标系数和定标灯谱表用插值法建立一维模拟定标灯谱.

(2)用对应的PSF将一维模拟定标灯谱扩展为二维模拟定标灯谱.

(3)对于二维模拟定标灯谱和实际定标灯谱在空间方向位置相同的对应光谱切片做相关运算.

(4)如果相关运算的结果大于设定的阈值,则定标系数的值设为当前切片的定标系数;否则回到步骤(1)重新调节定标系数.其中计算定标系数的方法可以参照参考文献[8-11].

(5)在所有切片(或所选的空间方向接近轮廓中心位置的切片)的定标系数都计算完毕之后,用加权平均法计算最终的定标结果.

3.2 基于二维天光背景模型的减天光算法

在建立新的二维天光光谱sky′(x,y)之后,对它的每个切片进行B样条曲线拟合,获得一条完整的一维天光光谱

其中,xk是B样条曲线的节点坐标.Bk,d(x)代表第k个d阶B样条基函数.Pk,y是空间分量y对应的拟合参数,即拟合控制点.

每个一维切片数据上的空间方向位置为y的40960个像素点作采样点,代入B样条曲线拟合函数,就获得了对应的线性方程组,然后可以通过最小二乘法和Cholesky分解法计算求解出相应的拟合控制点Pk,y.

按照上述的B样条曲线拟合方法,可以得到空间方向位置为y的天光切片根据空间方向位置合并所有的一维天光切片,就可以建立天光背景模型,即合并得到的完整的二维天光光谱sky′′(x,y).

对于每根二维目标光谱,按照光谱上的每个像素点对应的波长值在二维天光背景模型上插值查找,得到其对应的天光流量值并减去,便完成了减天光处理流程.二维减天光算法的细节描述可以参照参考文献[12].

3.3 基于二维高斯模型的抽谱算法

如第2部分和图1所阐述的,观测光谱的形成过程可以用公式表示为:

PSF(Gji)可以用二维高斯函数模型或二维指数多项式模型进行模拟.模型的参数可以分别通过对应的平场光谱图像和定标灯谱图像估计出来.模型的详细解释和证明可以参照参考文献[13-14].

方程(2)可以表示为矩阵形式:

抽取原始一维光谱的过程也就是求解二维光谱形成过程的逆过程.也就是说,通过求解方程(3)可以得到原始光谱λ.

为了解决参考文献[6-7]方法中的振铃问题,可以利用对偶约束的稀疏重建方法, GPSR-BB(Barzilai-Borwein Gradient Projection for Sparse Reconstruction)算法[15]求解方程.

考虑到多目标光纤光谱实测数据的特点,即除了部分特征光谱轮廓流量高达105,其他位置的连续谱流量相对很小(0–100).因此原始一维光谱可以看做是稀疏分布的.在保证求解方程(3)的最近似解的同时保持解的稀疏性,可以转化为如下二次规划问题:

其中,τ是一个非负参数.

(4)式中的算法涉及G和GT的子矩阵运算,因此在λ的非零解较少的情况下有效.原始一维光谱λ中的连续谱的流量值虽然较低,但是这些大量的非零值分量是不可忽略的.因此需要改进上述算法.

因此,上述抽谱问题可以转化为边界约束的二次规划问题(bound-constrained quadratic program,BCQP),将(4)式中的λ分解为正负两部分.

(5)式的详细求解过程可以参照参考文献[16].

4 LAMOST数据的实验结果

我们以LAMOST光谱数据为例证明所提多目标光纤光谱数据处理流程的有效性.为了着重验证数据处理流程中二维算法的效果,实验围绕流程中的关键步骤进行.下面将展示目前为止得到的抽谱模块和减天光模块的部分实验结果.

4.1 抽谱部分实验结果

为了验证二维抽谱算法的优越性,选取LAMOST光谱数据处理系统中正在使用的孔径抽谱算法(ftp://ftp.eso.org/pub/dfs/pipelines/gira ff e/giraf-pipeline-manual-2.12.pdf)和基于一维高斯模型的轮廓拟合算法[16]作为对比算法.实验中,为了更清晰地展示抽谱结果的光谱轮廓细节,选取整条光谱的一部分展示在图中.

为了验证二维抽谱算法的准确性和对噪声的稳定性,首先用LAMOST的模拟数据进行实验验证.这些模拟数据都是基于LAMOST系统的相关参数和光谱特征仿真生成的.分别在无噪声和噪声大小不同的条件下进行抽谱,抽谱结果如图4所示,图中流量值为归一化的结果.

图4 LAMOST模拟数据抽谱结果.SNR=10.31.(a)原始一维光谱;(b)孔径抽谱算法;(c)一维高斯轮廓拟合算法;(d)二维高斯抽谱算法Fig.4Extraction results of LAMOST simulated data.SNR=10.31.(a)The original 1-D spectrum;(b) the aperture extraction algorithm;(c)the profile fitting algorithm based on 1-D Gauss model;(d)the 2-D Gauss extraction algorithm

将抽谱结果量化进行客观评价,分别建立抽谱前光谱的信噪比(signal noise ratio, SNR)评价指标:

其中,qi代表二维观测光谱上像素点的流量值,代表去除噪声后的二维观测光谱上像素点的流量值.抽谱结果与真实的原始一维光谱的误差为:

其中,λj表示抽取出来的一维光谱,表示原始的一维光谱.误差ε的值越高,抽谱的结果和原始光谱越接近,即抽谱的精度越高.不同噪声条件下抽谱结果的误差列在表1.

为了证明算法的实用性,在LAMOST实测数据[17]上的实验结果如图5所示.虽然实测光谱数据的抽谱结果的理论值是不可知的,但是从图5中可以看出二维算法的抽谱结果光谱轮廓的半峰宽更窄,流量值更高.一维抽谱算法忽略了波长方向的影响,因此抽谱结果有轮廓扩展和未包含所有流量的问题.模拟数据的实验也可以参照参考文献[13-14].综合模拟数据和实测数据的实验结果可知,二维抽谱算法比一维抽谱算法更加精确.

图5 LAMOST实测数据抽谱结果.(a)孔径抽谱算法;(b)一维高斯轮廓拟合算法;(c)二维高斯抽谱算法;(d)(a)、(b)、(c)的细节Fig.5 Extraction results of LAMOST real data.(a)The aperture extraction algorithm;(b)the profile fitting algorithm based on 1-D Gauss model;(c)the 2-D Gauss extraction algorithm;(d)details of(a), (b),and(c)

4.2 减天光部分实验

实验是基于LAMOST实测数据仿真的模拟数据进行的.数据模型是严格按照LAMOST数据特征进行仿真的[17].LAMOST光谱数据系统中广泛使用的一维B样条曲线拟合减天光算法[2]作为对比实验算法.实验结果如图6所示.

基于二维天光背景模型的算法重建的天光光谱相比一维算法的结果更加光滑,毛刺更少.二维算法结果中的天光残差的毛刺幅度和数目都小于一维算法结果.更多的实验结果和比较可以参照参考文献[12].相比于LAMOST现用一维减天光算法,二维减天光算法可以更加有效地减天光.

表1 不同噪声条件下(SNR)的LAMOST模拟数据抽谱结果与原始光谱之间的误差(ε)Table 1 The errors(ε)under di ff erent conditions of noises(SNR)between the spectrum extraction result and the original spectrum on LAMOST simulated data

5 总结

本文提出了一种新的多目标光纤光谱数据处理流程.鉴于通过光谱仪获取的二维光谱数据的形成原理,处理流程中的所有算法都是基于二维模型的.对其中关键处理模块(波长定标,减天光,抽谱)的算法原理进行了详细的阐述说明.以LAMOST系统为例展示了所提光谱数据处理流程.基于LAMOST数据的部分实验结果证明了算法的有效性和优越性.综上所述,建议LAMSOT采用所提的基于二维算法的光谱数据处理系统,这将大大提高光谱数据处理的精度和有效性.此外,由于光谱仪成像的相似性,所提光谱数据处理流程也适用于其他望远镜系统.

[1]Cui X Q.Proc.SPIE,2006,626703:1

[2]Bolton A S,Burles S.NJPh,2007,9:443

[3]Sharp R,Birchall M N.PASA,2010,27:91

[4]Piskunov N E,Valenti J A.A&A,2002,385:1095

[5]Ritter A,Hyde E A,Parker Q A.PASP,2014,126:170

[6]Bolton A S,Schlegel D J.PASP,2010,122:248

[7]Schlegel D,Abdalla F,Abraham T,et al.2011,arXiv:1106.1706

[8]Ye G H,Zhu J,Ye Z F.PASA,2012,29:66

[9]Wang S,Qin H Q,Ye Z F.EA,2010,28:195

[10]叶根红,叶中付,祝佳.天文学报,2013,54:478

[11]Ye G H,Ye Z F,Zhu J.ChA&A,2014,38:272

[12]Zhu J,Ye Z F.PASA,2012,29:78

[13]Zhang B,Ye Z F,Xu X.ExA,2013,36:1

[14]Zhang B,Zhu J,Ye Z F.ExA,2012,33:211

[15]Figueiredo M A T,Nowak R D,Wright S J.ISTSP,2007,1:586

[16]Qin H Q,Ye Z F,Luo A L,et al.Proc.SPIE,2008,701934:1

[17]Zhao G,Zhao Y H,Chu Y Q,et al.RAA,2012,12:723

A Novel Spectral Data Processing Procedure on Multi-Object Fiber Spectral Data Based on 2-D Algorithms

ZHANG Bo YE Zhong-fu XU Xu
(Department of Electronic Engineering and Information Science,University of Science and Technology of China,Hefei 230027)

The data processing procedures currently used on most multi-object fiber spectroscopic telescopes,such as Large Sky Area Multi-Object Fiber Spectroscopic Telescope(LAMOST),the Sloan Digital Sky Survey(SDSS),the Anglo-Australia Telescope (AAT),etc.,are based on one-dimensional(1-D)algorithms.In this paper,LAMOST is taken as an example to display the proposed multi-object fiber spectral data processing procedure.In the using processing procedure on LAMOST,after the pretreatment process,the two-dimensional(2-D)observed raw data are extracted into 1-D intermediate data simply based on 1-D model.Then the subsequent key steps are all done by 1-D algorithms.However,this processing procedure is not in accord with the formation mechanism of the observed spectra.Therefore,it brings a considerable error in each step.To solve the problem,we propose a novel processing procedure that has not been used on LAMOST or other telescopes.The modules of the procedure are reordered,and the main steps are all based on 2-D algorithms.The principles of the core algorithms are explained in detail.Besides,some partial experimental results are shown to prove the effectiveness and superiority of the 2-D algorithms.

telescopes,instrumentation:spectrographs,methods:numerical,techniques:image processing,techniques:spectroscopic

P111;

:A

10.15940/j.cnki.0001-5245.2016.01.009

2015-05-21收到原稿,2015-08-11收到修改稿

∗国家自然科学基金项目(11078016)资助

†yezf@ustc.edu.cn