梅 盈,刘东浩,王 锋,3,邓 辉,戴 伟,3,季凯帆
(1.昆明理工大学云南省计算机技术应用重点实验室,云南 昆明 650500;2.中国科学院国家天文台,北京 100012;3.中国科学院云南天文台,云南 昆明 650011)
中国频谱射电日像仪FITS-IDI文件格式研究
梅 盈1,刘东浩2,王 锋1,3,邓 辉1,戴 伟1,3,季凯帆1
(1.昆明理工大学云南省计算机技术应用重点实验室,云南 昆明 650500;2.中国科学院国家天文台,北京 100012;3.中国科学院云南天文台,云南 昆明 650011)
我国新一代中国频谱射电日像仪(Chinese Spectral Radio Heliograph,CSRH)原始观测数据采用自定义格式,在进行后续处理与共享使用时必须转换相应的格式。在分析FITS-IDI(FITS Interferometry Data Interchange)格式的基础上,结合CSRH的实际观测模式与数据产出方式,定义与设计了符合项目情况的FITS-IDI格式及字段,并对FITS-IDI文件中若干字段的值如何获取、计算进行了深入讨论。根据定义生成的FITS-IDI文件已成功导入CASA软件,并可以进行后续处理。经过对CASA测量集文件的核实,证明了数据生成的正确性。本研究有效地推进了CSRH的建设工作,也对其他射电干涉阵数据存储有一定的参考价值。
中国频谱射电日像仪;FITS-IDI;数据存储
CN53-1189/P ISSN1672-7673
中国频谱射电日像仪是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备,将在厘米—分米波段首次对日冕进行层析观测,探测日冕大气,研究太阳活动的动力学性质。中国太阳射电日像仪分为低频阵(CSRH-I)与高频阵(CSRH-II)两部分。CSRH-I数据接收机每3 ms产生一个0.1 MBytes格式自定义的裸数据文件。为便于数据归档以及共享交流,将原始数据转换为标准格式是必要的。在前期,项目组尝试UVFITS格式[1],但该格式并非FITS标准格式,很多软件无法打开。本文在前期工作的基础上[1-2],进一步讨论了利用FITS-IDI文件的可行性。FITS-IDI文件可将射电干涉测量数据及其校准数据存储为一系列FITS二进制表。FITS-IDI格式符合FITS文件标准[3-4],一般用于VLBI的数据存储,如我国上海天文台VLBI观测中采用了FITS-IDI格式。但针对射电干涉阵的数据如何用FITS-IDI格式存储,国内外的资料均较少,特别是生成的文件导入CASA(http://casa.nrao.edu)后如何确保数据的正确性具有一定的难度。虽然国家天文台在FITS-IDI文档[4]中进行了一些说明,但缺少具体的例子,部分数据的定义与计算没有具体的说明,给中国太阳射电日像仪数据存储工作带来了较大的困难。
为了保障中国太阳射电日像仪的建设与今后的数据共享,本文在详细分析FITS-IDI文件格式的基础上,重点讨论了针对中国太阳射电日像仪的实际情况设计的字段,并详细介绍了FITS-IDI文件中部分关键数据的获取和计算方法。本文最终合成的FITS-IDI文件可完整地导入CASA软件,供中国太阳射电日像仪后续数据处理工作参考,并对其他射电干涉阵进行FITS-IDI格式存储有较好的参考价值。
太阳射电日像仪,采用的数字接收机输出格式为自定义格式,通过逐帧的方式向外进行数据发送,每一帧包括系统参数和相关处理结果。以CSRH-I低频阵为例,每3 ms生成一帧数据,每帧数据由帧头和数据组成,总数据量为0.1 Mbytes。一次完整的观测包括8帧,分别是(左旋、右旋)×(0.4~0.8 GHz,0.8~1.2 GHz,1.2~1.6 GHz,1.6~2.0 GHz),每帧里面包括1个波段,16个通道。
为满足FITS-IDI的存盘要求,考虑到上述格式,可以将一次观测数据认为是4个波段(Band)×2个极化(Polarization)×16个通道(Channel,每个通道25 MHz)。但在FITS-IDI存储中,如果将4个波段的全部数据一次存储到一个UV_DATA表中是不现实的,这是因为4个波段、不同极化的数据来自于不同的时间,简单的合并会导致各个采样时间的错乱。为保证数据的准确性,在FITS-IDI文件生成时,一次保存一个波段、一个极化和16个通道的数据是最合理的,也利于后续导入CASA中进行处理。
表1 主HDU表中的强制关键字Table 1 Mandatory keywords in the primary HDU
参考AIPS对干涉仪观测数据的保存格式[5],FITS-IDI文件包含两部分:主HDU(Header Data Unit)和二进制表(binary tables)。其中主HDU不存储任何数据信息,主要数据存储在二进制表中。首先指明FITS-IDI文件主HDU和二进制表头中必须包含的关键字,如表1和表2。
表2 FITS-IDI文件表头中的强制关键字Table 2 Mandatory keywords in a FITS-IDI table header
2.1 主HDU
与标准FITS的HDU一样,FITS-IDI文件的主HDU不存储数据信息。CSRH的主HDU包含表1和表2中所有关键字。由于主HDU中不存储任何数据,NAXIS=0,PCOUNT=GCOUNT=0。在FITSIDI文件主HDU的强制关键字中,必须将EXTEND、GROUPS的值置为T。
2.2 二进制表
要确保太阳射电日像仪的数据保存后可以导入CASA或其他常用射电软件中,所生成的FITS-IDI文件就需要保存几个重要的二进制表。CSRH是一个干涉阵,不像单天线射电望远镜一样需要进行扫描,观测时可以直接成像[6],因此,CSRH必须的5个二进制表如表3。对CASA源程序的分析表明,这5个表的数据可以正常导入CASA。
上述每个表中包含头和数据,头表及数据表中包含一系列关键字。在这些关键字中,除了标准的FITS关键字以外,其他均采用自定义参数的方式描述定义。在下述各表中说明在太阳射电日像仪中需要定义的字段及其相应的计算方法。
2.2.1 天线(ANTENNA)表
太阳射电日像仪低频阵(CSRH-I)中,设有40根天线,编号为0-39,天线名为IA0-IA13、IB1-IB13、IC1-IC13。天线的相关信息存放在FITS-IDI文件的ANTENNA表中。在天线表表头中,除了表1和表2中的关键字外,另需加上表4中的两个关键字,其中EXTNAME=‘ANTENNA’,TABREV=1。由于天线位置固定,天线的信息与时间变化无关,设置字段TIME=TIME_INTERVAL=0。天线表的字段中存储天线的名称、编号及其相应的极化信息即可,具体信息如表5。
表3 CSRH FITS-IDI文件必须的二进制表Table 3 Binary tables required in a CSRH FITS-IDI file
表4 CSRH天线表头中需填入的信息Table 4 Mandatory keywords in a CSRH ANTENNA table header
表5 CSRH天线表的字段及其值Table 5 Mandatory columns and their set values in a CSRH ANTENNA table
2.2.2 ARRAY_GEOMETRY表
太阳射电日像仪的每一根天线都有其相应的坐标值,应对其具体位置进行存储。在ARRAY_GEOMETRY表中存放了天线坐标信息及时间系统信息,其表头中除包含表1和表2的信息外,需加上表6中的关键字。在ARRAY_GEOMETRY表头中,EXTNAME=“ARRAY_GEOMETRY”,TABREV=1,其中尤为关键的是ARRAYX、ARRAYY、ARRAYZ值的设置。太阳射电日像仪天线的位置坐标是通过全球定位系统与激光测距方法获得的WGS84坐标系下的相对位置,在FITS-IDI文件中应当转换到ITRF坐标。
表6 CSRH ARRAY_GEOMETRY表头中的强制关键字及其值Table 6 Mandatory keywords and their set values in a CSRH ARRAY_GEOMETRY table header
太阳射电日像仪天线坐标的具体信息(经过坐标转换后的值)存放在ARRAY_GEOMETRY表中的STABXYZ字段。需要注意的是,FITS-IDI中存储的是天线位置的偏移,在太阳射电日像仪中,存储为相对于0号天线的偏移值。ARRAY_GEOMETRY表中的字段及部分值如表7。
表7 CSRH ARRAY_GEOMETRY表中的字段Table 7 Mandatory columns in a CSRH ARRAY_GEOMETRY table
2.2.3 频率(FREQUENCY)表
频率表用来存放频率设置的相关信息,在一个完整的FITS-IDI文件中频率表最多设置一个。如果在UV_DATA表中设置了“FREQID”这个随机参数,则FITS-IDI文件中必须有频率表。频率表表头中的关键字包含表1、表2的内容即可,其中EXTNAME=‘FREQUENCY’,TABREV=1。
如前所述,一次完整采样过程会保存为8个FITS-IDI文件。因此在写入数据时,固定FREQID为1,而通过改变头中的REF_FREQ数据来标记频率信息。在CSRH中,将FREQUENCY表的字段定义如表8。
2.2.4 源(SOURCE)表
源表主要用于存储观测目标的相关信息,如名称、赤经、赤纬、参考系、流量等。现阶段太阳射电日像仪观测目标为太阳,即SOURCE=“sun”。源表头中的关键字同表1、表2列出的关键字一致,其中EXTNAME=“SOURCE”。源表中的字段定义如表9,暂时无需存储的信息设置为0。
表8 CSRH频率表中的字段及其值Table 8 Mandatory columns and their set values in a CSRH FREQUENCY table
表9 CSRH源表中定义的字段及其值Table 9 Mandatory columns and their set values in a CSRH SOURCE table
2.2.5 UV_DATA表
FITS-IDI文件的主要内容是可见度数据,也就是观测产出的裸数据文件的主要内容。如前所述,CSRH中每3 ms生成一个数据帧,并在裸数据中存有该帧数据获得的精确时间。为不丢失时间的精确性,将每一帧数据存放于一个UV_DATA表中,精确时间存放在TIME字段。CSRH的UV_DATA表头中存储的信息除表1和表2之外,还包含了表10的关键字。
表10 CSRH UV_DATA表头中的关键字Table 10 Mandatory keywords in a CSRH UV_DATA table header
分析CSRH的裸数据文件,其天线的相关信息是观测到的主要数据,这些数据以复数的形式存放。因此,应存放相应的数据信息,如数据的类型、极化信息、频率等。在UV_DATA表头中,设置了6个常规轴,详细存储信息如表11,UV_DATA中的字段定义如表12。
表11 CSRH UV_DATA表头的常规轴及其值Table 11 Keywords and their values for commonly used data-frame axes in a CSRH UV_DATA table header
表12 CSRH UV_DATA表内容中的定义的字段Table 12 Definitions of keywords in a CSRH UV_DATA table
3.1 UV_DATA表中的UU、VV、WW的计算
3.1.1 基线及基线矢量的计算
太阳射电日像仪中定义:
3.1.2 UVW的值
UVW的计算需要根据观测目标的时角和赤纬,并结合各天线的IRTF坐标进行计算。
由计算公式看出,UVW的值根据基线矢量、时角(H)和赤纬(d)计算得来,因此,在UV_DATA中共需存储780组数据。
3.2 UV_DATA表中的可见度数据FLUX
CSRH每3 ms接收的一帧数据中,包含的主要信息如下:
(1)帧接收的精确日期和时间(时间精确到纳秒)
(2)极化信息(同一帧数据在同一个极化方向)
(3)频段信息(同一帧数据在同一个频率段)
(4)天线间的互相关值(包含16通道)
(5)天线的自相关值(天线0-39在16个通道的自相关)
为把当前接收的信息精确存储到FITS-IDI文件中,将读出的精确时间写到UV_DATA表的TIME字段(而不是存储接收时间的中间时刻),日期写到DATA字段。与上文分析的UV_DATA表的行数(780)相符合,FLUX列中存储天线的互相关值。由于裸数据中相关值以复数表示,在FLUX中的每一行需存储两个相关天线在16个通道的互相关值(16个复数的实部和虚部,为32E)。
经过上述分析与计算,最后生成的FITS-IDI文件的格式如图1,其中每个表的列数为字段个数,行数上文已具体分析,每个表均以文件接收精确时间命名。为进一步确认生成的数据文件是否符合标准,项目中使用CASA对生成的FITS-IDI文件进行导入,并转换为MS格式。若成功生成MS文件,则可以验证生成的FITS-IDI文件格式正确。具体验证过程如下:
importfitsidi(fitsidifile=‘example.fits’,vis=‘example.ms’),其中fitsidifile为导入的FITS-IDI文件,vis为生成的MS文件。
经验证,生成的FITS-IDI文件可以成功导入CASA并转换为MS文件,验证了所生成的文件格式的正确性。
图1 CSRH最终生成的FITS-IDI文件(fv打开)Fig.1 An fv display of a FITS-IDI header(listing binary tables)generated by the CSRH
虽然FITS-IDI是一个较为成熟的FITS文件格式,但在底层将原始观测文件写入FITS-IDI文件并不是一件容易的工作。本文是太阳射电日像仪数据预处理系统中的重要工作,详细分析了FITS-IDI文件中各个关键表表头关键字和表中字段的值。最终生成的FITS-IDI文件可以正常导入CASA软件进行后续处理,证明了本文研究的正确性。本文除了可以满足太阳射电日像仪项目应用以外,也可以为其他射电望远镜合成FITS文件提供参考。
[1] 高姣姣,王锋,戴伟,等.面向射电日像仪的随机组结构剖析与文件设计[J].天文研究与技术——国家天文台台刊,2013,10(4):365-371.
Gao Jiaojiao,Wang Feng,Dai Wei,et al.An analysis of the random-group data format and a design of the data file structure for a solar radio heliograph[J].Astronomical Research&Technology——Publications of National Astronomical Observatories of China,2013,10(4):365-371.
[2] Yan Y,Zhang J,Wang W,et al.The Chinese spectral radioheliograph—CSRH[J].Earth,Moon,and Planets,2009,104(1-4):97-100.
[3] Hanisch R J,Farris A,Greisen E W,et al.Definition of the flexible image transport system (FITS)[J].Astronomy and Astrophysics,2001,376:359-380.
[4] Greisen E W,Harten R H.An extension of FITS for groups of small arrays of data[J].Astronomy and Astrophysics Supplement Series,1981,44:371-374.
[5] Greisen E W.The FITS Interferometry Data Interchange Convention—Revised[EB/OL].2011. www.aoc.nrao.edu/~egreisen/AIPSMEM114.PS.
[6] Thompson A R,Moran J M,Swenson Jr G W.Interferometry and synthesis in radio astronomy [M].2nd ed.Germany:Wiley-VCH Verlag GmbH&Co.KGaA,1994.
A Study of the FITS-IDI Format for the Chinese Spectral Radio Heliograph
Mei Ying1,Liu Donghao2,Wang Feng1,3,Deng Hui1,Dai Wei1,3,Ji Kaifan1
(1.Key Laboratory of Applications of Computer Technologies of the Yunnan Province,University of Science and Technology of Kunming,Kunming 650500,China,Email:meiying@cnlab.net;2.National Astronomical Observatories,Chinese Academy of Sciences,Beijing 100012,China;3.Yunnan Observatories,Chinese Academy of Sciences,Kunming 650011,China)
Raw data observed with the Chinese Spectral Radio Heliograph(CSRH)will be recorded in a self-defined format.For convenient distribution and use it is necessary to convert CSRH data files to be of other standard formats such as the FITS-IDI.After an in-depth analysis of the FITS-IDI data format,we present a proposal of mandatory and optional FITS-IDI fields for the CSRH.We also discuss calculation equations of values of several data fields,including the UU,VV,and WW.A FITS-IDI data file converted from a raw-data file has been input into the CASA software package,successfully resulting in a CASA file of integrated Measurement Sets(MS).The generating and subsequent processing of the CASA file demonstrate the correctness of the proposed CSRH FITS-IDI format.Our study could effectively advance the CSRH project and provide useful references for further research of data storage for other astronomical instruments.
Chinese Spectral Radio Heliograph;FITS-IDI;Data storage
TP274.2
A
1672-7673(2014)04-0388-08
2013-12-26;
2014-01-20
梅 盈,女,硕士.研究方向:计算机应用.Email:meiying@cnlab.net
王 锋,教授,研究方向:天文技术与方法.Email:wangfeng@cnlab.net