Pipeline ツール

Pipeline には Python をベースにした Pipeline ツールが同梱されています。

butler

butler は hscPipe で生成されたカタログや画像データを検索、ロードするためのツールです。 データの読み込み方法はデータの種類によって変わります。 例えば、CORR 画像 (パイプラインの内部では ‘calexp’ と呼ばれます) は [visit, ccd] を指定し、 マルチバンド解析後の forced_src カタログ (パイプライン内部では ‘deepCoadd_forced_src’) は [tract, patch, filter] を指定します。 出力ファイル名とパイプライン内部での呼び方の対応は hscpipe/6.7/stack/miniconda3-4.3.21-10a4fa6/Linux64/obs_base/6.7-hsc/policy/exposures.yaml, datasets.yaml, hscpipe/6.7/lsst_home/stack/miniconda3-4.3.21-10a4fa6/Linux64/obs_subaru/6.7-hsc+1/policy/HscMapper.yaml などに記載されています。 例えば、 生成データ確認の例 を butler を使って行おうとすると、以下のようになります。

# hscPipe6 をセットアップ
setup-hscpipe

# python を起動
python

# butler を呼び出すための python モジュール
>>> import lsst.daf.persistence as dafPersist
# ds9 モジュールの呼び出し
>>> import lsst.afw.display.ds9 as ds9

# butler の呼び出し
# 解析 rerun を指定する
>>> butler = dafPersist.Butler("~/HSC/rerun/[rerun]")

# CORR 画像 (calexp) を読み込み、ds9 で表示
>>> dataId = {'visit':22222, 'ccd':43}
>>> corr = butler.get('calexp', dataId)
>>> ds9.mtv(corr)

# SRC カタログを読み込む
>>> cat = butler.get('src', dataId)
>>> cat
# 出力
#       <lsst.afw.table.tableLib.SourceCatalog; proxy of <Swig Object of type 'lsst::afw::table::SortedCatalogT< lsst::afw::table::SourceRecord > *' at 0x7f66e0d924b0> >
>>> cat['base_SdssCentroid_x']
# 出力
#       array([  718.        ,  1912.86014728,  1530.75661309,   573.97121016,
        1207.51468474,   484.28527248,    53.33994211,  1079.15382039,
        652.99781412,  1008.24738213,  1183.51441946,  1865.93879445,
        ...
        1241.45153334,   733.9278414 ,   723.57418556,   863.39894481,
        863.75880726,   751.31009308,   755.85760008,  1659.56569431,
        1632.        ])

# ds9 上にプロットする
>>> xs = cat['base_SdssCentroid_x']
>>> ys = cat['base_SdssCentroid_y']
>>> for x,y in zip(xs,ys):
...     ds9.dot('o', x, y, size=30)

以下は各種データ (target) のまとめです。

butler target 例
Target Output file name note Type dataId
bias BIAS-[dateObs]-[ccd].fits BIAS データ ExposureF visit, ccd
dark DARK-[dateObs]-[ccd].fits DARK データ ExposureF visit, ccd
flat FLAT-[dateObs]-[ccd].fits FLAT データ ExposureF visit, ccd
fringe FRINGE-[dateObs]-[ccd].fits FRINGE データ ExposureF visit, ccd
calexp CORR-[visit]-[ccd].fits sky引き込み１次処理済みデータ ExposureF visit, ccd
src SRC-[visit]-[ccd].fits 1次処理済データから作られる天体カタログ SourceCatalog visit, ccd
wcs wcs-[visit]-[ccd].fits mosaic 後の WCS 座標ファイル ExposureI tract, visit, ccd
fcr fcr-[visit]-[ccd].fits mosaic 後のフラックススケールファイル ExposureI tract, visit, ccd
deppCoadd_calexp calexp-[filter]-[tract]-[patch].fits 全 visit を足し上げたサイエンスイメージ ExposureF tract, visit, ccd
deepCoadd_forced_src forced_src-[filter]-[tract]-[patch].fits マルチバンド解析の最終測光カタログ SourceCatalog tract, visit, ccd