Pipeline ツール¶
Pipeline には Python をベースにした Pipeline ツールが同梱されています。
butler¶
butler は hscPipe で生成されたカタログや画像データを検索、ロードするためのツールです。 データの読み込み方法はデータの種類によって変わります。 例えば、CORR 画像 (パイプラインの内部では ‘calexp’ と呼ばれます) は [visit, ccd] を指定し、 マルチバンド解析後の forced_src カタログ (パイプライン内部では ‘deepCoadd_forced_src’) は [tract, patch, filter] を指定します。 出力ファイル名とパイプライン内部での呼び方の対応は hscpipe/7.9.1/stack/miniconda3-4.5.12-1172c30/Linux64/obs_base/7.0-hsc+1/policy/exposures.yaml, datasets.yaml, hscpipe/7.9.1/stack/miniconda3-4.5.12-1172c30/Linux64/obs_subaru//7.7.2-hsc+4/policy/ などに記載されています。 例えば、 生成データ確認の例 を butler を使って行おうとすると、以下のようになります。
# hscPipe7 をセットアップ
setup-hscpipe
# python を起動
python
# butler を呼び出すための python モジュール
>>> import lsst.daf.persistence as dafPersist
# ds9 モジュールの呼び出し
>>> import lsst.afw.display.ds9 as ds9
# butler の呼び出し
# 解析 rerun を指定する
>>> butler = dafPersist.Butler("~/HSC/rerun/[rerun]")
# CORR 画像 (calexp) を読み込み、ds9 で表示
>>> dataId = {'visit':22222, 'ccd':43}
>>> corr = butler.get('calexp', dataId)
>>> ds9.mtv(corr)
# SRC カタログを読み込む
>>> cat = butler.get('src', dataId)
>>> cat
# 出力
# <lsst.afw.table.tableLib.SourceCatalog; proxy of <Swig Object of type 'lsst::afw::table::SortedCatalogT< lsst::afw::table::SourceRecord > *' at 0x7f66e0d924b0> >
>>> cat['base_SdssCentroid_x']
# 出力
# array([ 718. , 1912.86014728, 1530.75661309, 573.97121016,
1207.51468474, 484.28527248, 53.33994211, 1079.15382039,
652.99781412, 1008.24738213, 1183.51441946, 1865.93879445,
...
1241.45153334, 733.9278414 , 723.57418556, 863.39894481,
863.75880726, 751.31009308, 755.85760008, 1659.56569431,
1632. ])
# ds9 上にプロットする
>>> xs = cat['base_SdssCentroid_x']
>>> ys = cat['base_SdssCentroid_y']
>>> for x,y in zip(xs,ys):
... ds9.dot('o', x, y, size=30)
以下は各種データ (target) のまとめです。
Target |
Output file name |
note |
Type |
dataId |
|---|---|---|---|---|
bias |
BIAS-[dateObs]-[ccd].fits |
BIAS データ |
ExposureF |
visit, ccd |
dark |
DARK-[dateObs]-[ccd].fits |
DARK データ |
ExposureF |
visit, ccd |
flat |
FLAT-[dateObs]-[ccd].fits |
FLAT データ |
ExposureF |
visit, ccd |
fringe |
FRINGE-[dateObs]-[ccd].fits |
FRINGE データ |
ExposureF |
visit, ccd |
calexp |
CORR-[visit]-[ccd].fits |
sky引き込み１次処理済みデータ |
ExposureF |
visit, ccd |
src |
SRC-[visit]-[ccd].fits |
1次処理済データから作られる天体カタログ |
SourceCatalog |
visit, ccd |
wcs |
wcs-[visit]-[ccd].fits |
mosaic 後の WCS 座標ファイル |
ExposureI |
tract, visit, ccd |
fcr |
fcr-[visit]-[ccd].fits |
mosaic 後のフラックススケールファイル |
ExposureI |
tract, visit, ccd |
deppCoadd_calexp |
calexp-[filter]-[tract]-[patch].fits |
全 visit を足し上げたサイエンスイメージ |
ExposureF |
tract, visit, ccd |
deepCoadd_forced_src |
forced_src-[filter]-[tract]-[patch].fits |
マルチバンド解析の最終測光カタログ |
SourceCatalog |
tract, visit, ccd |