hscPipe チュートリアル

HSC pipeline (hscPipe) は国立天文台、Princeton 大学（アメリカ）、 東京大学カブリ数物連携宇宙研究機構と共同で開発された HSC データ解析ソフトウェアで、 LSST（Large Synoptic Survey Telescope）用解析 pipeline をベースに作られています。 解析で使用するコマンドは python script の様式で記述されています。

hscPipe は HSC 生データから、較正済み画像と天体カタログを作成します。基本的な手順は以下のようになります。

1. 解析の準備 (生データのダウンロードと解析前の準備)

2. 1次解析用データの準備 (Bias, Dark, Flat, Fringe, Sky データの作成)

3. CCD 解析 (CCD ごとに1次処理を行う)

4. 位置とフラックススケール決定

5. 天体データの足し合わせ

6. マルチバンド解析

初めて hscPipe を使って解析を行う方はまず下記の リポジトリ構造 と hscPipe 用語集 を確認して下さい。 手順通りに解析を行うためには、右サイドバーの Next Step に従って進めて下さい。 hscPipe7 で対応している filter については hscPipe7 filter 対応表 をご覧下さい。

---

リポジトリ構造

~/HSC                           # 解析ディレクトリ
|--_mapper
|--registry.sqlite3             # 全データのレジストリ
|--DOMEFLAT
| └--[dateObs]
|   └--[pointing]
|     └--[filter]
|       └--HSC-[visit]-[ccd].fits
|
|--[field]
| └--[dateObs]
|   └--[pointing]
|     └--[filter]
|       └--HSC-[visit]-[ccd].fits
|
|--CALIB        # 1次処理用データディレクトリ
| |--calibRegistry.sqlite3      # 1次処理用データレジストリ
| |--BIAS       # BIAS データ
| | └--[dateObs]
| |   └--NONE
| |     └--BIAS-[dateObs]-[ccd].fits
| |--DARK       # DARK データ
| | └--[dateObs]
| |   └--NONE
| |     └--DARK-[dateObs]-[ccd].fits
| |--FLAT       # FLAT データ
| | └--[dateObs]
| |   └--[filter]
| |     └--FLAT-[dateObs]-[filter]-[ccd].fits
| |--FRINGE     # FRINGE データ
| | └--[dateObs]
| |   └--[filter]
| |     └--FRINGE-[dateObs]-[filter]-[ccd].fits
| |--SKY     # SKY データ
| | └--[dateObs]
| |  └--[filter]
| |    └--SKY-[dateObs]-[filter]-[ccd].fits
| |--STRAY_LIGHT
| |     └--ybackground-[ccd].fits
| └--BFKERNEL
|   └--brighter_fatter_kernel.pkl
|
|--ref_cats     # アストロメトリ用リファレンスカタログ
| └--ps1_pv3_3pi_20170110
|--transmission # transmission curve用ディレクトリ
| └--atmosphere.fits
| └--filter-[filter].fits
| └--optics.fits
| └--sensor-[ccd].fits
|
└--rerun
  |--[本解析 rerun]
  | |--repositoryCfg.yaml
  | |--config           # 解析パラメータディレクトリ
  | | |--packages.pickle
  | | |--singleFrameDriver.py
  | | |--mosaic.py もしくは jointcal.py
  | | |--skyCorr.py
  | | |--coaddDriver.py
  | | |--multiBandDriver.py
  | | └--forcedPhotCcd.py
  | |--schema           # カタログの構造を定義するスキーマファイルがあるディレクトリ
  | | |--src.fits
  | | |--icSrc.fits
  | | |--deepCoadd_det.fits
  | | |--deepCoadd_meas.fits
  | | |--deepCoadd_peak.fits
  | | |--deepCoadd_forced_src.fits
  | | |--deepCoadd_mergeDet.fits
  | | |--deepCoadd_deblendedFlux.fits
  | | |--deepCoadd_deblendedModel.fits
  | | └--deepCoadd_ref.fits
  | |--[pointing]
  | | └--[filter]
  | |   |--output       # CCD 毎の１次解析時に作成される各種カタログが置かれるディレクトリ
  | |   | |--ICSRC-[visit]-[ccd].fits
  | |   | |--SRC-[visit]-[ccd].fits
  | |   | |--SRCMATCH-[visit]-[ccd].fits
  | |   | |--SRCMATCHFULL-[visit]-[ccd].fits
  | |   | └--[tract]
  | |   |   └--CALSRC-[visit]-[ccd].fits
  | |   |--corr # CCD 毎の1次解析時に作成される画像データが置かれるディレクトリ
  | |   | |--CORR-[visit]-[ccd].fits
  | |   | |--BKGD-[visit]-[ccd].fits
  | |   | |--skycorr-[visit]-[ccd].fits
  | |   | └--calexp-[visit].fits
  | |   └--singleFrameDriver_metadata
  | |     └--[visit].boost
  | |--deepCoadd
  | | |--skyMap.pickle  # トラクト定義ファイル
  | | └--[filter]
  | |   └--[tract]
  | |      |--[patch].fits
  | |      |--[patch]_nImage.fits
  | |      └--[patch]
  | |        |--psfMatchedWarp-[filter]-[tract]-[patch]-[visit].fits
  | |        └--warp-[filter]-[tract]-[patch]-[visit].fits
  | |--jointcal-results # jointcal.pyによるモザイク結果の出力ファイルが置かれるディレクトリ
  | | |--[tract]
  | | | └--fcr-[visit]-[ccd].fits
  | | └--[filter]
  | |   └--[tract]
  | |      |--jointcal_photoCalib-[visit]-[ccd].fits
  | |      └--jointcal_wcs-[visit]-[ccd].fits
  | └--deepCoadd-results        # coaddDriver と multiBandDriver の結果が出力されるディレクトリ
  |   |--[filter]
  |   | └--[tract]
  |   |   └--[patch]
  |   |     |--det_bkgd-[filter]-[tract]-[patch].fits
  |   |     |--det-[filter]-[tract]-[patch].fits
  |   |     |--calexp-[filter]-[tract]-[patch].fits
  |   |     |--srcMatch-[filter]-[tract]-[patch].fits
  |   |     |--srcMatchFull-[filter]-[tract]-[patch].fits
  |   |     |--meas-[filter]-[tract]-[patch].fits
  |   |     └--forced_src-[filter]-[tract]-[patch].fits
  |   └--merged
  |      └--[tract]
  |       └--[patch]
  |         |--mergeDet-[tract]-[patch].fits
  |         └--ref-[tract]-[patch].fits
  |--mosaic_diag_HSC-I  # mosaic.pyを使った場合にモザイク時に評価結果を出力するオプションを追加し、出力先を rerun 下にした場合。
  | └--[tract]
  |   |--coeffs.dat
  |   |--ccd.dat
  |   |--jcont_[visit].png
  |   |--ResPosArrow2D_[visit].png
  |   |--dpos.dat
  |   |--ResPosScatter.png
  |   |--PosDPos.png
  |   |--ccdScale.dat
  |   |--fcont_[visit].png
  |   |--dmag.dat
  |   |--MdM.png
  |   |--ResFlux.png
  |   |--DFlux2D.png
  |   └--catalog.fits
  └--[1次処理用rerun]
      |--repositoryCfg.yaml
      |--config
      | |--packages.pickle
      | |--bias.py
      | |--dark.py
      | |--flat.py
      | |--fringe.py
      | └--sky.py
      |--[pointing]
      | └--[filter]
      |   └--corr
      |     └--ICEXPBKGD-[visit]-[ccd].png
      └--postISRCCD
      |└--v[visit]-f[filter]
      |    └--c[ccd].fits
      └--focalplane
        |--BIAS
        |└--NONE
        |  └--BIAS-[date].fits
        |--DARK
        |└--NONE
        |  └--DARK-[date].fits
        |--FLAT
        |└--NONE
        |  └--FLAT-[date].fits
        |--FRINGE
        |└--NONE
        |  └--FRINGE-[date].fits
        |--SKY
        └--NONE
          └--SKY-[date].fits

hscPipe7 filter 対応表

hscPipe7 で対応している filter 表です。 これらのtransmission curveは ~/stack/miniconda3-4.5.12-1172c30/Linux64/obs_subaru/7.7.2-hsc+4/hsc/transmission/ にあります。 HSC の filter に関する詳細情報は Subaru Telescope - HSC filters を参照して下さい。 まだ対応していない filter での解析方法については Helpdesk までお問い合わせ下さい。

NB926、N400はtransmission curveはありますが、color termがパイプライン内で設定されていません。 こちらを参照してください; color termが設定されていないフィルタの解析。

Broad-band filters

Filter	Filter name in pipeline	hscPipe7 support
g	HSC-G	Yes
r	HSC-R	Yes
i	HSC-I	Yes
z	HSC-Z	Yes
y	HSC-Y	Yes
i2	HSC-I2	Yes
r2	HSC-R2	Yes

Narrow-band filters

Filter	Open from	hscPipe7 support	note
NB387	S16B	Yes
NB468	S16A	Yes
NB515	S15A	Yes
NB527	S16A	Yes
NB656	S16A	Yes
NB718	S16B	Yes
NB816	S15B	Yes
NB921	S15A	Yes
NB926	S17A	No	you need to add manually for singleFrameDriver.py or later
IB945	S17A	Yes
NB973	S17A	Yes
NB1010	S18A	Yes
NB400	S19A	No	you need to add manually for singleFrameDriver.py or later