コマンドのパラメータについて

ざっくり言うと、このデータをこういう設定で処理してください、ということです。実際にどういったパラメータがあるのかは、

singleFrameDriver.py.py --help #(or -h)

で確認できます。この中で特に重要なものをひとつずつ見ていきます。

• –id: 解析を実行したいデータ ID を指定します。指定の方法は複数あり、そのうちのいくつかを紹介します。

  • visit: 観測ショット。

  • ccd: CCD のチップID。

  • field: 観測ターゲット名。FITS ヘッダーの OBJECT に相当。

  • filter: フィルター名。FITS ヘッダーの FILTER01 に相当。

    # visit, ccd 指定方法例
    --id visit=1000..1010:2 # これで「1000 から 1010 まで２つ飛びで」という指定になります。
    --id visit=1124^1130 # ^ を使うと離れた visit 番号のデータもまとめられます。
    --id ccd=1..8^10..103 # CCD 9番を除いて解析したい場合。
    --id visit=12246..12258:2^13344..13380:2 # データがたくさんある時はこんな風にも指定できます。
    

• –rerun: rerun とは HSC pipeline で使われる解析プロセスの概念です。ある共通の解析パラメータを用いて画像を生成するまでの一つの解析プロセスを rerun と呼んでいます。解析中の結果や中間ファイルはすべてこの rerun 名の下のディレクトリに保存されます。そのため、異なる解析パラメータを用いて画像を生成した場合は異なる rerun で解析が実行されたと見なされます。解析で使うパラメータを変えたり、違う領域を扱う場合は、新しい rerun で処理を行うことを推奨します。

• –config: config パラメータを変更したいときに指定します。

  • config パラメータは大量にあります。全てのパラメータを確認したい場合は、以下のようにします

    # constructFlat.py の config を確認したい時
    constructFlat.py [_mapper があるディレクトリ] --show config
    

• –clobber-config: 古い config ファイルを上書きするためのパラメータです。HSC パイプラインでは、コマンドが実行される度に、全ての config パラメータとパイプラインバージョンの情報が保存されます。ある rerun においてパラメータを変更して一度実行したコマンドを改めて実行すると、失敗する場合があります。この場合は –clobber-config を付けて実行しましょう。

• –batch-type: mosaic.py 以外のコマンドではバッチ処理 (ここでのバッチ処理とは、ジョブ管理システムにジョブをサブミットして処理を実行することを指します) が可能です。hscPipe コマンドではデフォルトでは pbs にジョブがサブミットされます。クラスター環境をお持ちの方は pbs を使うことをお勧めします。ローカルで走らせる場合は、smp を指定して下さい。

  # PBS にサブミットする場合 (1 ノードで 8 スレッド)
  --batch-type=pbs --nodes=1 --procs=8
  
  # ローカルマシンで走らせる場合 (8 スレッドで)
  --batch-type=smp --cores=8
  

さらに詳しいパラメータ情報は マニュアルページの HSC Pipeline コマンド全般 にあります。