hscPipe8 のインストール方法¶
Note
このページは HSC pipeline バイナリ配布所 をもとに作成されています。パッケージの詳細についてはそちらを参照して下さい。
動作環境¶
300 ショット分のデータを解析したい場合、以下のような環境が必要になります。
| スペック | コメント | |
|---|---|---|
| CPU | x86_64 | |
| コア数 | 12 | |
| メモリ | 64 GB | 広い領域を観測したデータを解析したい場合はさらに必要 |
| HDD | 10 TB | 300 ショット × オブジェクト の場合 |
ダウンロード¶
プログラム（インストール用バイナリパッケージ、OSによってはビルドスクリプトも）とレファレンスデータファイル（アストロメトリカタログ、Yバンド迷光パターンファイル）をダウンロードする必要があります。
バイナリパッケージ¶
CentOS 7 の場合、バイナリパッケージを使ってインストールできます。 その他の OS をお使いの方は LSST のインストールマニュアル に従ってインストールすることができます (詳細は ソースからビルドする場合)。
現在配布している最新のパッケージはバージョン 8.5.3 ですが（2021年10月）、本ドキュメントではHSC-PDR3 (Aihara et al. 2021) で使用されている8.4を使用するものとします。hscPipe 8.4 のバイナリパッケージとビルドスクリプトは以下から取得できます。
| OS | リンク |
|---|---|
| CentOS 7 | DL |
| build script | DL |
アストロメトリ用カタログ¶
カタログは Pan-STARRS reference catalog in LSST format からダウンロードできます。 このページでは、すべてのファイルを取るのではなくサブセットのみを取ることを推奨しています。 全ファイルが欲しい場合は、reference-ps1_pv3_3pi_20170110.tar.xz をダウンロードして下さい.
Yバンド迷光パターンファイル¶
HSC Yバンドには迷光パターンがあり、取り除く処理が必要になります（ https://community.lsst.org/t/y-band-stray-light-correction-for-hsc/2517 ）。そのための迷光パターンファイルをまとめたtarファイルを STRAY_LIGHT.tar.xz から取得できます。
インストール¶
1. ルートになれる場合¶
ルートになり、プログラムアーカイブを /opt に展開します。
# /opt に移動し、そこにパッケージを展開。ダウンロードされたパッケージは ~/ にあるものとする。
cd /opt
tar xvaf ~/hscPipe-8.4-centos-7-x86_64.v4.tar.xz
この場所に展開できた場合、これでプログラムの設置は完了です。
2. ルートになれない場合¶
ルートになれない場合は好きな場所に展開して下さい。以下の例では ~/ana に置くようにします。 展開後に同梱のインストールスクリプトを走らせます。
# /ana ディレクトリを作り、そこにパッケージを展開。ダウンロードされたパッケージは ~/ にあるものとする。
mkdir ~/ana
cd ~/ana
tar xvaf ~/hscPipe-8.4-centos-7-x86_64.v4.tar.xz
# 同梱のインストールスクリプトを実行。展開したディレクトリの下に hscpipe というディレクトリができており、そこへ移動。
cd hscpipe/8.4
./install.sh
これでインストールは完了です。
アストロメトリ用カタログの設置¶
アストロメトリ用カタログは全ファイルをダウンロードした場合、400 GB 程度になりますので、十分な空き容量のあるディレクトリに展開して下さい。
# 任意のディレクトリ ~/astrometry_data に展開する。
cd ~/astrometry_data
tar xvaf ~/reference-ps1_pv3_3pi_20170110.tar.xz
以前のバージョンと異なり、インストールは必要なくなったため、これでアストロメトリ用リファレンスカタログの設置は完了です。
Yバンド迷光ファイルの設置¶
Yバンド迷光ファイルもダウンロードした全ファイルを解凍するだけで完了です。
# 任意のディレクトリ ~/ に展開する。
cd ~/
tar xvaf ~/STRAY_LIGHT.tar.xz
セットアップコマンドの登録¶
hscPipe は bash で動く仕様になっています。自分の ~/.bashrc にセットアップコマンドを登録しましょう。
# ~/.bashrc にセットアップコマンドを登録する。
vi ~/.bashrc
: (.bashrc の中身)
:
source /opt/hscpipe/8.4/bashrc # この行を追加して保存
# 登録情報をすぐに反映させたい場合。
source ~/.bashrc
これでセットアップコマンドの登録は完了です。 以降はセットアップコマンド (setup-hscpipe) を走らせると大量の環境変数が設定され、hscPipe が使えるようになります。ただし、このセットアップコマンドはログインのたびに、新しい端末を立ち上げるたびに行う必要があります。
# hscPipe セットアップコマンド
setup-hscpipe
# 環境変数を元に戻したい場合
reset-env
ソースからビルドする場合¶
CentOS を使っていない場合や、Mac にインストールしたい場合はご自身でビルドして頂く必要があります。 以前のバージョンよりビルドプロセスは安定し、インストールしやすくなっています。
LSST のインストールマニュアル に従ってインストールできます。 インストール前の条件 (Prerequisites) についてはよく確認して下さい。 hscPipe をインストールする場合は以下のようなステップを踏む必要があります。
# hscPipe8 をインストールするディレクトリを作る。以下の例では ~/hscpipe8 とする。
mkdir ~/hscpipe8
cd ~/hscpipe8
export EUPS_PKGROOT=https://tigress-web.princeton.edu/~HSC/hscPipe8/
wget $EUPS_PKGROOT/newinstall.sh
bash newinstall.sh -t #質問に"yes"と答える。
source ~/hscpipe8/loadLSST.bash
eups distrib install hscPipe 8.4
次に ds9 を起動するためのパッケージをインストールします。hscPipe7 ではデフォルトで ds9 を起動するパッケージが入っていません。 ですので、以下の手順を踏んでください。
# ds9 を起動するパッケージインストール
source /path/to/lsst/stack/loadLSST.bash
export EUPS_PKGROOT=https://tigress-web.princeton.edu/~HSC/hscPipe7/
eups distrib install -j xpa 2.1.15.lsst3
# display_ds9 をインストールする前に環境をセットアップ。
# これを行ってから "-j" オプションをつけてインストールをすると、インストール時のセットアップが再現される。
setup afw
setup xpa
setup python_future
eups distrib install -j display_ds9 13.0+5
# インストールが完了したらセットアップ
setup display_ds9
# display_ds9 のセットアップは setup-hscpipe と同様にログインのたびに行ってください。
# バイナリパッケージをインストールされた場合は setup-hscpipe に setup diplay_ds9 も含まれるので、行う必要はありません。
使用フィルターを増やす場合¶
hscPipe はバージョン毎に、その時に使用できるフィルターを実装していますが、NBフィルターなどは日々新しいものが増えています。NBによっては、最新のhscPipeでも対応していないものがあります。例えば、hscPipe v8では、NB391, NB395, NB430, NB497, NB506 が実装されていません（2023年2月現在）。 それらの新しいフィルターによる観測データを解析するためには、パイプラインスクリプト内のフィルターに関連したconfig パラメータを書き加えていただくか、パイプラインコマンドを実行するときにconfigパラメータを明示的に指定していただく必要があります。その方法に関して、color termが設定されていないフィルタの解析 に詳しくはありますが、書き換えたパイプラインスクリプトを現状のものと入れ替えるパッチファイルも提供されています。ここでは、パッチファイルの実行方法を説明します。
| パッチファイル | DL |
|---|
上記からパッチファイルを任意の場所にダウンロードして、NBフィルターを追加したいhscPipeのディレクトリ（例として、/opt/hscpipe/8.4/）を指定して実行してください。
# パッチファイルをbashで実行
bash patch-AddFilters-hscPipe-8.v5.sh /opt/hscpipe/8.4
これにより、以下のファイルがアップデートされているはずです。
＄OBS_SUBARU_DIR/python/lsst/obs/hsc/hscFilters.py
＄OBS_SUBARU_DIR/hsc/transmission/
＄OBS_SUBARU_DIR/config/hsc/filterMap.py
＄OBS_SUBARU_DIR/config/hsc/colorterms.py
＄OBS_SUBARU_DIR/config/hsc/extinctionCoeffs.py
＄OBS_SUBARU_DIR/config/hsc/mergeCoaddDetections.py
＄OBS_SUBARU_DIR/config/hsc/mergeCoaddMeasurements.py
＄OBS_SUBARU_DIR/config/hsc/fgcmCalibrateTract.py
＄OBS_SUBARU_DIR/config/hsc/fgcmMakeLut.py
＄OBS_SUBARU_DIR/config/hsc/fgcmBuildStars.py
＄OBS_SUBARU_DIR/config/hsc/fgcmFitCycle.py
このパッチファイルは、hscPipeをバイナリパッケージからインストールした場合でも、ソースからビルドした場合でも、同じように働きます。 大規模観測データ解析システム では、hscPipe 8.4, 8.5.3 に対して、多波長データ解析システム では hscPipe 8.5.3 に対して既にこのパッチジョブファイルが実行されているため、新しいNBフィルターに対してすぐに解析できます。
このパッチファイルは、2024年5月現在において使用可能な全てのフィルター（g, r, r2, i, i2, z, y, NB387, NB391, NB395, NB400, NB430, NB468, NB497, NB506, NB515, NB527, NB656, NB718, NB816, NB872, NB921, NB926, IB945, NB973, NB1010, EB-gri）が含まれていますが、以下の点で注意が必要です。
fgcmCalibrateTract に関連したパラメータが新しいNBに対して精査されていないため、fgcmを使ったphotometryには注意が必要
系内ダスト補正値が元々のものと微かに異なる（有効数字３桁以上）