生データを解析レジストリに登録

STARS からダウンロードした生データを解析ディレクトリに配置し、レジストリに登録します。 使用するコマンドと使用例を紹介します。

# 解析ディレクトリの下に生データを配置し、レジストリを作成
# 生データは ~/rawdata の下にあり、current directory は ~/ であるとします。
# ディレクトリは絶対パスで指定。
ingestImages.py ~/HSC ./rawdata/*.fits --mode=link --create

# ingestImages.py [解析ディレクトリ] [登録したい fits ファイル名] --mode=[move,copy,link,skip] --create
# オプション
#       --mode: データの配置方法。link の場合は生データへのリンクを作成します。
#       --create: 新しくレジストリを作成する場合の引数。

データの配置、登録が完了すると、~/HSC の下に [Object Name], DARK, DOMEFLAT 等のディレクトリと registry.sqlite3 というレジストリができます。 [Object Name]ディレクトリや DOMEFLAT ディレクトリの構造は ~/HSC/[Object Name, BIAS, DARK, DOMEFLAT]/[dateObs]/[opinting]/[filter]/HSCA*.fits となっていると思います。

次に、SQL というデータベース言語を用いて、registry.sqlite3 の中身を確認してみましょう。

# レジストリを SQLite で読み込む
sqlite3 registry.sqlite3

# ヘッダ情報読み込み
sqlite> .header on
# データの表示
sqlite> SELECT visit, filter, field, count(visit)
...> FROM raw                                        # レジストリから上記情報を選択
...> GROUP BY visit, filter, field;                  # visit > filter > field 順に並べて表示
# select filter, field, visit, count(visit) from raw group by visit; のように一行で書いてもよい。

# 結果が表示される
visit|filter|field|count(visit)
17636|HSC-Z|DOMEFLAT|112
17638|HSC-Z|DOMEFLAT|112
17640|HSC-Z|DOMEFLAT|112
17642|HSC-Z|DOMEFLAT|112
17644|HSC-Z|DOMEFLAT|112
17646|HSC-Z|DOMEFLAT|112
18336|HSC-I|DARK|112
18350|HSC-Y|DARK|112
.....

# 終了
sqlite> .q

SQL についてここでは詳しく説明しませんので、興味のある方は各自で調べるようにして下さい。

ここで見るべきポイントは count(visit) が 112 であることです。これは 112 枚分の CCD データが1つの visit に対して存在しているということです。 また、HSC-Z の DOMEFLAT visit は 17636 から 17646 というように、各 filter, field の visit がどれであるかが確認できます。

Warning

hscPipe では CCD データが足りないにもかかわらず、処理が進む場合があります。解析を始める前に、全てのデータセットで CCD 112 枚分あるかを確認をしましょう。