Registration/HowToRegister
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[SAGA]]
[How to register database]
最終改訂(2023/11/02)
#contents
* データ更新作業の流れ [#t777cef1]
** 1. 入力データの更新 [#u11169c2]
- rsyncを使って元のCSVファイルを$SAGA_HOME/CSVfile/にコピ...
** 2. 矮小銀河データの天体カタログを作成する。(BXXXXエン...
- $SAGA_HOME/Registration/で行う。主に使うスクリプトとそ...
-- create_SAGAcatalog.pl: 天体カタログを作成する。&color(...
-- update_SAAGcatalog.pl: 天体カタログを更新する。(旧名re...
--- Backup Table Mode: MySQL上のobject_catalog, tmp_objec...
--- Temporary Table Mode: CSVfile_LG/以下にあるcsvファイ...
--- Assign SAGA ID Mode: CSVfile_LG/以下にあるcsvファイル...
--- Upload MySQL Mode: 生成されたobject_catalog.csv, tmp_...
** 3. 銀河系データについて同一天体のチェックを行う。 [#oc...
- $SAGA_HOME/Tools/SimbadExplorer.pl、$SAGA_HOME/Tools/Ma...
-- SimbadExplorer.pl: SIMBADにアクセスして天体ごとのhtml...
--- SIMBADのrel. IDに注意する。バージョンが異なると処理が...
--- ファイルの保存先はhtml_SIMBAD/
--- 座標検索で複数の候補天体が見つかった場合はhtml_SIMBAD...
-- SIMBAD_Explorerの再実行時に使うかもしれないスクリプト。
--- check_remove.pl: Multi_Candidates/にあるファイルの再...
-- MakeSynonymList.pl: html_SIMBAD/に保存したデータを読み...
--- 保存先は同一ディレクトリ内のsynonym_list_MWおよびnot_...
--- SIMBADの書式が合わないとBasic data:からの天体名読み出...
-- MakeObjectCatalog.pl: synonym_list_MW, not_synonym_lis...
** 4. CSVファイルからMySQLのアップデート用データベースに...
- $SAGA_HOME/Registration/で行う。主に使うスクリプトとそ...
-- registration.pl : 登録作業を行うスクリプト。設定ファイ...
-- settings_Reg.yaml : 設定ファイル。工程や使うデータベー...
-- XXX.pm : registration.plから呼び出されるモジュール。作...
- 設定ファイルの注意事項
-- アップロードするデータベース名は公開用ではない一時的な...
saga_uptest
saga_LG_uptest
-- dir_in_csvでMWかLGか処理が分岐されるので注意が必要。
-- MWのみのアップデートの場合はrun_copy_mysqldataを1にす...
** 5. CSV2Ascii.pmで生成されたhtmlファイルに注釈を追加す...
- HE1327-2326など、$SAGA_HOME/Registration/READMEに記載し...
** 6. 公開用テキストデータを生成する。 [#pabfbfeb]
- create_txt_table.plを実行してtsv形式のファイルを作る。
-- 誤差ありと誤差なしデータの2つを生成するので2回スクリプ...
-- &color(blue,yellow){(2019/11/15改訂)}; 誤差とフラグの...
--- 全データの出力は$print_all_data=1、推奨データの出力は...
** 7. 動作確認後、MySQLのバックアップと復元を使ってデータ...
- 既存の公開バージョン(saga, saga_LG)を過去のバージョンと...
-- $SAGA_HOME/vda4/bk_mysqlにあるバックアップデータを使っ...
-- bak******_saga********.sqlを編集してデータベース名を変...
- 2.で作ったバックアップファイルを編集して公開用データベ...
-- データベースのバックアップと復元については以下を参照。
- 例(2019/12/09更新)
-- (1) 旧バージョンのデータベース作成
mysql> create database saga20190124_MW;
Query OK, 1 row affected (0.00 sec)
mysql> create database saga20190124_LG;
Query OK, 1 row affected (0.00 sec)
-- (2) バックアップデータの読み込み
> mysql saga20190124_MW -u suda -p < bak190124_saga20190...
> mysql saga20190124_LG -u suda -p < bak190124_saga_LG20...
-- (3) Prev/の旧バージョン検索システムで参照データベース...
-- (4) 新バージョンのデータベース読み込み
> mysql saga -u suda -p < bak191208_saga20191119.sql
> mysql saga_LG -u suda -p < bak191208_saga_LG20191207.sql
**8. 必要なデータのコピー [#kc84c6af]
- Dataの差し替え。rsyncが便利
> sudo rsync -av ~/public_html/Data/html20210407/ Data/h...
> sudo rsync -av ~/public_html/Data/images20210407/ Data...
* MySQLデータのバックアップと復元 [#y959f5b1]
** 1. make a backup [#c350846c]
*** 1-1 MySQLのバックアップ [#w3c95b77]
(1) create a new backup file on saga
[backup]% mysqldump --databases saga -u suda -p > bak09...
rule of filename: bak[date of creating backup]_[databas...
or
(1') find a backup file in saga
saga:/home/suda/public_html/backup/bak090510saga1.sql
(2') rename it (suda@saga) &color(red){bak[date of creati...
[backup]% mv bak090510saga1.sql bak090620_saga20090505....
(3) open the file and change the database name from saga1...
[backup]% vi bak090620_saga20090505.sql
(4) issue commad (suda@saga)
[backup]% mysql -u suda -p < bak090620_saga20090505.sql
*** 1-2 公開データのアーカイブ [#t0dcb653]
(1) ディレクトリ作成
[/var/www/html/Prev/]% sudo mkdir 20170901_MW
[/var/www/html/Prev/]% sudo mkdir 20170829_LG
(2) データをコピーor移動: Retrieval[_LG], Lib, Data, Tabl...
[/var/www/html/Prev/20170901_MW/]% sudo cp -rp ../../Li...
[/var/www/html/Prev/20170901_MW/]% sudo cp -rp ../../Re...
[/var/www/html/Prev/20170901_MW/]% sudo cp -rp ../../Da...
[/var/www/html/Prev/20170901_MW/]% sudo cp -p ../../Tab...
(3) wikiを編集、リンクを確認。簡単な動作確認も忘れずに。
固定ページ/Log
** 2. copy Retrieval [#id108f8a]
(1) copy files (dbworker@saga)
% su dbworker
[Prev]% mkdir /home/dbworker/public_html/Prev/20090505
[Prev]% cd ~/public_html/Prev/20090505
[20090505]% cp -p ../../TableStructure.txt ./
[20090505]% cp -rp ../../Lib ./
[20090505]% cp -rp ../../Retrieval ./
[20090505]% cp -rp ../../Data ./
%%[20090505]% mkdir Registration%%~
%%[20090505]% cp -rp ../../Registration/html Registration...
%%[20090505]% cp -rp ../../Registration/images Registrati...
%%[20090505]% cp -p ../../Registration/*css Registration/...
(2) change $database_name in db.cgi from saga1 to saga200...
[Retrieval]% vi db.cgi
** 3. register old database [#ebc04365]
(1) restore the backup file created at 1-(1).
[backup]% mysqldump -u suda -p saga20090902 < bak091001...
(2) edit db.cgi and backup file, and change the database ...
[backup]% vi bak091001_saga20090902.sql
[20090505/Retrieval] vi db.cgi
(3) upload backup file (rename database cannot be used af...
[backup]% mysql saga20090905 -u suda -p < bak091001_sag...
** 4. register new database [#f7535362]
(1) check Entries in CSVfile (suda@saga)
[CSVfile]% mv A0134 storage/
[CSVfile]% mv A0095 storage/
[CSVfile]% mv A0120 storage/
[CSVfile]% mv A0173 storage/
[CSVfile]% mv A9999 storage/
(2) check registration database name and user name (suda@...
Main DB name : saga
Temporary DB name : suda_tmp
DB user name : saga_user
[Lib]% vi settings.txt
DBname:=saga
DBuser:=saga_user
(3) confirm required files (suda@saga)
DBRoot/Tools/html_SIMBAD
(4) register (suda@saga)
[Registration]% ./registration.pl
** 5. create a list of added paper [#o73fa7e2]
(1) check the updated history at astro3:test.compilation_...
select Date, User, Entry, Comment, TIMESTAMPDIFF( MONTH...
(2) update wiki
* Project based databaseの作成と更新 [#ja4e3e26]
** 1. データ登録の準備 [#ab870c37]
(1) Registration/settings_Reg.yaml
database_name : saga_LAMSUB
run_copy_mysqldata : 0
| 変数名 | 値 | コメント ...
| run_make_objectcatalog_MW | 1 | ...
| run_list2sq | 1 | |
| run_solarabundance_correction | 1 | |
| #run_make_abn_tables | 0 | # obsolete |
| run_csv2ascii | 1 | # unnecessary for M...
| run_plot_abundances | 1 | |
| run_print_starlist | 0 | # only for dwarf ga...
| run_define_standard_value | 1 | |
| run_define_star_class | 1 | |
| run_make_positiondata | 0 | # This is not yet ...
| run_get_position | 1 | # need to run this...
| run_copy_mysqldata | 1 | |
| add_comment_in_registration | 0 | registration tableは...
dir_in_csv :
A : "../CSVfile_LAMSUB"
(2) ファイルやディレクトリの移動
- Registration/Data/html, imagesのバックアップまたはファ...
- Registration/Output/abundance.csv他List2SQL.pmで生成さ...
(3) MySQLバックアップ（更新時のみ）
% cd DBHOME/vda4/bk_mysql/
% mysqldump --databases saga_LAMSUB -u suda -p > bak2311...
終了行:
[[SAGA]]
[How to register database]
最終改訂(2023/11/02)
#contents
* データ更新作業の流れ [#t777cef1]
** 1. 入力データの更新 [#u11169c2]
- rsyncを使って元のCSVファイルを$SAGA_HOME/CSVfile/にコピ...
** 2. 矮小銀河データの天体カタログを作成する。(BXXXXエン...
- $SAGA_HOME/Registration/で行う。主に使うスクリプトとそ...
-- create_SAGAcatalog.pl: 天体カタログを作成する。&color(...
-- update_SAAGcatalog.pl: 天体カタログを更新する。(旧名re...
--- Backup Table Mode: MySQL上のobject_catalog, tmp_objec...
--- Temporary Table Mode: CSVfile_LG/以下にあるcsvファイ...
--- Assign SAGA ID Mode: CSVfile_LG/以下にあるcsvファイル...
--- Upload MySQL Mode: 生成されたobject_catalog.csv, tmp_...
** 3. 銀河系データについて同一天体のチェックを行う。 [#oc...
- $SAGA_HOME/Tools/SimbadExplorer.pl、$SAGA_HOME/Tools/Ma...
-- SimbadExplorer.pl: SIMBADにアクセスして天体ごとのhtml...
--- SIMBADのrel. IDに注意する。バージョンが異なると処理が...
--- ファイルの保存先はhtml_SIMBAD/
--- 座標検索で複数の候補天体が見つかった場合はhtml_SIMBAD...
-- SIMBAD_Explorerの再実行時に使うかもしれないスクリプト。
--- check_remove.pl: Multi_Candidates/にあるファイルの再...
-- MakeSynonymList.pl: html_SIMBAD/に保存したデータを読み...
--- 保存先は同一ディレクトリ内のsynonym_list_MWおよびnot_...
--- SIMBADの書式が合わないとBasic data:からの天体名読み出...
-- MakeObjectCatalog.pl: synonym_list_MW, not_synonym_lis...
** 4. CSVファイルからMySQLのアップデート用データベースに...
- $SAGA_HOME/Registration/で行う。主に使うスクリプトとそ...
-- registration.pl : 登録作業を行うスクリプト。設定ファイ...
-- settings_Reg.yaml : 設定ファイル。工程や使うデータベー...
-- XXX.pm : registration.plから呼び出されるモジュール。作...
- 設定ファイルの注意事項
-- アップロードするデータベース名は公開用ではない一時的な...
saga_uptest
saga_LG_uptest
-- dir_in_csvでMWかLGか処理が分岐されるので注意が必要。
-- MWのみのアップデートの場合はrun_copy_mysqldataを1にす...
** 5. CSV2Ascii.pmで生成されたhtmlファイルに注釈を追加す...
- HE1327-2326など、$SAGA_HOME/Registration/READMEに記載し...
** 6. 公開用テキストデータを生成する。 [#pabfbfeb]
- create_txt_table.plを実行してtsv形式のファイルを作る。
-- 誤差ありと誤差なしデータの2つを生成するので2回スクリプ...
-- &color(blue,yellow){(2019/11/15改訂)}; 誤差とフラグの...
--- 全データの出力は$print_all_data=1、推奨データの出力は...
** 7. 動作確認後、MySQLのバックアップと復元を使ってデータ...
- 既存の公開バージョン(saga, saga_LG)を過去のバージョンと...
-- $SAGA_HOME/vda4/bk_mysqlにあるバックアップデータを使っ...
-- bak******_saga********.sqlを編集してデータベース名を変...
- 2.で作ったバックアップファイルを編集して公開用データベ...
-- データベースのバックアップと復元については以下を参照。
- 例(2019/12/09更新)
-- (1) 旧バージョンのデータベース作成
mysql> create database saga20190124_MW;
Query OK, 1 row affected (0.00 sec)
mysql> create database saga20190124_LG;
Query OK, 1 row affected (0.00 sec)
-- (2) バックアップデータの読み込み
> mysql saga20190124_MW -u suda -p < bak190124_saga20190...
> mysql saga20190124_LG -u suda -p < bak190124_saga_LG20...
-- (3) Prev/の旧バージョン検索システムで参照データベース...
-- (4) 新バージョンのデータベース読み込み
> mysql saga -u suda -p < bak191208_saga20191119.sql
> mysql saga_LG -u suda -p < bak191208_saga_LG20191207.sql
**8. 必要なデータのコピー [#kc84c6af]
- Dataの差し替え。rsyncが便利
> sudo rsync -av ~/public_html/Data/html20210407/ Data/h...
> sudo rsync -av ~/public_html/Data/images20210407/ Data...
* MySQLデータのバックアップと復元 [#y959f5b1]
** 1. make a backup [#c350846c]
*** 1-1 MySQLのバックアップ [#w3c95b77]
(1) create a new backup file on saga
[backup]% mysqldump --databases saga -u suda -p > bak09...
rule of filename: bak[date of creating backup]_[databas...
or
(1') find a backup file in saga
saga:/home/suda/public_html/backup/bak090510saga1.sql
(2') rename it (suda@saga) &color(red){bak[date of creati...
[backup]% mv bak090510saga1.sql bak090620_saga20090505....
(3) open the file and change the database name from saga1...
[backup]% vi bak090620_saga20090505.sql
(4) issue commad (suda@saga)
[backup]% mysql -u suda -p < bak090620_saga20090505.sql
*** 1-2 公開データのアーカイブ [#t0dcb653]
(1) ディレクトリ作成
[/var/www/html/Prev/]% sudo mkdir 20170901_MW
[/var/www/html/Prev/]% sudo mkdir 20170829_LG
(2) データをコピーor移動: Retrieval[_LG], Lib, Data, Tabl...
[/var/www/html/Prev/20170901_MW/]% sudo cp -rp ../../Li...
[/var/www/html/Prev/20170901_MW/]% sudo cp -rp ../../Re...
[/var/www/html/Prev/20170901_MW/]% sudo cp -rp ../../Da...
[/var/www/html/Prev/20170901_MW/]% sudo cp -p ../../Tab...
(3) wikiを編集、リンクを確認。簡単な動作確認も忘れずに。
固定ページ/Log
** 2. copy Retrieval [#id108f8a]
(1) copy files (dbworker@saga)
% su dbworker
[Prev]% mkdir /home/dbworker/public_html/Prev/20090505
[Prev]% cd ~/public_html/Prev/20090505
[20090505]% cp -p ../../TableStructure.txt ./
[20090505]% cp -rp ../../Lib ./
[20090505]% cp -rp ../../Retrieval ./
[20090505]% cp -rp ../../Data ./
%%[20090505]% mkdir Registration%%~
%%[20090505]% cp -rp ../../Registration/html Registration...
%%[20090505]% cp -rp ../../Registration/images Registrati...
%%[20090505]% cp -p ../../Registration/*css Registration/...
(2) change $database_name in db.cgi from saga1 to saga200...
[Retrieval]% vi db.cgi
** 3. register old database [#ebc04365]
(1) restore the backup file created at 1-(1).
[backup]% mysqldump -u suda -p saga20090902 < bak091001...
(2) edit db.cgi and backup file, and change the database ...
[backup]% vi bak091001_saga20090902.sql
[20090505/Retrieval] vi db.cgi
(3) upload backup file (rename database cannot be used af...
[backup]% mysql saga20090905 -u suda -p < bak091001_sag...
** 4. register new database [#f7535362]
(1) check Entries in CSVfile (suda@saga)
[CSVfile]% mv A0134 storage/
[CSVfile]% mv A0095 storage/
[CSVfile]% mv A0120 storage/
[CSVfile]% mv A0173 storage/
[CSVfile]% mv A9999 storage/
(2) check registration database name and user name (suda@...
Main DB name : saga
Temporary DB name : suda_tmp
DB user name : saga_user
[Lib]% vi settings.txt
DBname:=saga
DBuser:=saga_user
(3) confirm required files (suda@saga)
DBRoot/Tools/html_SIMBAD
(4) register (suda@saga)
[Registration]% ./registration.pl
** 5. create a list of added paper [#o73fa7e2]
(1) check the updated history at astro3:test.compilation_...
select Date, User, Entry, Comment, TIMESTAMPDIFF( MONTH...
(2) update wiki
* Project based databaseの作成と更新 [#ja4e3e26]
** 1. データ登録の準備 [#ab870c37]
(1) Registration/settings_Reg.yaml
database_name : saga_LAMSUB
run_copy_mysqldata : 0
| 変数名 | 値 | コメント ...
| run_make_objectcatalog_MW | 1 | ...
| run_list2sq | 1 | |
| run_solarabundance_correction | 1 | |
| #run_make_abn_tables | 0 | # obsolete |
| run_csv2ascii | 1 | # unnecessary for M...
| run_plot_abundances | 1 | |
| run_print_starlist | 0 | # only for dwarf ga...
| run_define_standard_value | 1 | |
| run_define_star_class | 1 | |
| run_make_positiondata | 0 | # This is not yet ...
| run_get_position | 1 | # need to run this...
| run_copy_mysqldata | 1 | |
| add_comment_in_registration | 0 | registration tableは...
dir_in_csv :
A : "../CSVfile_LAMSUB"
(2) ファイルやディレクトリの移動
- Registration/Data/html, imagesのバックアップまたはファ...
- Registration/Output/abundance.csv他List2SQL.pmで生成さ...
(3) MySQLバックアップ（更新時のみ）
% cd DBHOME/vda4/bk_mysql/
% mysqldump --databases saga_LAMSUB -u suda -p > bak2311...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
