分割・統合
チャンネルの JSON が大きくなったら分割できます。日付・年ごとに必要なぶんだけ読み込むのでビューアの初期表示が速くなり、chatlog.py の追記も軽くなります(過去ぶんのチャンクは変化しなくなる)。分割は任意で、いつでも元に戻せます(可逆)。ビューアは分割形式にも対応します。
python3 convert/split.py <JSONファイル> [--by year|month] [--force]
python3 convert/merge.py <JSONファイル> [--keep-chunks]
| コマンド | 説明 |
|---|---|
split.py |
単一形式のファイルを、マニフェスト+期間チャンクに分割する |
split.py --by <粒度> |
粒度は year または month(既定は年単位)。期間は JST で決める |
split.py --force |
既に分割済みでも、粒度を変えて分割し直す |
merge.py |
分割した JSON を 1 ファイルに統合して元に戻す |
merge.py --keep-chunks |
統合してもチャンクファイルを消さずに残す |
分割した状態でも chatlog.py はそのまま実行でき、差分を追記できます(差分取得に必要な最近のチャンクと、変更のあった期間のチャンク・マニフェストだけを読み書きします)。
分割後のファイル構造については JSON の形式の「分割形式」を参照してください。