チャンネルの JSON が大きくなったら分割できます。日付・年ごとに必要なぶんだけ読み込むのでビューアの初期表示が速くなりchatlog.py の追記も軽くなります(過去ぶんのチャンクは変化しなくなる)。分割は任意で、いつでも元に戻せます(可逆)。ビューアは分割形式にも対応します。

python3 convert/split.py <JSONファイル> [--by year|month] [--force]
python3 convert/merge.py <JSONファイル> [--keep-chunks]
コマンド 説明
split.py 単一形式のファイルを、マニフェスト+期間チャンクに分割する
split.py --by <粒度> 粒度は year または month(既定は年単位)。期間は JST で決める
split.py --force 既に分割済みでも、粒度を変えて分割し直す
merge.py 分割した JSON を 1 ファイルに統合して元に戻す
merge.py --keep-chunks 統合してもチャンクファイルを消さずに残す

分割した状態でも chatlog.py はそのまま実行でき、差分を追記できます(差分取得に必要な最近のチャンクと、変更のあった期間のチャンク・マニフェストだけを読み書きします)。

分割後のファイル構造については JSON の形式の「分割形式」を参照してください。