spb/hfmarketdata

Public

Open high-frequency market data platform — FirstRate full-history downloader, DuckDB/Parquet lake, open REST API and React docs platform (www.hfmarketdata.io)

127commits 1branches 0releases

24.7 MBsize

maindefault branch

11 days agolast push

JavaScript 53.7% Python 38.3% CSS 4.6% TypeScript 3.1%

Sun, Sep 6, 2026 1

frd: row groups de 65 536 lignes pour l'intraday + script de réécriture reprenable du lac

…

- frd_downloader.csv_to_parquet : ROW_GROUP_SIZE 65536 pour 1min/5min/30min/1hour (déduit du chemin), 1 000 000 pour 1day/options
- scripts/rewrite_row_groups.py : COPY (read_parquet) → tmp (ZSTD, ROW_GROUP_SIZE 65536) puis os.replace, fichier par
  fichier, manifeste JSON de reprise (state/row_groups.json), --dry-run, --asset, --timeframe, --workers, --max-files,
  --retry-failed ; ignore les fichiers déjà découpés ; vérifie le nombre de lignes avant le swap

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>

Simon-Pierre Boucher committed 18 days ago · 1 file +91