Автоматичне формування FAIR-метаданих DFT-розрахунку Quantum ESPRESSO: MATSCI-NASU DFT Extractor

Чому метадані можна формувати автоматично

Значна частина необхідної інформації вже міститься у файлах Quantum ESPRESSO і тому не повинна повторно вводитися дослідником вручну. pw.x використовує структуровані namelists і cards для опису calculation task, структури, cutoff energies, k-point grid, SCF settings, spin parameters та pseudopotentials.

Після виконання розрахунку Quantum ESPRESSO створює також структурований XML output. Окремим джерелом метаданих є файли UPF, у яких зберігається інформація про псевдопотенціали.

Принцип роботи extractor полягає в тому, що computational artefacts використовуються як первинне джерело технічних метаданих. Дослідник не переписує вручну параметри розрахунку: extractor читає їх із файлів, нормалізує і формує структурований metadata record.

Рис. 1. Загальна схема роботи MATSCI-NASU DFT Extractor: від файлів Quantum ESPRESSO до FAIR-oriented metadata package.

Які файли потрібні

Найповніший пакет одного DFT-розрахунку містить input, output, використані pseudopotentials та каталог prefix.save зі структурованим XML Quantum ESPRESSO.

Extractor може працювати і з неповним набором файлів, але повнота метаданих буде нижчою.

Рис. 2. Структура вхідного пакета Quantum ESPRESSO та файлів метаданих, які формує MATSCI-NASU DFT Extractor.

Вхідний файл використовується насамперед для requested settings та initial structure. Output дає version Quantum ESPRESSO, convergence information і чисельні результати. XML є структурованим джерелом effective і final values, а UPF-файли містять intrinsic metadata pseudopotentials.

Особливо важливо розрізняти requested та effective values. Параметр може бути не заданий у input, але Quantum ESPRESSO застосує default value. Для відтворюваності необхідно зафіксувати значення, яке реально було використано.

Що саме витягує DFT Extractor

MATSCI-NASU DFT Extractor v0.1 формує metadata record з кількох логічних блоків.

Перший блок описує calculation і software: тип задачі, локальний identifier, Quantum ESPRESSO та його version.

Другий блок описує структуру: atomic species, atomic positions, lattice parameters і unit cell.

Третій блок містить DFT setup: exchange-correlation description, ecutwfc, ecutrho, k-point settings, occupations, smearing, spin settings і SCF parameters.

Четвертий блок описує pseudopotentials, включно з файлами та SHA-256.

П’ятий блок містить результати: total energy, Fermi energy, forces, pressure та інші величини, якщо вони присутні у calculation output.

Окремий quality_control block показує, чи завершився calculation, чи досягнута convergence і які джерела метаданих були доступні.

Що створюється після запуску

Основним результатом роботи extractor є файл matsci_dft_metadata.json. Він використовується як canonical metadata record MATSCI-NASU.

Окремо створюються MatCore-oriented projection, calculation results, manifest усіх файлів, SHA-256 checksums та extraction report.

Нормалізація одиниць

Quantum ESPRESSO використовує Rydberg atomic units, тоді як зовнішні metadata standards можуть вимагати інші одиниці. Тому extractor зберігає як оригінальне значення, так і нормалізоване.

Наприклад: (JSON)

"ecutwfc": {
  "source_value": 40.0,
  "source_unit": "Ry",
  "normalized_value": 544.2277,
  "normalized_unit": "eV"
}

Це дозволяє зберегти точне значення, яке використовувалося Quantum ESPRESSO, і водночас підготувати дані для machine-readable interoperability.

Рис. 3. Приклад фрагмента matsci_dft_metadata.json: основні блоки опису calculation, software, method, results і quality control.

Поділ на окремі логічні блоки дозволяє не змішувати опис того, як був виконаний розрахунок, із тим, які результати він дав. Це також спрощує подальший mapping до MatCore, DataverseUA, RI Catalogue або інших систем.

Як запустити extractor

Для v0.1 достатньо Python 3. Сторонні Python-пакети для базового запуску не потрібні.

Code block

python matsci_dft_extractor.py path/to/calculation

або

python matsci_dft_extractor.py path/to/calculation -o path/to/output_metadata

За замовчуванням результати записуються у каталог:

path/to/calculation/metadata/

У комплекті також є self_test.py для перевірки базової логіки parser.

Від Quantum ESPRESSO до MatCore-DFT

MATSCI-NASU використовує власний canonical metadata record, а MatCore-DFT — як один із референтних semantic profiles для computational materials science.

Така схема дозволяє надалі створювати з одного master record кілька представлень:

Quantum ESPRESSO files
        ↓
MATSCI canonical metadata
        ↓
MatCore | DataverseUA | RI Catalogue | NOMAD

Це дозволяє не прив’язувати весь workflow до одного конкретного metadata format.