Форматы файлов для передачи данных

Передача данных из системы источника в потребитель (source to target) может осуществляться путем прямой передачи данных из базы данных отправителя в базу данных получателя или путем передачи промежуточных файлов унифицированного типа.

Универсальные форматы файлов для передачи данных позволяют при необходимости выполнить расширение своей структуры для возможности передачи в ней технических метаданных. К таким форматам относятся:

• XML (eXtensible Markup Language — расширяемый язык разметки) – текстовый формат, предназначенный для структурирования, хранения и передачи информации. Поддерживает хранение сложных структур данных. Язык называется расширяемым, поскольку он не фиксирует разметку, используемую в документах: каждый разработчик может создать разметку в соответствии с потребностями к конкретной области. Расширение XML — это конкретная грамматика, созданная на базе XML и представленная словарём тегов и их атрибутов, а также набором правил, определяющих какие атрибуты и элементы могут входить в состав других элементов.
• JSON (JavaScript Object Notation – Объектная нотация JavaScript) — текстовый формат обмена данными. JSON является синтаксисом для представления сложных структур, массивов данных различных типов в виде строк. По сравнению с XML занимают меньше объема на диске за счет отсутствия тэгов разметки.
• CSV (Comma-Separated Values – значения, разделенные запятыми) – текстовый формат, предназначенный для представления табличных данных с фиксированным количеством столбцов. Каждая строка файла — это одна строка таблицы. Используется, как правило, только передачи данных.

Наиболее распространенным форматом из упомянутых является XML. Для унификации формата и передаваемых данных используют специальные стандарты. Специализированные форматы позволяют передавать в своей структуре как данные, так и технические метаданные, описывающие правила сбора, проверок и др. информацию по собираемым данных.

Например, в мировой практике для сбора и получения данных о деловой и финансовой отчетности от респондентов используются специализированные форматы, разработанные на основе XML, к которым относятся:

• XBRL (eXtensible Business Reporting Language – расширяемый язык деловой отчётности). Одной из главных задач XBRL является регламентация обмена финансовой отчётностью. Формат представляет собой расширение XML c определением наборов метаданных, которые содержат описание как отдельных показателей и аналитических признаков отчётности, так и взаимосвязей между ними, контекста, в котором эти показатели определены и правил проверок, применяемых к показателям.
• SDMX (Statistical Data and Metadata Exchange – обмен статистическими данными и метаданными). Ориентирован на сбор и предоставление статистических данных в многомерном формате. Содержит метаданные и данные по справочным данным, измерениям, а также наборы показателей в привязке к этим измерениям и во временной ретроспективе.
• FpML (Financial products Markup Language – язык разметки финансовых инструментов). Этот язык представляет собой расширение XML, поддерживающее электронно-коммерческие операции в области финансов. Используется как при совершении сделок, так и для предоставления отчетов о сделках в репозитории.