Что такое словарь данных?

Словарь данных (Data Dictionary) – сервис, который предоставляет описание данных в бизнес-терминах, и дополнительно может содержать другие сведения о данных, например информацию о типах форматов данных, детализацию структур данных и нормативно-справочной информации, ограничений по безопасности. Таким образом, словарь данных является одним из способов ведения метаданных.

Сейчас словарь данных встроен практически в каждый инструмент хранения, обработки или анализа данных. Проблема заключается в том, что крупные компании имеют в своем активе целый набор таких инструментов и они между собой не связаны в части словарей данных.

Для того, чтобы не вести локальные словари данных, на уровне всей организации или как минимум единого хранилища создается Каталог данных (иногда его называют Картой данных или Базой знаний о данных). Каталог данных объединяет между собой функции словаря данных и бизнес-глоссария. Бизнес-глоссарий (Business Glossary), отличается тем, что он главным образом сфокусирован на унификации понятийного аппарата внутри организации, т.е. является базой знаний и фиксирует используемые подразделениями термины и определения.

Словари данных связаны с хранилищем данных (Data Warehouses) или другими информационными ресурсами, описывая возможности их использования. Структура словаря данных, как правило, берет свое начало из логической модели данных информационных ресурсов. Словарь данных помогает организовать ведение метаданных с более высоким качеством по сравнению с неунифицированным документированием, благодаря дисциплинированному и систематическому подходу к управлению определениями и семантикой (смысловым содержанием) информационного пространства организации.

Несмотря на то, что инструменты типа ”Словарь данных” имеют различный вид и формат, все они предоставляют компоненты и функции, необходимые для создания соответствующих описаний реляционных баз данных. Международная организация по стандартизации (ISO) выделяет 3 категории для элементов словаря данных:

1. Бизнес-концепты (Business Concepts): бизнес-компоненты с   семантическим (смысловым) значением: связанные с ними бизнес-ассоциации и функциональные роли. К примеру, организация должна определить термин “клиент”, описать характеристики в виде атрибутов и назначить ответственных за их ведение.
2. Типы данных (Data Types): технические характеристики допустимых значений определенного бизнес-элемента. Например, формат данных числовой, текстовый и др. 
3. Концепты сообщений (Message Concepts): ограничения и элементы, которые делают сообщения уникальными. Например, данные они могут быть ограничены фиксированными промежутками и областью значений. Значения, находящиеся за пределами указанного диапазона не будут приниматься базой данных.

Прочие определения “словаря данных”:

• «файл, идентифицирующий формат данных в неструктурированном файле таблицы ASCII. Он также определяет имена полей, их порядок, тип данных и расположение байтов, занимаемых в файле» (IBM Knowledge Center)
• ресурс, содержащий «ингредиенты и шаги, необходимые для создания соответствующих бизнес-отчетов» (Michelle Knight, DATAVERSITY)
• «набор имен, определений и атрибутов элементов данных, используемых в базах данных» (UC Merced Library)
• «Внутренний ресурс, объединяющий термины в одном месте. Наиболее важным является то, что такой справочный ресурс облегчает взаимодействие с бизнес-подразделениями за счет лучшего понимания терминологии» (Amber Lee Dennis, DATAVERSITY)
• «База данных о базе данных. Определяет структуру базы данных и используется для контроля и управления большими базами данных» (Business Dictionary)

Словари данных используются в бизнесе для того, чтобы:

• установить соответствие между бизнес-контентом и техническими компонентами данных
• уменьшить риски ошибок и переработок
• предоставлять актуальные отчеты
• обеспечить последовательную модернизацию базы данных
• гарантировать метаданные более высокого качества