Версионность данных

Немного о версионностях, версиях и изменениях в целом, и в частности касающихся изменений в составе, структуре и значениях данных. О чем нужно помнить, когда управляешь данными? Проблема внедрения хранилиза данных или информационного сервиса часто приходит в неожиданный момент, когда оказывается, что надо все дорабатывать, потому что данные в источниках претерпевают изменения, а пользователи хотят поменять требования. Для опытных архитекторов данных и приложений такое стечение обстоятельств не может быть неожиданностью, потому что они сразу предусматривают возможности последующих изменений.

Версия модели данных

Каждая версия модели данных, которая в последствии переходит в версию базы данных, автоматизированной системы, приложения и/или конечного информационного ресурса для пользователя, должна быть спроектирована и задокументирована. Под любой информационный ресурс сразу следуюет предусматривать релизную модель.

При начальной разработке называем результат версией 1.0 и ждем изменений требований – они появятся очень скоро. Современные системы управления базами данных (СУБД) “начинают” предусматривать изменения и документирование метаданных, но пока данный процесс носит в основном ручной характер и следует самим помнить и вести соответствие атрибутов “старой” и “новой” версии базы данных. Вот, о чем следует помнить при ведении версий моделей данных:

• период действия версии модели данных или отдельных объектов данных: атрибутов, сущностей, справочников, связей (когда объект был введен, до какого момента действует);
• соответствие между атрибутами версий базы данных. Например, что происходило с атрибутом? Его переименовали, детализировали в несколько атрибутов или упразднили другим;
• измнение области допустимых значений атрибутов, позиций справочников;
• что означает объект модели в каждой версии? Каким нормам, законам или понятийному аппарату он соответствует?

Все это пригодится на этапе анализа и использования данных

Корректировки в данных

Версии значений (корректировок данных) также необходимо учитывать в системах, а главное предоставлять эти сведения пользователям. Отчет рассчитанный на определенную отчетную дату сегодня и через месяц могут отличаться, ввиду уточнения данных в источниках. Избежать этого скорее всего не получится, поэтому дополняем базу данных полями версионности.

Во многих time-based схемах, например Data Vault, они предусмотрены в идеологии, но помимо разработчиков баз данных конечные пользователи также должны понимать что они получают в итоге. Одним из распространненых способов в отчете помимо “отчетной даты” можно предусмотреть еще выбор “даты расчета”.

Версии правды

Возникают случаи, когда разные пользователи понимают под правильной записью разные значения данных. Несмотря на все усилия по созданию золотой записи, сведению понятийного аппарата в единую модель данных, разным людям от отчета нужны разные числа и значения. На этот случай в хранилище придется добавлять “версии правды” и как они были созданы.