Практическое руководство по созданию и поддержке справочников данных

Что такое справочники данных?

При первичном сборе данных необходимо правильно определить значения и смысл собираемых полей. Для этих задач используются справочники данных. Создание таких справочников обычно не требует больших усилий, но критически важно для работы с данными.  При этом зачастую из всех задач связанных с управлением данными эта задача обычно выполняется в самом конце, или вообще пропускается.

Справочники данных описывают и указывают на то как организация собирает, хранит и обрабатывает данные. Без справочников пользователю трудно понять что из себя представляют данные. Каждое поле в базе данных играет свою роль, четко определение этих ролей одно из самых важных шагов для организации в её стратегии управления данными. 

При внедрении справочников желательно учесть что необходимо хранить справочников как можно ближе к исходном данным. Пользователь при составлении запросов должен интуитивно и быстро находить необходимые значения из справочников, а не терять времени в поисках нужного определения. Лучше хранить справочник внутри самого хранилища данных или рядом с самими исходными данными. 

Почему необходимы определения для данных

Как упоминалось ранее, базы данных без определений зачастую контринтуитивны. Ясность это ключ к качеству данных, неважно идет ли речь о маркетинге, веб-трафике или деловой переписке. Для любой успешной модели данных необходимы четкие краткие и недвусмысленные определения для обозначения сущностей.

Для создания справочника данных на ключевые вопросы о самих данных: как они устроены и какова их размерность, и как эта конструкция укладывается в ваши бизнес процессы. Всё начинается с соглашения об именах для элементов данных. Соглашение должно быть применяться последовательно и быть независимым от того, какая команда использует его и для какой задачи. В идеале, если при взаимодействии с данными пользователю выводятся подсказки с предлагаемыми значениями данных или в поле встраиваются ссылки на сам справочник данных.

Для примера: вы получаете данные с мобильного приложения, и на 3 дня инструментарий был недоступен в связи с поломкой. Теперь разрыв в 3 дня будет в ваших данных навсегда. Без необходимой документации, информирующей всех об этой аномалии, ваши данные будут выглядеть странно. И так как в документации будет указан источник данных с определением полей данных, каждому кто её читает важно понимать основные принципы сбора данных: иногда инструменты неправильно откалиброваны или неисправны. Более того вычисления над данными меняются по мере изменения бизнес-процессов.

Когда надо делать справочники данных?

Начинайте ещё во время создания модели данных. Определите что каждое поле в базе данных значит, как вычисляется и определите кто несет ответственность за это поле, а также кто согласует изменения. Минимальная информация о ваших данных необходима уже на этом этапе.

Один из ключевых компонентов должен оставаться всегда важным при создании справочников данных: задавать вопросы необходимо. Не задавая вопросы сложно строить предположения о данных. Это потенциально не только приведет к неправильному представлению о данных, но ещё и сформирует закрытую культуру в организации. Спрашивая почему или если организация только на один показатель из двух, можно раскрыть эффективность использования этих показателей вместе.

Роли и ответственность?

Владелец справочника

При создании единого справочника уровня всей организации, используйте общие элементы для всех, чтобы обеспечить согласованность данных, так как согласованность данных необходима для качества данных. Должно ли быть владельцем BI подразделение? По крайней мере команда должна наблюдать и внедрять изменения. Кто бы не был ответственным, важно обеспечить доступ к данных, так как это показывает и способствует развитию лидерства в данных.

Так как лучше всего создавать справочники данных?

С командой по управлению данными

Совет по данным определяет инфраструктуру для справочников. Это может быть что-то простое как wiki страница, или Google spreadsheet или Excel с собранными вместе списком значений. При появлении инфраструктуры, начинайте работать с различными подразделениями в организации для популяризации справочников и выработки консенсуса о владельце данных и определений значений справочника. Заручитесь поддержкой людей работающими с этими данными, так как они как эксперты в этой области помогут вам в уточнении значений справочника и использования метрик данных. При этом убедитесь что заданные определения понятны всем, а не только людям работающим с этими значениями. 

Без команды по управлению данными

Что же делать в отсутствии команды. В маленькой организации вся ответственность может лечь на плечи одного человека. Хороший трехсторонний метод по внедрению справочников:

Создание прототипа: Возможно простого файла в Excel с набором полей для наиболее важных данных, включая элементы для создания Минимально жизнеспособного продукта.

Итеративный подход: Основная цель собрать сообщество для создания документации. Например открытие чата в корпоративном мессенджере позволит собрать обратную информацию и организовать обсуждение.

Популяризуйте: Организуйте сообщество вокруг нового стандарта и соберите их требования. Напомните заинтересованным сторонам о важности стандарта. Расскажите на примерах историю о тех проблемах и мучениях которые были при отсутствии единых справочников. 

Сопровождение справочников данных

С готовыми метриками, четко определенными и готовыми отслеживать производительность, справочники данных готовы к работе. Но кто будет их сопровождать и управлять ими во время работы? Организации всех размеров зачастую имеют несколько групп работающих с этими справочниками, поэтому распределение ответственности поможет поддерживать вовлеченность.Это способствует вовлеченности и порождает подход «самообслуживания» при работе со справочниками: если в описании поля есть контакт, этого человека могут необходимость уведомлять или согласовывать обновлени. 

Следующая стадия потребует расширения, редактирования или даже замены полей данных. Изменения необходимы так как бизнес меняется сам, но к ним нужно подходить прагматично. Любые изменения или новые определения должны исходить от заинтересованной команды в организации с участием команда по управлению данными в реализации и информировании. Поддерживайте осведомленность в компании о предстоящих изменениях. Если возможно приведите примеры и старого и нового определения для метрик, опишите эффекты возможных изменений. Обязательно убедитесь что информация обо всех изменениях задокументирована и ведётся лог изменений.

Фреймворк справочников данных

1. Создавайте актуальную документацию по справочникам. Начните с разработки шаблона для описания поля. Минимально необходимый набор вопросов который нужно задать:

Что значит это поле? Какую метрику или какие данные это поле описывает? Как данные собираются? Какие инструменты используются для сбора? Это исходные данные или производились  вычисления? Данные преобразовывались или трансформировались перед записью? Кто владелец данных? Как связаться с владельцем?

1. Особенно уделите внимание вопросам связанным с владельцем данных и организации взаимодействия с ним. Четко определите владельца: это группа людей, подразделение или один человек. Определите контакты для взаимодействия. 

1. Организуйте сообщество в корпоративном форуме или чате. Здоровое свойство любого управления справочниками данных это возможность организовать дискуссию о данных. Кроме непрекращающегося  сбора данных который происходит в режиме 24/7, люди запускают запросы в ночные часы и по выходным. Возможность коммуницировать через форум организации позволит демократизировать процесс общения.

1. Организуйте краудсорсинг комментарии и изменения в определениях. Как упоминалось ранее – изменения в справочниках данных скорей всего будут исходить из подразделений работающих с этими данными и наилучшим образом их понимающих. Тем не менее переходя к модели краудсорсинга внутри организации мы можем получить  максимум пользы. Всегда найдется человек внутри компании, чье нестандартное видение или активное участие поможет в создании справочника.

Компании должны рассматривать данные как один из типов валюты. Это ценные и незаменимые активы, при этом все в организации могут и должны увеличивать стоимость этих активов своей ежедневной работой. Вдохновляйте на участие и раскрытие недокументированных знаний внутри организации. Такой подход и будет создавать краудсорсинг вокруг ваших данных. Хотя такой подход может быть более рискованным, чем традиционный, он точно будет более эффективным.