Проектирование и разработка процесса ETL

Каждую стрелочку на диаграмме необходимо пронумеровать и задать комментарий. Комментарий служит напоминанием для разработчиков разработчикам о том, что необходимо следить за целостностью ссылочных данных.На данном этапе планирования необходимо зафиксировать все обнаруженные расхождения в назначении данных и схемах кодирования.Успешность планирования ETL-процесса во многом зависит от выбораETL-инструментов [11]. Компаниями производителями комплексных решений в области ХД (IBM, Oracle, MicroSoft) предоставляется большой выбор таких инструментов. Выбор оптимальныхETL-инструментов должен быть произведендо начала этапа детального планирования.ETL-процедуры можно разработать вручную или можно воспользоваться специализированными средствами ETL.Выбор метода разработки процедур ETL определяется требованиями к подсистеме загрузки данных в каждом случае индивидуально.Преимущества «ручного» способа:возможность использования популярныхспособов программирования, например, объектно-ориентированного программирования;применениеряда существующих методик и программных средств, для автоматизации процесса тестирования процедур загрузки данных;доступны квалифицированные человеческие ресурсы;применение оптимального производительного решения с использованием преимуществ систем управления базами данных (СУБД);возможность принятия наиболее гибкого решения.Применение ETL-инструментов:снижение сложности процесса разработки, и, что очень важно, процесса поддержания и модификации процедур ETL;уменьшение времени разработки системы, применение заготовок, которые поставляются со средствами ETL;использование встроенных систем управления метаданными, которые обеспечивают синхронизацию метаданных между СУБД средством ETL, а также инструментами визуализации данных;автоматическая документацияразработанных процедур;возможность увеличения производительности подсистемы загрузки данных за счет распараллеливания вычислений в различных точках системы, применение хеширования др.Детализированные планы преобразования данных составляются для всех таблиц, участвующих в процессе преобразования.Детальное планирование выполняется руководителем проекта создания ХД и включает в себя учет различных факторов, связанных со спецификой предметной области ХД. ВыводыРазработка ETL-процесса включает в себя следующие стадии:Планирование ETL-процесса;Конструирование процесса заполнения таблиц измерений;Конструирование процесса заполнения таблиц фактов;Извлечение данных;Преобразование и очистка данных;Загрузка данных.При проектировании процессов преобразования данных проектировщик ХД должен выполнить следующие действия:Проанализировать требования к данным ХД;Проанализировать и описать источники данных для ХД;Создать модель преобразования данных высокого уровня;Определить и подробно описать каждую задачу преобразования данных ;Краткий словарь терминовETL(extraction, transformation, loading) - комплекс методов, реализующих процесс переноса исходных данных из различных источников в аналитическое приложение или поддерживающее его хранилище данных.Диаграмма движения данных- (Data flow diagram, DFD) используются для описания документооборота и обработки информации.Диаграмма преобразования данных- методология графического структурного анализа, описывающая внешние по отношению к системе источники и адресаты данных, логические функции, потоки данных и хранилища данных, к которым осуществляется доступ диаграммы управления.БД (база данных) -представленная в объективной форме совокупность самостоятельных материалов, систематизированных таким образом, чтобы эти материалы могли быть найдены и обработаны с помощью электронной вычислительной машины.Метаданные - информация о другой информации, или данные, относящиеся к дополнительной информации о содержимом или объекте.MPP- массово-параллельная архитектура (англ. massive parallel processing, MPP, также «массивно-параллельная архитектура») - класс архитектур параллельных вычислительных систем. Особенность архитектуры состоит в том, что память физически разделена.CASE (англ. computer-aidedsoftwareengineering) — набор инструментов и методов программной инженерии для проектирования программного обеспечения, который помогает обеспечить высокое качество программ, отсутствие ошибок и простоту в обслуживании программных продуктов.ERP-система (англ. Enterprise Resource Planning System) -система планирования ресурсов предприятия) — корпоративная информационная система (кис), предназначенная для автоматизации учета и управления.ХД – хранилище данных. Служит для хранения преобразованных в необходимый для дальнейшего анализа данных в системе ETL.ЛитератураПаклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям.: СПб.: Питер, 2013.-704 с..Федоров А. Елманова Н. Введение в OLAP-технологии Microsoft.: Диалог-МИФИ.:2002.-172 с. Арменак Б., Куприянов М., Степаненко В., Холод И. Технологии анализа данных. Data Mining, Visual Mining, Text Mining, OLAP.:БХВ-Петербург.:СПб.: 2007.-384.Голицына, О.Л. и др. Базы данных; Форум; Инфра-М, 2013. - 399 c.Гринченко, Н.Н. и др. Проектирование баз данных. СУБД Microsoft Access; Горячая Линия Телеком, 2012. - 613 c.Тараканов В.Е.Агрегирование данных мультисенсоров в беспроводных сенсорных сетях. НИТПУ.: Томск.: 2012.-92 с.Туманов В.Е. Системы складирования данных. Архитектура, продукты и подходы к реализации. Машиностроитель. – 2003. –№ 8. – С. 58-65.Архипенков С. Аналитические системы на базе ORACLE Express OLAP. Проектирование, создание, сопровождение. М.: Диалог-МИФИ, 2000. – 320 с.Маклаков С.В., Матвеев Д.В. Анализ данных. Генератор отчетов Crystal Reports.: СПб.: БХВ-Петербург, 2003. – 496 с.Маклаков С.В. Bpwin и Erwin. CASE-средства разработки информационных систем. М.: Диалог-МИФИ», 1999. – с. 256/Архипенков С., Голубев Д., Максименко О. Хранилища данных. От концепции до внедрения/ М.: Диалог-МИФИ, 2002. – 528 с.http://www.datuapstrade.lv/rus/spss/http://www.intuit.ruhttp://bourabai.ruhttps://www.prj-exp.ru