Исследование и анализ надежности системы хранения данных в организации/предприятия

К 2012 году вычислительная инфраструктура проектирования практически исчерпала возможности имевшейся у NVIDIA СХД NetApp. Чтобы обеспечить поддержку постоянного создания инновационных решений, нужно было задействовать большее количество одновременно протекающих рабочих процессов и повысить производительность выполнения компьютерных заданий. Чтобы решить эту сложную задачу, была развернута СХД NetApp FAS6280 и FAS6290 с интеллектуальным кэшированием, повышающим пропускную способность, и консолидировали независимые системы в пары высокой готовности. Кроме того, перейдя на обновленную версию Data ONTAP, что позволило запускать больше параллельных сетевых потоков, обрабатывающих запросы на ввод-вывод, и обеспечило более сбалансированное использование всех ядер ЦПУ.NVIDIA тесно сотрудничали с техническими специалистами NetApp при проведении сравнительного тестирования и оптимизации системы хранения данных под конкретные инструменты автоматизации проектирования электронных устройств. При этом соответствующие рабочие процессы проектных групп никак не были затронуты. Конечным результатом развертывания дополнительных СХД NetApp, кэширования и других действий по оптимизации явилось повышение общей эффективности вычислительной фабрики более чем в два раза — с 2 миллионов до 4,5 миллиона компьютерных заданий в день. В каждый момент времени можно выполнять 60 000 компьютерных заданий. Возросло соотношение «процессорное время/фактическое время» — добились повышения этого показателя производительности на величину до 19% при компиляции и до 25% при выполнении моделирования.Рис. 14. Вычислительная фабрика проектирования NVIDIA с NetAppData ONTAP 8.2. Когда к одним и тем же файловым системам происходит обращение по протоколам NFS и CIFS, целостность данных полностью обеспечивается операционной системой Data ONTAP.Создание индивидуализированной и оптимизированной фабрики проектирования В NVIDIA высоко оценивают тот факт, что компания NetApp активно сотрудничает с поставщиками продукции на рынок полупроводниковых устройств в целях ускорения рабочих процессов, связанных с проектированием процессоров, и создания платформы СХД, способной поддержать весь цикл проектирования микросхем. NVIDIA часто встречается с техническими специалистами из группы автоматизации проектирования электронных устройств в NetApp, чтобы оптимизировать производительность среды, и эти встречи привели к следующим результатам: • Компания NetApp, которая тесно сотрудничает с RedHat, проинформировала специалистов относительно использования алгоритмов упреждающего считывания в ядре Linux® и обучила методам оптимизации запросов на ввод-вывод между клиентом и СХД. • Как и многие компании, занимающиеся проектированием полупроводниковых устройств, NVIDIA используем ПО для планирования выполнения заданий IBM Platform LSF. Компания NVIDIA с нетерпением ожидает возможности изучить подключаемый модуль контроля за СХД, разработанный в NetApp для ведения мониторинга и предоставления отчетов относительно ресурсов СХД, доступных заданиям, поставленным на выполнение на нашей вычислительной фабрике. Это позволит планировщику LSF принимать обоснованные решения при постановке заданий на выполнение, что снизит вероятность их аварийного завершения. • Различные инструментальные средства проектирования электронных устройств имеют различные потребности в ресурсах хранения, и NetApp предоставляет подробные рекомендации и инструкции по работе с каждым из них. Например, для инструментов верификации Synopsys VCS и для системы управления конфигурацией ПО Perforce, развернутых в решениях для СХД на основе NetApp Data ONTAP, предоставляются рекомендуемые практики, архитектура СХД, конфигурация и определение размера.Эффективность хранения данных как основа для сокращения времени вывода продукции на рынок Технологии NetApp играют важную роль в повышении эффективности, производительности и надежности вычислительной фабрики. Они дают нам возможность на одной и той же платформе повышать производительность рабочих нагрузок, осуществляющих последовательное обращение к данным, и рабочих нагрузок с произвольным обращением к данным. Результатом является сокращение времени вывода продукции на рынок. Повышение производительности операций произвольного чтения/записи небольших файлов СХД NetApp выполняет огромную работу по обработке запросов на ввод-вывод в NFS, причем частично это происходит благодаря файловой системе WAFL, которая произвела на меня самое сильное впечатление из всех решений NetApp. В файловой системе WAFL данные и метаданные не хранятся в фиксированных местах на диске. Метаданные записываются вместе с пользовательскими данными во временную структуру данных с целью минимизации количества дисковых операций, необходимых для сохранения данных. Очень маленькие файлы хранятся не в блоках диска, а в индексных дескрипторах, структурах самой файловой системы. В результате не тратится время на обращение к диску, что приводит к повышению производительности. Оптимизация операций чтения и экономия дискового пространства и потребления электроэнергии благодаря интеллектуальному кэшированию.Значительная часть рабочих нагрузок связана с операциями чтения, которые удалось ускорить с помощью технологии NetApp Flash Cache. Flash Cache кэширует недавно прочитанные данные и метаданные на подключенных к контроллеру платах PCIe, действуя как расширенный буфер WAFL на шине PCI и помогая обрабатывать очень большие наборы данных. NVIDIA тесно сотрудничали со специалистами NetApp при определении размера кэша Flash Cache, оптимального для рабочих нагрузок, и пришли к решению использовать платы PCIe на 512 ГБ и 1 ТБ. В результате коэффициент использования кэша всегда превышает 90%. Технология Flash Cache позволяет нам применять гибридную модель хранения данных, в которой высокопроизводительные диски SAS сочетаются с недорогими дисками SATA, обеспечивающими более высокую плотность размещения данных. Благодаря этому удается сводить к минимуму площадь, занимаемую СХД, и поддерживать невысокий уровень расходов. Для достижения теперешнего уровня производительности без применения Flash Cacheпотребовалось бы втрое больше дисковых полок и соответствующих ресурсов электроэнергии и охлаждения. Без Flash Cache использование в среде дисков SATA высокой емкости было бы невозможно, а масштабирование нашей вычислительной фабрики было бы затруднительно. NVIDIA бы уже переросли свои центры обработки данных. Интересный факт: энергоэффективность новых СХД NetApp позволила получить от электроэнергетической компании ретроспективную скидку в размере 200 000 долларов США после того, как расширили мощности вычислительной фабрики. Поддержание согласованности данных и снижение рисков Еще одной привлекательной функциональной возможностью СХД NetApp является создание моментальных копий Snapshot, которые представляют собой клоны активной файловой системы, основанные на использовании указателей и доступные только для чтения. В файловой системе WAFL применяется техника «копирование при записи», сводящая к минимуму объем дискового пространства, занимаемого моментальными копиями Snapshot. Это позволяет хранить копии баз данных на определенный момент времени, не жертвуя пространством хранения и не снижая производительность. Моментальные копии Snapshot помогают поддерживать согласованность данных, что чрезвычайно важно в среде проектирования, и уменьшать риск потери данных. Моментальные копии Snapshot являются очень удобным способом временной защиты данных, необходимость в которых отпадает после выполнения компьютерного задания. Это избавляет от необходимости удваивать расходы на их хранение. В среде с большим количеством файлов, такой как наша, моментальные копии Snapshot обеспечивают быстрое аварийное восстановление за счет простого перенаправления указателей в файловой системе. Если во время эксперимента возникнет нештатная ситуация, можно быстро восстановить известное состояние, используя копию данных, созданную по технологии Snapshot. Компания NVIDIA применяет технологии NetAppSnapVault для резервного копирования и NetAppSnapMirror® для репликации данных на узел аварийного восстановления в Сакраменто. Пять преимуществ СХД NetApp серии FAS6200 для рабочих процессов проектирования процессоров: • Вычислительная мощность. Один контроллер FAS6290 имеет 12 ядер процессоров, и все они используются для ускорения обработки данных, что позволяет выполнять больше параллельных заданий. • Память контроллера. Поскольку каждый контроллер допускает установку 96 ГБ памяти, метаданные можно кэшировать в основной памяти, что дает время отклика для метаданных менее 1 мс. Это критически важно при работе с наборами данных, содержащими большие объемы активных данных. • Сетевые технологии. Два чипа ввода-вывода в FAS6290 обеспечивают нам 72 сигнальных линии PCIeGen 2, а установка дополнительных коммутаторов дала возможность увеличить количество сигнальных линий в FAS6290 до 152. При этом совокупная внутренняя пропускная способность превышает 72 ГБ/с. • NetApp Flash Cache. Интеллектуальное кэширование на базе плат PCIe, подключенных к контроллеру, уменьшает количество дисков, необходимых для достижения такого же уровня производительности, и значительно сокращает время задержки отклика при операциях чтения. • Оптимизация RAID-групп. NetApp предоставляет гибкую возможность при необходимости изменять размер RAID-групп для рабочих нагрузок, выполняющих запись «черновых данных», что сводит к минимуму время задержки отклика. Кроме того, NVIDIA с выгодой используетдедупликациюNetApp, которую применяем для исключения избыточных блоков данных на конкретных томах. Фактически можно было задействовать на одного штатного сотрудника меньше. Это стало возможным только благодаря тому, что решения NetAppоблегчают и упрощают администрирование и управление данными объемом в 15 ПБ. NVIDIA использует управляющее ПО NetAppOnCommandUnifiedManager, предоставляющее показатели производительности и статистику использования ресурсов в удобной форме. Для выявления проблем в инфраструктуре хранения данных до того, как они скажутся на работе компьютерных заданий, используется технологию NetAppAutoSupport, которая с малым временем отклика отправляет предупреждения об отказе дисков и о других потенциальных проблемах.Экономическая частьРасчет фонда заработной платыДанный расчет будет производиться по должности Системного администратора, который занимается СХД в организации.Численность работников системного администрирования, устанавливают на основе штатного расписания. Специфика работы системного администратора обуславливается применением повременно-премиальной для рабочих.Фонд заработной платы подразделяется на часовой, суточный, месячный и годовой. В основе всех расчетов этих фондов лежит прямой фонд заработной платы по тарифам для повременщиков. Часовые тарифные ставки персонала берутся согласно штатного расписания.Таблица 1. Часовые тарифные ставки персонала, (руб.)ДолжностьНа работах с вредными условиями труда40- час. Рабочая неделя и 40-час. рабочая неделяПовременнаяСистемный администратор100 р/чГодовой фонд заработной платы рассчитывается исходя из планового количества рабочего времени на год на 1 рабочего и штатного расписания.Заработная плата обслуживающего персонала за год составляет (руб.): Фт = ФОТ×12=800×365=292.000 т.р.(1); Общий фонд составит 292.000 рублей, без вычета налогов, теперь посчитаем, сколько получит системный администратор за год уплатив налоги.=292.000×13/100=37.960, где является годовым налогам, которые равны 13% от годового Фт.Таким образом чистая заработная плата с вычетом налогов составитДоплата за работу в ночное время равна 40% от тарифной ставки, в вечернее - 20%. Фонд оплаты труда в ночное и вечернее время определяем по формуле:(2), гдеФ н.и в. - фонд оплаты за ночное и вечернее время, руб.;Нн. - норматив ночных. Нн. = 40%:Нв. - норматив вечерних, Нв. = 20%.Фонд оплаты труда в праздничные дни определяем по формуле: (3), где- фонд за работу в праздничные дни, руб.; Пр. - количество выходных/праздников в году; Фонд заработной платы системного администратора рассчитывается на основании должностных окладов и продолжительности работы. Расчет доплат к основным окладам аналогичен расчету доплат производственным рабочим. Найденный месячный фонд заработной платы ИТР умножают на калькуляционную единицу и делят на месячную производительность.9.Безопасность жизнедеятельностиС развитием научно-технического прогресса немаловажную роль играет возможность безопасного исполнения людьми своих трудовых обязанностей. В связи с этим была создана и развивается наука о безопасности труда и жизнедеятельности человека.Безопасность жизнедеятельности (БЖД) - это комплекс мероприятий, направленных на обеспечение безопасности человека в среде обитания, сохранение его здоровья, разработку методов и средств защиты путем снижения влияния вредных и опасных факторов до допустимых значений, выработку мер по ограничению ущерба в ликвидации последствий чрезвычайных ситуаций мирного и военного времени .Цель и содержание БЖД:обнаружение и изучение факторов окружающей среды, отрицательно влияющих на здоровье человека;ослабление действия этих факторов до безопасных пределов или исключение их если это возможно;ликвидация последствий катастроф и стихийных бедствий.Круг практических задач БЖД прежде всего обусловлен выбором принципов защиты, разработкой и рациональным использованием средств защиты человека и природной среды от воздействия техногенных источников и стихийных явлений, а также средств, обеспечивающих комфортное состояние среды жизнедеятельности.Охрана здоровья трудящихся, обеспечение безопасности условий труда, ликвидация профессиональных заболеваний и производственного травматизма составляет одну из главных забот человеческого общества. Обращается внимание на необходимость широкого применения прогрессивных форм научной организации труда, сведения к минимуму ручного, малоквалифицированного труда, создания обстановки, исключающей профессиональные заболевания и производственный травматизм.На рабочем месте должны быть предусмотрены меры защиты от возможного воздействия опасных и вредных факторов производства. Уровни этих факторов не должны превышать предельных значений, оговоренных правовыми, техническими и санитарно-техническими нормами. Эти нормативные документы обязывают к созданию на рабочем месте условий труда, при которых влияние опасных и вредных факторов на работающих либо устранено совсем, либо находится в допустимых пределах.9.1 Характеристика условий труда системного администратораНаучно-технический прогресс внес серьезные изменения в условия производственной деятельности работников умственного труда. Их труд стал более интенсивным, напряженным, требующим значительных затрат умственной, эмоциональной и физической энергии. Это потребовало комплексного решения проблем эргономики, гигиены и организации труда, регламентации режимов труда и отдыха.В настоящее время компьютерная техника широко применяется во всех областях деятельности человека. При работе с компьютером человек подвергается воздействию ряда опасных и вредных производственных факторов: электромагнитных полей (диапазон радиочастот: ВЧ, УВЧ и СВЧ), инфракрасного и ионизирующего излучений, шума и вибрации, статического электричества и др. Работа с компьютером характеризуется значительным умственным напряжением и нервно-эмоциональной нагрузкой операторов, высокой напряженностью зрительной работы и достаточно большой нагрузкой на мышцы рук при работе с клавиатурой ЭВМ. Большое значение имеет рациональная конструкция и расположение элементов рабочего места, что важно для поддержания оптимальной рабочей позы человека-оператора.В процессе работы с компьютером необходимо соблюдать правильный режим труда и отдыха. В противном случае у персонала отмечаются значительное напряжение зрительного аппарата с появлением жалоб на неудовлетворенность работой, головные боли, раздражительность, нарушение сна, усталость и болезненные ощущения в глазах, в пояснице, в области шеи и руках.9.2 Требования к производственным помещениям9.2.1 Окраска и коэффициенты отраженияОкраска помещений и мебели должна способствовать созданию благоприятных условий для зрительного восприятия, хорошего настроения.Источники света, такие как светильники и окна, которые дают отражение от поверхности экрана, значительно ухудшают точность знаков и влекут за собой помехи физиологического характера, которые могут выразиться в значительном напряжении, особенно при продолжительной работе. Отражение, включая отражения от вторичных источников света, должно быть сведено к минимуму. Для защиты от избыточной яркости окон могут быть применены шторы и экраны.В зависимости от ориентации окон рекомендуется следующая окраска стен и пола:окна ориентированы на юг: - стены зеленовато-голубого или светло-голубого цвета; пол - зеленый;окна ориентированы на север: - стены светло-оранжевого или оранжево-желтого цвета; пол - красновато-оранжевый;окна ориентированы на восток: - стены желто-зеленого цвета;пол зеленый или красновато-оранжевый;окна ориентированы на запад: - стены желто-зеленого или голубовато-зеленого цвета; пол зеленый или красновато-оранжевый.В помещениях, где находится компьютер, необходимо обеспечить следующие величины коэффициента отражения: для потолка: 60…70%, для стен: 40…50%, для пола: около 30%. Для других поверхностей и рабочей мебели: 30…40%.Во время пользования компьютером медики советуют устанавливать монитор на расстоянии 50-60 см от глаз. Специалисты также считают, что верхняя часть видеодисплея должна быть на уровне глаз или чуть ниже. Когда человек смотрит прямо перед собой, его глаза открываются шире, чем когда он смотрит вниз. За счет этого площадь обзора значительно увеличивается, вызывая обезвоживание глаз. К тому же если экран установлен высоко, а глаза широко открыты, нарушается функция моргания. Это значит, что глаза не закрываются полностью, не омываются слезной жидкостью, не получают достаточного увлажнения, что приводит к их быстрой утомляемости.Создание благоприятных условий труда и правильное эстетическое оформление рабочих мест на производстве имеет большое значение как для облегчения труда, так и для повышения его привлекательности, положительно влияющей на производительность труда.ЗАКЛЮЧЕНИЕВ ходе выполнения дипломной работы удалось исследовать и проанализировать средства хранения данных более углубленно.Удалось рассмотреть и изучить виды современных систем хранения данных в предприятии и выделить их преимущества. Были рассмотрены технологии, использовавшиеся в прошлом и настоящем, описаны их преимущества и недостатки.В Дипломной работе были рассмотрены устройства подключения, трансляции и хранения данных, что позволило иметь представление о работе средств хранения данных.Следует отметить, что удалось рассмотреть три версии СХД от компании Intel, описание типов и требований к средствам хранения данных.Был рассмотрен мировой и российский рынок средств хранения данных, сделаны прогнозы, а также выделены перспективы СХД.Так же было проведено исследование средств хранения данных на примере компании NVIDIA.В ходе дедупликации обнаруживаются идентичные блоки данных, которые заменяются ссылками на один разделяемый блок. Это особенно хорошо сочетается с Perforce, нашей системой управления конфигурацией ПО, в которой поддерживается множество копий, содержащих большое количество дублированных данных. На этих томах NVIDIA сократили потребность в дисковом пространстве на 30%. Управление большим объемом ресурсов хранения данных при меньшем количестве персонала. Несмотря на то, что дисковое пространство СХД в вычислительной фабрике значительно увеличилось, NVIDIA не расширили штат сотрудников, обслуживающих инфраструктуру, и бюджет не увеличился в течение года. СписокиспользуемойлитературыInvestigation: Is Your SSD More Reliable Than A Hard Drive? // [сайт]. [1999]. URL: http://www.tomshardware.com/reviews/ssd-reliabilityfailure-rate,2923.html (дата обращения: 19.03.2013)Гаврилин А.П. Применение электронно-микрографических технологий для сохранения и оперативного доступа к документированной информации // Успехи современного естествознания. 2008. № 11. С. 62-64.Денис Голубев , Алексей Лобанов -- Сети хранения данных (SAN). -- JetInfo, 9, 2002Гаврилин А.П., Завалишин П.Е. Основные направления современных зарубежных исследований по проблеме сохранения цифровой информации на микрофильмах // РАЕ. Фундаментальные исследования. 2012. № 3. С. 72-77.http://www.cnews.ru/reviews/free/infrastructure2010/articles/articles2.shtml - СХД в России: программный RAID возвращаетсяhttp://www.cnews.ru/news/top/kruglyj_stol_cnews_rynok_shd_realii - Круглый стол CNews: «Рынок СХД: реалии и перспективы»http://timcompany.ru/article47.html - СХД: тенденции и перспективыСафаров Т.А. Технология штрихового кодирования. Уфа: Башкортостан, 2006. 203 с. http://citforum.ru/hardware/data/overview/ - Современные системы хранения данных.Stan Stringfellow ,MiroslavKlivansky , Michael Barto , Michael Barton -- Backup and Restore Practices for the Enterprise. -- Prentice Hall PTR., ISBN: 013089401XAllan N. Packer -- Configuring and Tuning Databases on the Solaris Platform. - Sun Microsystems Press., ISBN: 0130834173Configuring and Tuning Oracle Storage with VERITAS Database Edition for Oracle. Best Practices for Optimizing Performance and Availability for Oracle Databases on Solarishttp://www.osp.ru/news/articles/2011/10/13007176/ - Хранилища данных должны приносить доход.Степанов Е.А., Корнеев И.Н. Информационная безопасность и защита информации: учеб. пособие. М.: Инфра-М, 2004. 304 с.http://www.sib.com.ua/arhiv_2009/2009_3/shd/3_2_2009.htm - СХД для «середнячков».http://www.it.ru/press_center/publications/1385/ - ИТ-инфраструктура: тенденции года минувшего, перспективы наступившего.ПРИЛОЖЕНИЕ АИзменение уровня RAIDНовый уровень RAID Существующие уровни RAIDRAID 0RAID 1RAID 2RAID 3RAID 4RAID 5RAID 6RAID 0 ≥ RAID 1  >   RAID 2  ≥ *2 ≥ *2 ≥ ≥ (-1)*2 ≥ (-1)*2≥ (-1)*2 ≥ (-2)*2RAID 3  ≥ +1 ≥ +1 ≥ ≥ ≥ RAID 4 ≥ +1 ≥ +1 ≥ ≥ ≥ RAID 5 ≥ +1 ≥ +1 ≥ ≥ ≥ RAID 6 ≥ +2 ≥ +1 ≥ +1 ≥ +1 ≥ - изменение всегда возможно. - количество дисков. - изменение возможно только при количестве дисков в новом RAID большем или равном указанному.- такое изменение уровня RAID невозможно.ПРИЛОЖЕНИЕ БТермины и определенияСеть хранения данных (СХД) — является архитектурным решением для подключения различных аппаратов хранения данных, которыми являются дисковые массивы, ленточные библиотеки, так, чтобы ОС распознала подключённые ресурсы.DirectAttachedStorage – является прямым подключением к серверу (Персональному компьютеру).NetworkAttachedStorage СХД— это локальные СХД, которые подключаются к сети как локальный маршрутизатор.CIFS — является протоколом, он должен обеспечивать доступ к данным на удаленных ПК.DAFS — это обычный протокол доступа. DAFS дает возможность задачам отправлять информацию в обход ОС прямо к ресурсам.SAN — это комплексное решение, которое представляет собой специальную инфраструктуру для ХД. Коммутатор — это высокоскоростное устройство, которое обеспечивает подключение и обрабатывает несколько одновременных подключений. RAID-Z- это массив, который состоит из блоков фиксированного размера, с которого может быть чтение или запись данных.