Инфраструктура построения разметки данных

Заказать уникальную дипломную работу
Тип работы: Дипломная работа
Предмет: Информационные технологии в экономике
  • 5050 страниц
  • 29 + 29 источников
  • Добавлена 22.05.2019
3 000 руб.
  • Содержание
  • Часть работы
  • Список литературы
  • Вопросы/Ответы
Содержание

Введение 3
1.Теоретияческая часть 5
1.1. Описание технологии разметки в сервисе "Яндекс.Толока" 5
1.2. Анализ технологий машинного обучения 13
1.3. Анализ технологий распознавания графических образов 20
2. Аналитическая часть 28
2.1. Анализ бизнес-процессов использования технологий разметки 28
2.2. Пример работы системы разметки данных в сервисе Яндекс.Толока 35
3. Оценка экономической эффективности 40
3.1. Выбор и обоснование методики расчета экономической эффективности 40
3.2 Расчет показателей экономической эффективности проекта 41
Заключение 48
Список использованных источников 50

Фрагмент для ознакомления

На рисунке 21 показана настройка разметки по качеству графического материала. На рисунке 22 показан режим поиска дублей организации.Рисунок 20 - Настройка выдачи видеоизображений по критерию качества видеоРисунок 21 - Настройка разметки по качеству графического материалаРисунок 22 - Режим поиска дублей организацииКак показано на рисунке 22, при наличии признаков дублирования в большинстве ответов исполнителей, поисковая система при выдаче результатов запроса будет учитывать наличие дублей. На рисунке 23 приведен режим поиска идентификациирезультатов выдачи по возрастному ограничению.На рисунке 24 показан режим идентификации картинки по чёткому соответствию.Рисунок 23 - Режим поиска идентификации результатов выдачи по возрастному ограничениюРисунок 24 - Режим идентификации картинки по чёткому соответствиюТаким образом, в ходе анализа технологии работы системы было показано, что сервисы разметки данных позволяют оптимизировать результаты выдачи данных по поисковым запросам в соответствии с определёнными критериями.3. Оценка экономической эффективности3.1.Выбор и обоснование методики расчета экономической эффективностиЭкономический эффект от внедрения системы достигается за счет как прямого эффекта (сокращение временных затрат на выполнение технологических операций), так и косвенного эффекта – получение дополнительных возможностей за счет повышения эффективности использования трудовых и материальных ресурсов.Расчет экономического эффекта от внедрения системы проведем через оценку снижения трудозатрат на выполнение основных технологических операций, снижения затрат на оплату труда сотрудников в сопоставлении со стоимостью внедрения и сопровождения системы. В случае превышения экономии на трудозатратах значения капиталовложений с учетом дисконтирования проект признается эффективным.Расчет экономической эффективности проекта произведем на основе расчета затрат на осуществление проекта автоматизации – разработка ИС.Сравнение индивидуального проектирования, который мы выбрали для нашей компании в создании ИС с методами, использующими пакеты программ или модельного проектирования может быть осуществлен в рамках нашего проекта с привлечением опыта создания пакета прикладных программ силами коллективов программистом. Для коллектива программистов требуется обязательно наличие руководителя проекта – системного программиста, который осуществляет системную разработку проекта и распределяет его разные участки между разработчиками. Здесь требуются организаторские способности, способности увидеть сильные стороны каждого программиста – участника проекта и талант, чтобы оптимальным образом распределить разные участки проекта между всеми его участниками. Требуется согласованная работа всех участников, составление плана работа, его периодическая сверка и возможная модификация в связи с непредвиденными или обычными обстоятельствами. Очень много таких проектов были провалены из-за некомпетентности их руководителя, который хотя сам и мог быть профессиональным программистом, но как руководитель группы программистов он оказался дилетантом и своей безграмотность в руководстве, неумения заметить сильные и слабые стороны участников проекта являлся причиной провала проекта. Сложность такого проекта и его трудоемкость, время ёмкость и затраты финансов в разы и десятки раз превышают затраты финансов в случае индивидуальной разработки. В этом преимущество индивидуальной разработки.Недостатки индивидуальной разработки сводятся в основном ксравнительно невысокому качеству разработанного программного обеспечения (за исключением редких случаев) из-за ограниченного количества человеко-часов разработки, из-за применения простейших средств разработки, исключающих обычно создания сложнейший объектное и предметно ориентированных схем и методов программирования и соответствующих программных библиотек, сведения процесса разработки программного обеспечения в основном к методам структурного программирования, уступающего по глубине и эффективности методам ООП (объектно-ориентированного программирования).При расчетах примем что разрабатывать ИС будет программист, который получает зарплату 20 000 рублей в месяц, таким образом мы избежим серьезных финансовых затрат на создание программного обеспечения. После разработки будет этап тестирования, в котором примет участие оператор (заработная плата – 15000 рублей в месяц) и этап внедрения в эксплуатацию.3.2 Расчет показателей экономической эффективности проектаЭкономическая эффективностьразработки, приведенной в данном проекте,связана с сокращением временных затрат на выполнение основных технологических операций, связанных с получением релевантного списка выдачи по пользовательским запросам.Далее проведем расчет исходных показателей по трудовым и стоимостным затратам при базовом варианте организации выдачи пользовательских запросов. В таблице 3.1 представлена оценка трудовых и стоимостных затрат при базовом варианте организации учета транспортных издержек.Таблица 3.1 Расчет трудовых и стоимостных затрат при базовом варианте организации№ Наименованиемодуля  Число док-товв год Qдгод(ед)Трудозатраты Тдок(чел/час) Годовые трудозатратыГодоваяЗ/п сотрудника Сгодз/п(руб)Величина доп. расходов Сгод iдоп(руб) Годовые доп. расходы  Итоговые затраты  затраты за год  1Ведение учета типовых поисковых запросов12000.5600120000560001260002Учет критериев классификации запросов400.520400028040803Учет ограничений на выдачу12000.5600120000560001260004Анализ требований к ограничению выдачи рекламных и СПАМ-материалов120.11.22405603005Формирование пакета документов по услугам перевозок90000.054509000019000990006Формирование отчета по сотрудникам, проводящим разметку1211224002024026407Анализ расходов на модернизацию системы выдачи данных121.51836002024038408Отсев некачественно работающих исполнителей121.5183600202403840 Всего:  1719.2   365700Далее проведем расчет исходных показателей трудовых и стоимостных затрат при внедрении системы разметки данных. В таблице 3.2 показан расчет по трудовым и стоимостным затратам при внедрении разработанной системыТаблица 3.2 Расчет трудовых и стоимостных затрат при автоматизированном варианте организации№ Наименованиемодуля  Число док-товв год Qдгод(ед)Трудозатраты Тдок(чел/час) Годовые традозатратызатраты за годГодоваяЗ/п сотрудника Сгодз/п(руб)Величина доп. расходов Сгод i доп(руб) Годовые доп. расходы  Итоговые затраты  1Ведение учета типовых поисковых запросов12000.11202400022400264002Учет критериев классификации запросов400.1480031209203Учет ограничений на выдачу12000.11202400022400264004Анализ требований к ограничению выдачи рекламных и СПАМ-материалов120.050.61202241445Формирование пакета документов по услугам перевозок90000.054509000019000990006Формирование отчета по сотрудникам, проводящим разметку120.22.44802245047Анализ расходов на модернизацию системы выдачи данных120.22.44802245048Отсев некачественно работающих исполнителей120.22.4480224504 Всего:  701.8   154376Полученные результаты:Оценка годовых стоимостных и трудовых затрат при отсутствии автоматизированной системы:Оценка годовых стоимостных и трудовых затраты при внедрении разработанной системы:Далее проведем расчёт единовременных капитальных затрат на проведение разработки и внедрения системы (КП).Данные затраты включаютсумму оплаты труда разработчиков системы, оплату труда сотрудников, задействованных в процессе проектирования и внедрения системы, а такжепроведем оценку дополнительных затрат.Проведем оценку параметров снижения трудозатрат.1. Оценка абсолютного снижения трудозатрат (Т)Таким образом, общее снижение трудоемкости технологии учета заказов на перевозки составляет 1018 часов.2. Проведем оценку коэффициента относительного сокращения трудозатрат (КТ)Сокращение трудозатрат составило 59 процентов.3. Проведем оценку индексасокращения трудозатрат, повышения производительности труда (YT)Сокращение трудозатрат составило 2,5 раза.Проведем оценку сокращениястоимостных показателей.1. Оценка абсолютного снижения стоимостных затрат ()Таким образом, при внедрении информационной системы оценкагодовой экономиив технологии разметки данных составит 211324 рубля.2 проведем оценку значения коэффициента относительного сокращения стоимостных затрат ()Сокращение финансовых затрат на работу по разметке данных составляет 57,7 процента.3. Индекс снижения стоимостных затрат (YT)Сокращение стоимостных затрат оценивается в 2,37 раза.Проведем оценку периода окупаемости проекта.года ≈ 10,5 мес. Таким образом, вложенные в разработку капитальные затраты окупаются приблизительно в течение 10 месяцев, что, на первый взгляд, говорит о не очень высокой экономической эффективности инвестирования в информационную систему. Однако срок внедрения данной системы является очень невысоким, при этом уже производится оценка затрат на внедрение, следовательно, данный срок окупаемости такой системы вполне приемлем.По результатам анализа рассчитанных параметров эффективности можно сделать заключение, что проведение разработки и внедрения информационной системы приводит к сокращению как издержекиспользования рабочего времени, так и финансовых издержек.Снижение эффекта от длительности срока окупаемости связано с необходимостью прямого бюджетного финансирования со стороны предприятия. На рисунке 25показана диаграмма временных затрат на выполнение технологических операций до и после внедрения проекта, на рис.26 – стоимостных затрат.Рисунок 25 – Диаграмма временных затратРисунок 26 – Диаграмма стоимостных затратКак видно из диаграммы – затраты на разработку ИС превышают затраты при обычной работе в той же части занятых сотрудников на 15 тысяч рублей. На этапе анализа экономической эффективности была проведена оценка временных затрат на выполнение операций по поиску необходимых данных в условиях средней организации до и после внедрения системы и проведена оценка экономического эффекта от внедрения системы. ЗаключениеВ рамках данной работы проведен анализ технологии разметки данных. В условиях постоянного роста объемов накопленной в Интернете информации актуальность приобретают вопросы оптимизации поисковых запросов в целях получения ссылок, в максимальной степени соответствующих пользовательскому запросу.Задача оптимизации поисковых запросов, связанная с разметкой данных, предполагает необходимость привлечения удаленных сотрудников, проводящих оценивание объектов, попадающих в список выдачи по множеству характеристик, к которым относятся: качество, возможность распознавания, возможность открытия в браузерах.Также учитывается ряд дополнительных характеристик, к которым относятся: наличие возрастных и иных ограничений. Более сложные запросы отрабатываются с привлечением квалифицированных специалистов, способных провести их компетентный анализ.В рамках данной работы рассмотрена специфика работы сервиса Яндекс.Толока, анализ взаимодействия с сотрудниками, порядок отсева некачественно отработанной информации.Полученные массивы данных по разметке возможно использовать в системах машинного обучения с тем, чтобы в дальнейшем проводить обработку мультимедиа-материала без привлечения сторонних сотрудников.В рамках данной работы проведено решение задач:- анализ технологии разметки данных;- анализ организации работы системы Яндеккс.Толока;- анализ использования систем машинного обучения как инструмента работы с поисковыми запросами;- анализ машинных технологий распознавания изображений;- анализ бизнес-процессов технологии разметки данных;- оценка экономической эффективности использования системы разметки данных.Экономическая эффективность системы связана с возможностью сохранения и расширения Интернет-аудитории поисковых сервисов за счет обеспечения качества выдачи информации по запросам.Список использованных источниковЯндекс.Толока. О проекте [Электронный ресурс]. Режим доступа: https://toloka.yandex.ru/Шпаков, П. С. Основы компьютерной графики [Электронный ресурс] : учеб. пособие / П. С. Шпаков, Ю. Л. Юнаков, М. В. Шпакова. – Красноярск : Сиб. федер. ун-т, 2014.Гвоздева, В.А. Базовые и прикладные информационные технологии: Учебник / В.А. Гвоздева. - М.: ИД ФОРУМ: НИЦ ИНФРА-М, 2014. - 384 с.Шнякин, А.В. Компьютерная графика и web-дизайн: Учебное пособие / Т.И. Немцова, Т.В. Казанкова, А.В. Шнякин. - М.: ИД ФОРУМ: НИЦ ИНФРА-М, 2014. - 400 с.Тозик, В.Т. Инженерная и компьютерная графика: Учебное пособие / Большаков В.П., Тозик В.Т., Чагина А.В. - СПб:БХВ-Петербург, 2013. - 288 с.Никулин, Е.А. Компьютерная геометрия и алгоритмы машинной графики: Пособие / Никулин Е.А. - СПб:БХВ-Петербург, 2015. - 554 с.Боченина Н.В., Пикулик О.В., Боченина Н.В. Информационные технологии. - М.: Альфа-М: ИНФРА-М, 2013. - 336 с.Ветрова О.А. Операционные системы и базы данных. - М.: МГУДТ, 2013. - 40 с.Гагарина Л.Г., Румянцева Е.Л., Слюсарь В.В. Информационные технологии. - М.: ИД ФОРУМ: НИЦ Инфра-М, 2013. - 256 с.Гвоздева В.А. Базы и банки данных. - М.: Альтаир-МГАВТ, 2015. - 76 с.Гофман В.Э. Хомоненко А.Д., Работа с базами данных в Delphi. - СПб:БХВ-Петербург, 2014. - 628 с.Дадян Э. Г., Зеленков Ю. А. Методы, модели, средства хранения и обработки данных: учебник. - Москва : Вузовский учебник, 2016. - 167с.Дадян Э.Г. Современные базы данных. Часть 2: практические задания: Учебно-методическое пособие. - М.: НИЦ ИНФРА-М, 2017. - 68 с.Зайцев А.В. Информационные системы в профессиональной деятельности [Электронный ресурс]: Учебное пособие. - М.: РАП, 2013. - 180 с.Затонский А.В. Информационные технологии: разработка информационных моделей и систем. - М.: ИЦ РИОР: НИЦ ИНФРА-М, 2014. - 344с.Златопольский Д.М. Программирование: типовые задачи, алгоритмы, методы - 3-е изд., (эл.) - М.: БИНОМ. ЛЗ, 2015. - 226 с.Карпузова В.И., Скрипченко, К.В. Чернышева, Н.В. Информационные технологии в менеджменте. - М.: Вузовский учебник: НИЦ ИНФРА-М, 2014. – 256с.Колдаев В.Д. Структуры и алгоритмы обработки данных. - М.: ИЦ РИОР: НИЦ ИНФРА-М, 2014. - 296 с.Коннолли Т., Бегг К. Базы данных: проектирование, реализация и сопровождение: теория и практика. - Москва: Вильямс, 2017. - 1439 с.Коряковский А.В. Информационные системы предприятия: Учебное пособие. - М.: НИЦ ИНФРА-М, 2016. - 283 с.Лубянская Э.Б. Информационные системы в экономике: учебное пособие. - Воронеж: ФГБОУ ВО "Воронежский государственный технический университет", 2017. - 140 с.Медведев М.А. Разработка информационных систем. Учебное пособие. - М.: Флинта, Изд-во Урал. ун-та, 2017. - 64 с.Окулов С.М. Программирование в алгоритмах. - 6-е изд., (эл.) - М.: Лаборатория знаний, 2017. - 386 с.Польшакова Н.В., Коломейченко А.С., Яковлев А.С. Информационные системы в экономике: [учебник]. - Москва : Буки Веди, 2016. - 480 с.Попов Б. Н. Администрирование информационных систем : учебное пособие. - Санкт-Петербург: Изд-во ГУМРФ имени адмирала С.О. Макарова, 2018. - 95 с.Селяничев О. Л. Администрирование информационных систем: учебное пособие. - Череповец: ФГБОУ ВО "Череповецкий государственный университет", 2017. - 99 с.Титоренко Г.А. Информационные системы в экономике/ 2-е изд. - М.: ЮНИТИ-ДАНА, 2015. - 463 с.Черников Б.В. Информационные технологии управления. - М.: ИД ФОРУМ: НИЦ ИНФРА-М, 2014. - 368 с.Шипулин Л. В., Сазонова Н. С. Поисковые системы: учебное пособие. - Челябинск: ЮУрГУ, 2016. - 96 с.


1. Яндекс.Толока. О проекте [Электронный ресурс]. Режим доступа: https://toloka.yandex.ru/
2. Шпаков, П. С. Основы компьютерной графики [Электронный ресурс] : учеб. пособие / П. С. Шпаков, Ю. Л. Юнаков, М. В. Шпакова. – Красноярск : Сиб. федер. ун-т, 2014.
3. Гвоздева, В.А. Базовые и прикладные информационные технологии: Учебник / В.А. Гвоздева. - М.: ИД ФОРУМ: НИЦ ИНФРА-М, 2014. - 384 с.
4. Шнякин, А.В. Компьютерная графика и web-дизайн: Учебное пособие / Т.И. Немцова, Т.В. Казанкова, А.В. Шнякин. - М.: ИД ФОРУМ: НИЦ ИНФРА-М, 2014. - 400 с.
5. Тозик, В.Т. Инженерная и компьютерная графика: Учебное пособие / Большаков В.П., Тозик В.Т., Чагина А.В. - СПб:БХВ-Петербург, 2013. - 288 с.
6. Никулин, Е.А. Компьютерная геометрия и алгоритмы машинной графики: Пособие / Никулин Е.А. - СПб:БХВ-Петербург, 2015. - 554 с.
7. Боченина Н.В., Пикулик О.В., Боченина Н.В. Информационные технологии. - М.: Альфа-М: ИНФРА-М, 2013. - 336 с.
8. Ветрова О.А. Операционные системы и базы данных. - М.: МГУДТ, 2013. - 40 с.
9. Гагарина Л.Г., Румянцева Е.Л., Слюсарь В.В. Информационные технологии. - М.: ИД ФОРУМ: НИЦ Инфра-М, 2013. - 256 с.
10. Гвоздева В.А. Базы и банки данных. - М.: Альтаир-МГАВТ, 2015. - 76 с.
11. Гофман В.Э. Хомоненко А.Д., Работа с базами данных в Delphi. - СПб:БХВ-Петербург, 2014. - 628 с.
12. Дадян Э. Г., Зеленков Ю. А. Методы, модели, средства хранения и обработки данных: учебник. - Москва : Вузовский учебник, 2016. - 167с.
13. Дадян Э.Г. Современные базы данных. Часть 2: практические задания: Учебно-методическое пособие. - М.: НИЦ ИНФРА-М, 2017. - 68 с.
14. Зайцев А.В. Информационные системы в профессиональной деятельности [Электронный ресурс]: Учебное пособие. - М.: РАП, 2013. - 180 с.
15. Затонский А.В. Информационные технологии: разработка информационных моделей и систем. - М.: ИЦ РИОР: НИЦ ИНФРА-М, 2014. - 344с.
16. Златопольский Д.М. Программирование: типовые задачи, алгоритмы, методы - 3-е изд., (эл.) - М.: БИНОМ. ЛЗ, 2015. - 226 с.
17. Карпузова В.И., Скрипченко, К.В. Чернышева, Н.В. Информационные технологии в менеджменте. - М.: Вузовский учебник: НИЦ ИНФРА-М, 2014. – 256с.
18. Колдаев В.Д. Структуры и алгоритмы обработки данных. - М.: ИЦ РИОР: НИЦ ИНФРА-М, 2014. - 296 с.
19. Коннолли Т., Бегг К. Базы данных: проектирование, реализация и сопровождение: теория и практика. - Москва: Вильямс, 2017. - 1439 с.
20. Коряковский А.В. Информационные системы предприятия: Учебное пособие. - М.: НИЦ ИНФРА-М, 2016. - 283 с.
21. Лубянская Э.Б. Информационные системы в экономике: учебное пособие. - Воронеж: ФГБОУ ВО "Воронежский государственный технический университет", 2017. - 140 с.
22. Медведев М.А. Разработка информационных систем. Учебное пособие. - М.: Флинта, Изд-во Урал. ун-та, 2017. - 64 с.
23. Окулов С.М. Программирование в алгоритмах. - 6-е изд., (эл.) - М.: Лаборатория знаний, 2017. - 386 с.
24. Польшакова Н.В., Коломейченко А.С., Яковлев А.С. Информационные системы в экономике: [учебник]. - Москва : Буки Веди, 2016. - 480 с.
25. Попов Б. Н. Администрирование информационных систем : учебное пособие. - Санкт-Петербург: Изд-во ГУМРФ имени адмирала С.О. Макарова, 2018. - 95 с.
26. Селяничев О. Л. Администрирование информационных систем: учебное пособие. - Череповец: ФГБОУ ВО "Череповецкий государственный университет", 2017. - 99 с.
27. Титоренко Г.А. Информационные системы в экономике/ 2-е изд. - М.: ЮНИТИ-ДАНА, 2015. - 463 с.
28. Черников Б.В. Информационные технологии управления. - М.: ИД ФОРУМ: НИЦ ИНФРА-М, 2014. - 368 с.
29. Шипулин Л. В., Сазонова Н. С. Поисковые системы: учебное пособие. - Челябинск: ЮУрГУ, 2016. - 96 с.


Вопрос-ответ:

Что такое разметка данных?

Разметка данных - это процесс пометки и классификации информации для последующего использования в машинном обучении. В случае с текстовыми данными, это может быть определение категории текста, извлечение ключевых слов или именованных сущностей. В случае с изображениями, это может быть выделение объектов на изображении или определение их характеристик.

Какие технологии разметки данных используются в сервисе Яндекс Толока?

В сервисе Яндекс Толока используются технологии машинного обучения и распознавания графических образов. Машинное обучение позволяет автоматически классифицировать данные, а распознавание графических образов позволяет выделить объекты на изображениях. Таким образом, пользователи сервиса могут разметить большой объем данных с высокой точностью и скоростью.

Какие бизнес процессы можно оптимизировать с помощью технологии разметки данных?

Технология разметки данных может быть полезной в таких областях, как обработка естественного языка, компьютерное зрение, автономная навигация и многих других. Например, в обработке естественного языка эта технология может использоваться для автоматической классификации и анализа текстовых данных.

Как работает система разметки данных в сервисе Яндекс Толока?

В системе разметки данных в сервисе Яндекс Толока пользователи выполняют задания, связанные с разметкой данных, например, классификацию текстов или выделение объектов на изображениях. Пользователи получают вознаграждение за выполнение заданий, а заказчики получают точно размеченные данные для использования в своих проектах.

Какова экономическая эффективность использования технологии разметки данных?

Экономическая эффективность использования технологии разметки данных может быть достигнута благодаря ускоренному процессу разметки данных, который требует меньше ресурсов и времени, чем традиционные методы разметки. Это позволяет сэкономить ресурсы и увеличить производительность проектов, основанных на использовании размеченных данных.

Какую инфраструктуру необходимо создать для построения разметки данных?

Для построения разметки данных необходимо создать инфраструктуру, включающую описание технологии разметки в сервисе Яндекс Толока, анализ технологий машинного обучения и анализ технологий распознавания графических образов.

Как описана технология разметки в сервисе Яндекс Толока?

Технология разметки данных в сервисе Яндекс Толока описывается в статье. Она предоставляет возможность заказчику разметить данные, а исполнителю заработать, выполняя задания по разметке данных. Технология основана на принципе краудсорсинга.

Какие технологии машинного обучения анализируются?

В статье проводится анализ различных технологий машинного обучения. Они используются для автоматической разметки данных и повышения эффективности процесса разметки.

Как происходит анализ технологий распознавания графических образов?

Анализ технологий распознавания графических образов включает изучение различных алгоритмов и методов, которые позволяют распознавать и классифицировать графические образы. Это важно для разметки данных, которые содержат графические элементы.

Какие бизнес-процессы могут использовать технологии разметки данных?

В статье проводится анализ бизнес-процессов, в которых могут использоваться технологии разметки данных. Например, разметка данных может быть использована для обучения моделей машинного обучения, для создания датасетов, для контроля качества данных и других целей.

Какой сервис используется для разметки данных?

Для разметки данных используется сервис Яндекс Толока.