Таблица | Карточка | RUSMARC | |
Разрешенные действия: –
Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети
Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети
Группа: Анонимные пользователи Сеть: Интернет |
Аннотация
В сборнике публикуются материалы докладов студентов, представленные на научно-практическую конференцию, проводимую Санкт-Петербургским политехническим университетом Петра Великого и организованную Институтом компьютерных наук и технологий при поддержке Санкт-Петербургского Центра разработок Dell ЕМС и компании EPAM. Доклады отражают уровень подготовленности студентов – участников конференции в области применения современных средств и технологий разработки программного обеспечения. Представляет интерес для специалистов в области информационных технологий, методов разработки программных проектов различного назначения, систем и средств автоматизации инженерного проектирования, а также для учащихся и работников системы высшего образования.
Права на использование объекта хранения
Место доступа | Группа пользователей | Действие | ||||
---|---|---|---|---|---|---|
Локальная сеть ИБК СПбПУ | Все | |||||
Интернет | Авторизованные пользователи СПбПУ | |||||
Интернет | Анонимные пользователи |
Оглавление
- титулы(в печать)окон. вар.
- СБОРНИК 2019 итог
- С1. Программная инженерия: приложения, продукты и системы
- С3. Программная инженерия: методы и алгоритмы теории программирования
- С4. Технологии обработки и анализа больших массивов данных на основе работ EPAM
- С5. Подходы к разработке программного обеспечения на основе технологий Dell EMC
- ЛИТЕРАТУРА
- Обоснование предлагаемых решений
- Оценка работы системы
- Кривая забывания
- Интервальные повторения
- Система Лейтнера
- Сеть массового обслуживания Лейтнера
- Реализация
- Авторы книги Documenting Software Architectures: Views and Beyond определяют архитектуру программного обеспечения как высокоуровневую структуру, описывающую основные составные компоненты, их отношения и свойства этих компонентов и отношений. Каждый из...
- Идея микросервисной архитектуры заключается в том, чтобы, вместо создания одного большого монструозного приложения, разбить его на набор небольших взаимосвязанных сервисов. Каждый из таких сервисов обычно реализует набор задач из одной функциональной ...
- Рассмотрим основные преимущества микросервисной архитектуры:
- 1. Масштабируемость
- 2. Модулярность
- УДК 004.45
- А.С. Шемякинская (3 курс), В.И. Кочугова (4 курс),
- И.В. Никифоров, к.т.н., доцент
- РАЗРАБОТКА ДРАЙВЕРА ИНСТРУМЕНТА ТЕСТИРОВАНИЯ ПРОИЗВОДИТЕЛЬНОСТИ СХД MONGOOSE ДЛЯ СИСТЕМЫ ОБРАБОТКИ СОБЫТИЙ APACHE KAFKA
- На сегодняшний день обеспечение надежности хранения и быстрого доступа к информации является одной из важнейших задач в сфере IT. Ежегодно по всему миру объем хранимой и обрабатываемой информации возрастает[1], поэтому на первый план выходит задача оц...
- Mongoose является мощным инструментом, который позволяет осуществлять нагрузочное тестирование, stress-testing, smoke-testing, volume-testing и т.д. [5]. Он поддерживает два типа объектов, которые в зависимости от используемой СХД могут трактоваться п...
- контейнер, например, бакет или каталог;
- данные – файл или объект.
- Также одной из важных концепций Mongoose являются операции, которые осуществляют нагрузку на систему хранения данных. К ним относятся CRUD, Noop, Copy, операции с диапазоном байт, композиции [7]. На выходе Mongoose выдает данные для оценки работы СХД,...
- Целью работы является расширение функционала инструмента Mongoose за счет разработки драйвера для тестирования системы обработки сообщений Apache Kafka. Данная цель достигается за счёт решения следующих задач:
- 1) изучить документацию Apache Kafka, ее возможности и предоставляемые API;
- 2) сопоставить типы объектов и операции нагрузки Mongoose и Kafka;
- 3) разработать драйвер и написать тесты для проверки его работы.
- Apache Kafka – это распределенная потоковая платформа, которая может работать в качестве системы обмена сообщениями, системы хранения данных и обработчика потоков сообщений. Многие организации используют в своей деятельности Apache Kafka, поэтому сейч...
- Для того, чтобы соотнести типы объектов Kafka и Mongoose, необходимо разобраться в ключевых абстракциях Kafka [8], к которым относятся:
- Records – сообщения, так же называемые «фактами» или «событиями» и состоящие из ключа, значения и временной метки;
- Topic – категория, в которую публикуются сообщения (records);
- Partition – разделение категории (topic) на части. Каждая часть представляет собой последовательность сообщений, каждое из которых имеет идентификационный номер (offset).
- Рис. 2 - Схема устройства topic
- Producer – публикует сообщения, он выбирает в какую часть категории попадет сообщение;
- Consumer – читает опубликованное сообщение, несколько потребителей могут объединяться в группы. Если категория разделена на две части, то в группе может быть два потребителя соответственно для каждой части. Использование большего количества потребит...
- Рис. 3- Схема работы групп потребителей
- В качестве данных были выбраны records, а в качестве контейнера – topics.
- Для определения операций нагрузки были рассмотрены следующие API: ProducerAPI, ConsumerAPI, AdminClient API.
- ProducerApi имеет два необходимых класса ProducerRecord и KafkaProducer [9]. Первый инкапсулирует в себе информацию об опубликованной record – значение, категория, ключ и т.д. Второй соответственно обладает нужной для публикации сообщения функциональн...
- ConsumerApi содержит похожие классы с разницей в том, что ConsumerRecord представляет собой прочитанное сообщение, а KafkaConsumer осуществляет чтение пришедшего сообщения [10]. Поэтому операция «read» будет выполняться функцией poll() из класса Kafka...
- Для выполнения базовых операцией над контейнером рассматривается возможность использования функций класса AdminClient из AdminClient API [11]. Этот класс содержит функции для управления категориями: createTopic(), deleteTopics(), listTopics().
- Полученные результаты исследования будут использованы для дальнейшей разработки.
- Таблица 1 - Сопоставление терминов Mongoose и Apache Kafka
- Сам драйвер может быть реализован с помощью базового класса CoopStorageDriverBase из Mongoose API, обладающего необходимыми функциями, которые могут быть переопределены для работы непосредственно с классами и функциями Kafka.
- Таким образом, была изучена документация Apache Kafka и проанализированы API, в результате чего были соотнесены базовые термины Mongoose и Apache Kafka. В дальнейшем планируется приступить к написанию интеграционных тестов, на основе которых будет раз...
- ЛИТЕРАТУРА
- 1. Сомасундарам Г., Шривастава А. От хранение данных к управлению информацию. 2-е изд. – СПб.:Питер, 2016. – 544 с.
- 2. Mongoose. [Электронный ресурс]. Дата обращения: 17.03.2019. https://github.com/emc-mongoose/mongoose
- 3. COSBench. [Электронный ресурс]. Дата обращения: 17.03.2019 https://github.com/intel-cloud/cosbench
- 4. LoadRunner. [Электронный ресурс]. Дата обращения: 17.03.2019 https://www.microfocus.com/ru-ru/products/loadrunner-load-testing/overview
- 5. Mongoose overview. [Электронный ресурс]. Дата обращения: 17.03.2019. https://github.com/emc-mongoose/mongoose#1-overview
- 6. Item types. [Электронный ресурс]. Дата обращения: 17.03.2019. https://github.com/emc-mongoose/mongoose/tree/master/doc/usage/item/types
- 7. Load operation types. [Электронный ресурс]. Дата обращения: 17.03.2019. https://github.com/emc-mongoose/mongoose/tree/master/doc/usage/load/operations/types
- 8. Apache Kafka introduction. [Электронный ресурс]. Дата обращения: 17.03.2019. http://kafka.apache.org/intro
- 9. ProducerAPI. [Электронный ресурс]. Дата обращения: 17.03.2019. http://kafka.apache.org/21/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html
- 10. ConsumerAPI. [Электронный ресурс]. Дата обращения: 17.03.2019. http://kafka.apache.org/21/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html
- 11. AdminClient API. [Электронный ресурс]. Дата обращения: 17.03.2019. http://kafka.apache.org/21/javadoc/index.html?org/apache/kafka/clients/admin/AdminClient.html
Статистика использования
Количество обращений: 102
За последние 30 дней: 0 Подробная статистика |