Здесь и далее – вольный перевод обзорной главы из официальной документации.

Архитектура Data Services

2.1 Обзор архитектуры

Этот раздел очерчивает общую архитектуру платформы, системы и служебные компоненты, которые составляют платформу SAP BusinessObjects Data Services. Эта информация поможет администраторам понять основы и сформировать план по развёртыванию системы и её дальнейшему управлению и обслуживанию.

SAP BusinessObjects Data Services спроектирована с учётом повышенных требований к производительности, пригодна для широкого круга пользователей и поддерживает большой спектр сценариев развёртывания. Например:

• Разработчики могут интегрировать SAP BusinessObjects Data Services с другими технологическими системами внутри своей организации посредством веб-сервисов и API для приложений на Java или .NET
• Конечные пользователи могут получать доступ, создавать, править и взаимодействовать с проектами и отчётами Data Services используя специализированные инструменты и приложения:
  • Designer (Дизайнер)
  • Management Console (Консоль Управления)
  • Administrator (Администратор)
  • Impact and Lineage Analysis (Анализ зависимостей и происхождения)
  • Operational Dashboard (Операционные информационные панели)
  • Auto Documentation (Автодокументирование)
  • Data Validation (Проверка данных)
  • Data Quality (Очистка данных)

Службы информационных технологий могут использовать инструменты управления данными и системами:

• Central Management Console (CMC) (Центральная консоль управления)
• Management Console (Консоль управление)
• Server Manager (Управление сервером)
• Repository Manager (Управление репозиторием)

Для обеспечения гибкости, надежности и масштабируемости, SAP BusinessObjects Data Services компоненты могут быть установлены на одном или на нескольких физических единицах оборудования.

Серверные процессы могут быть масштабированы «по вертикали» (где на одной единице оборудования будут работать все или несколько серверных служб) – для уменьшения стоимости, или масштабированы «по горизонтали» (процессы сервера распределены между двумя или более единицами оборудования) — для повышения производительности.

Кроме того, можно запускать несколько экземпляров одного и того же процесса на нескольких единицах оборудования, так что обработка может быть продолжена, если первичный процесс сталкивается с проблемой – для повышения отказоустойчивости.

2.2 Стандартные компоненты

Следующая диаграмма иллюстрирует расположение компонентов SAP BusinessObjects Data Services в общем наборе продуктов SAP BusinessObjects.

Примечание:

Если у вас нет полной установки решений платформы SAP BusinessObjects, тогда основные компоненты, которые требуются Data Services, будут предоставлены в составе сервисов платформы SAP BusinessObjects Information.

Для детального списка поддерживаемых окружений и системных требований обратитесь к Матрице доступности продуктов (Product Availability Matrix) по адресу: http://service.sap.com/PAM. Эта информация включает версии и уровень обновлений для баз данных, приложений, серверов веб-приложений, браузеров и операционных систем.

2.2.1 Дизайнер (Designer)

Дизайнер – это инструмент разработки с простым в использовании графическим интерфейсом пользователя. Он позволяет разработчикам определять управление данными приложений, которые состоят из сопоставления данных, преобразования и логику управления.

Используйте Дизайнер для создания приложений, содержащих рабочие процессы (определения выполнения заданий) и потоки данных (определения преобразования данных).

Используя Дизайнер возможно создавать объекты, а затем перетаскивать и настраивать их, выбирая иконки в блок-схемах, табличных макетах и рабочих областях. Объекты в Дизайнере представляют собой метаданные. Интерфейс Дизайнера позволяет управлять метаданными, хранящимися в репозитории. Используя Дизайнер, вы также можете запускать задания на Сервере заданий для начального тестирования приложений.

2.2.2 Репозиторий (Repository)

Репозиторий SAP BusinessObjects Data Services – это набор таблиц, которые содержат предопределённые системные объекты и объекты, созданные пользователями, исходные и целевые метаданные и правила преобразований.

Установка репозитория на открытой клиент-серверной платформе облегчает обмен метаданными, используя другие инструменты предприятия. Каждый репозиторий должен храниться в существующей СУБД, и зарегистрировано в центральной консоли управления (CMC).

Каждый репозиторий связан с одним или несколькими серверами заданий, на которых будут запускаться задания, которые вы создаёте. Есть два типа репозиториев:

• Локальный репозиторий

Локальный репозиторий используется разработчиком приложений для хранения определений объектов (например: проекты, задания, рабочие потоки и потоки данных), а также метаданные источников / целей.

• Центральный репозиторий

Центральный репозиторий является дополнительным компонентом, который может быть использован для поддержки многопользовательской разработки. Центральный репозиторий предоставляет библиотеку объектов для совместного доступа и позволяет разработчикам выкладывать и забирать объекты в собственные локальные репозитории.

Хотя каждый пользователь работает над приложением в собственном локальном репозитории, команда использует центральный репозиторий для хранения главной копии всего проекта. Центральный репозиторий сохраняет все версии объектов приложения, так что вы можете вернуться к предыдущей версии в случае необходимости.

Многопользовательская разработка включает в себя другие дополнительную функциональность, такую как метки и фильтры, чтобы предоставить вам больше гибкости и контроля в управлении объектами приложения.

2.2.3 Сервер заданий (Job Server)

Сервер заданий SAP BusinessObjects Data Services инициирует механизм перемещения данных, который объединяет данные из нескольких гетерогенных источников, выполняет сложные преобразования данных, управляет экстракцией и транзакциями из ERP-систем и другими источниками. Сервер заданий может перемещать данные как в пакетном режиме, так и в режиме реального времени, используя оптимизацию распределённых запросов, многопотоковость, кэширование в памяти, трансформацию данных на лету и параллельную обработку для достижения высокой пропускной способности и масштабируемости.

При определении заданий, вы можете запускать их из Дизайнера, который будет передавать задание на обработку на сервер заданий. Сервер заданий получает задание из связанного репозитория и запускает процесс обработки. В продуктивном окружении сервер заданий выполняет задания по определяемому расписанию или в режиме реального времени под управлением сервера доступа (Access Server). В продуктивном окружении вы можете распределять нагрузку по нескольким серверам заданий, создав группу серверов заданий.

Механизм (Engine)

При запуске заданий Data Services сервер заданий запускает механизм, обрабатывающий экстракцию, трансформацию и перемещение данных. Механизм использует параллельную обработку и трансформацию данных на лету для достижения высокой пропускной способности и масштабируемости.

Служба

Служба Data Services устанавливается при установке сервера заданий и сервера доступа (Access Servers). Служба запускает сервер заданий и сервер доступа при перезагрузке операционной системы. В ОС Windows эта служба называется BusinessObjects Data Services. В системах UNIX есть эквивалентная служба (daemon) с названием AL JobService.

2.2.4 Сервер доступа (Access Server)

Сервер доступа SAP BusinessObjects Data Services – это брокер сообщений (запрос-ответ), который в реальном времени собирает запросы и перенаправляет их к соответствующим службам, а также доставляет ответ за заданный интервал времени. Сервер доступа управляет очередью сообщений и отправляет их к следующей доступной службе реального времени среди любого количества вычислительных ресурсов. Такой подход позволяет достичь автоматического масштабирования, так как Сервер доступа может задействовать дополнительные службы реального времени в части дополнительных вычислительных ресурсов в случае, если поток обращений к конкретной службе реального времени будет повышенным. Вы можете настроить несколько серверов доступа.

Служба

Служба Data Services устанавливается при установке сервера заданий (Job Server) и сервера доступа. Служба запускает сервер заданий и сервер доступа при перезагрузке операционной системы. В ОС Windows эта служба называется BusinessObjects Data Services. В системах UNIX есть эквивалентная служба (daemon) с названием AL JobService.

2.2.5 Консоль управления (Management Console)

Администратор

Администратор предоставляет функции администрирования ресурсами SAP BusinessObjects Data Services в браузере:

• Планирование расписания, мониторинг и выполнение пакетных заданий.
• Настройка, запуск и остановка служб реального времени.
• Настройка Сервера заданий, Сервера доступа, Репозитория.
• Настройка и управление адаптерами.
• Управление пользователями.
• Публикация пакетных заданий и служб реального времени в виде веб-сервисов.

Отчёты по метаданным

Приложение Отчёты по метаданным предоставляет функции базового анализа и отчётности по имеющимся метаданным в браузере:

• Связанные с заданиями SAP BusinessObjects Data Services
• Связанные с приложениями из портфеля решений SAP BusinessObjects, которые связаны с Data Services

Отчёты по метаданным включают несколько приложений для обзора ваших метаданных:

• Анализ зависимостей и происхождения
• Операционные информационные панели
• Автодокументирование
• Проверка данных
• Очистка данных

2.2.5.1Отчёты по анализу зависимостей и происхождению

Отчёты по динамическому анализу и происхождению включают:

• Анализ хранения данных

Для каждого соединения, отчёты: обзорный, табличный, функциональный, иерархический.

Пользователи SAP BusinessObjects Data Services могут определить:

• Какие источники предоставляют данные для их таблиц
• Какие целевые таблицы получают данные из их таблиц
• Какие ещё инструменты из портфеля решений SAP BusinessObjects используют данные из их таблиц:
  • Business Views
  • Crystal Reports
  • Средство создания юниверсов SAP BusinessObjects (Universe Builder)
  • Документы SAP BusinessObjects Web Intelligence
  • Документы SAP BusinessObjects Desktop Intelligence
• Анализ юниверсов

Обзор юниверсов, классов и объектов. Пользователи юниверсов могут определить, какие источники данных служат источниками для их юниверсов. Пользователи юниверсов также могут определить, какие отчёты используют их юниверсы.

• Анализ Business View

Показывает источники данных для Business Views в Центральном Сервере Управления (CMS). Вы можете просмотреть отчёт о происхождении бизнес-элементов и бизнес-полей для каждого Business View. Пользователи Crystal Business View могут определить, какие источники данных служат для наполнения их Business Views, и в какие отчёты они в дальнейшем попадают.

• Анализ отчётов

Обзор источников данных для отчётов в Центральном сервере управления (CMS). Вы можете отследить происхождение таблиц и колонок для каждого отчёта Crystal Report или документа Web Intelligence, под управлением CMS. Разработчики отчётов могут определить, какие источники данных служат наполнением для их отчётов.

• Анализ зависимостей

Поиск отдельных объектов в репозитории и понимание того, какие объекты SAP BusinessObjects Data Services воздействуют на объекты построителя юниверсов SAP BusinessObjects и отчёты, а также. Результаты поиска по метаданным включают обратные ссылки на связанные отчёты.

Для получения динамического анализа и происхождения по приложениям из портфеля решений SAP BusinessObjects solution вы должны настроить Интегратор Метаданных (Metadata Integrator).

2.2.5.2 Операционная информационная панель

Отчёты операционной информационной панели предоставляют в графическом виде отображение статистики исполнения заданий SAP BusinessObjects Data Services. Это позволяет вам охватить одним взглядом статус и производительность выполнения заданий для одного или нескольких репозиториев за определённый период времени. Вы можете использовать эту информацию для курирования и мониторинга планирования расписания для достижения максимальной суммарной эффективности и производительности

2.2.5.3 Отчёты по Автодокументированию

Отчёты по автодокументированию предоставляют удобный и всеобъемлющий способ получения печатной документации для всех создаваемых вами объектов в SAP BusinessObjects Data Services. Отчёты по автодокументированию охватывают важную информацию для понимания заданий, таким образом вы можете получить общий обзор процессов ETL (извлечение, преобразование, загрузка).

После создания проекта вы можете использовать отчёты по автодокументированию для быстрого создания документов в формате PDF или Microsoft Word, которые охватывают выбранные задания, рабочие потоки, потоки данных, включая графическое представление и информацию о ключевых соответствиях.

2.2.5.4 Информационная панель по проверке данных

Отчёты информационной панели по проверке данных предоставляют отображение в графическом виде, которое позволяет вам оценить достоверность целевых данных на основании правил проверки, которые вы создали в пакетных заданиях SAP BusinessObjects Data Services. Это позволяет бизнес-пользователям быстро осмотреть, оценить и идентифицировать потенциальные несоответствия и ошибки в исходных данных.

2.2.5.5 Отчёты по Очистке данных

Отчёты по очистке данных позволяют получить и экспортировать отчёты Crystal Reports для пакетных заданий и заданий реального времени. Список отчётов включает обзоры по заданиям, отчёты по трансформации и отчёты по групповому преобразованию.

2.2.6 Интегратор метаданных (Metadata Integrator)

Интегратор метаданных позволяет SAP BusinessObjects Data Services прозрачно предоставлять доступ к метаданным для решений SAP BusinessObjects Business Intelligence (BI). Запустите Интегратор метаданных для сбора метаданных в репозитории SAP BusinessObjects Data Services для использования в Business Views и юниверсах, которые служат источниками для Crystal Reports, документов SAP BusinessObjects Desktop Intelligence и документов SAP BusinessObjects Web Intelligence.