Руководство пользователя
Платформа графового анализа и обработки данных ГудДБ обеспечивает быструю и эффективную обработку больших данных, а также предоставляет возможность проведения глубоких исследований и получения ценных инсайтов для принятия взвешенных бизнес-решений.
Платформа включает в себя функции, такие как фильтрация, сортировка, агрегация и группировка данных. Пользователи могут выбирать нужные данные и применять различные операции для извлечения полезной информации, что позволяет легко находить тренды, паттерны и статистику в своих данных.
Платформа позволяет пользователям визуализировать связи между различными элементами данных. Пользователи могут создавать графы, добавлять узлы и связи между ними, а также применять различные алгоритмы для анализа графов. Это особенно важно для анализа социальных сетей, сетей связей между людьми или компаниями, и других сложных систем.
Платформа помогает пользователям лучше понять структуру и взаимосвязи между данными, что может быть полезно для принятия более обоснованных решений. Пользователи могут использовать графовые алгоритмы для поиска наиболее важных узлов или сообществ в графе, а также для анализа центральности и других метрик графа.
Ядром системы ГудДБ является собственный механизм, который позволяет извлекать, трансформировать и загружать данные в графовую базу данных. Это обеспечивает эффективное и быстрое аналитическое решение для ваших данных.
Платформа поддерживает различные хранилища данных, включая Hbase, Postgres, RocksDB и JanusGraph. Это позволяет пользователям выбрать наиболее подходящую систему в зависимости от их требований к производительности и масштабируемости.
ГудДБ предлагает возможность использовать SOLR Cloud или quickwit в качестве текстового индекса. Это обеспечивает гибкость и выбор пользователей в использовании индексации текста.
В систему включена собственная сборка Ambari, которая позволяет управлять кластером с помощью веб-интерфейса. Это обеспечивает простоту и эффективность управления вашими ресурсами.
Для управления потоками данных используется NiFi с поддержкой Kafka. Это позволяет эффективно управлять большим объемом данных и осуществлять потоковую обработку в режиме реального времени.
Платформа предлагает готовую архитектуру для машинного обучения, что позволяет пользователям применять различные алгоритмы и модели машинного обучения для анализа данных.
Платформа предоставляет собственные инструменты бизнес-аналитики и визуализации данных, которые помогут понять и извлечь ценные инсайты из информации.
Платформа предлагает множество открытых решений, которые могут быть применены в различных условиях и задачах. Это позволяет пользователям выбрать наиболее подходящее решение для своих потребностей.
1. Назначение и функциональные возможности
ГудДБ – это графовая система управления базами данных, предоставляющая возможность комплексного подхода к решению задач по аналитике данных, полученных из разнородных источников и сочетающая в себе широкие возможности их визуализации, агрегации, фильтрации и анализа.
Описание функциональных характеристики:
- Структурирование данных в виде объектов и связей между ними;
- Масштабируемое хранилище для накопления и обработки больших объемов данных;
- Возможность адаптации схемы данных под любые требования и задачи;
- Подключение к различным разнородным источникам информации;
- Поиск с возможностью применения сложных фильтров по всем загруженным данным;
- Непрерывный мониторинг загруженной информации с функцией оповещений;
- Выявление прямых и косвенных связей между объектами базы;
- Просмотр хронологии изменения объектов;
- Формирование персонализированных отчетов;
- Построение статистических графиков и временных рядов.
ГудДБ поддерживает в том числе российскую операционную систему Astra Linux.
2. Основные понятия и определения
Картотека – интерфейс работы с системой, содержащий поисковую панель и панель отображения информации о выбранном объекте в виде текстовых полей, изображений, таблиц и виджетов.
Графовая база данных – разновидность баз данных с реализацией сетевой модели в виде графа и его обобщений
Объект (узел) - основной элемент проекта, ответственный за хранение и представление загруженных данных. Обладает набором общих или персонализированных свойств, позволяющих объемно описать каждый объект реального мира. В рамках проекта каждый объект уникален.
Связь – сущность, объединяющая два объекта
Свойство – характеристика объекта
Проект — это неограниченный информационный массив, организованный и обособленный в отдельной базе данных. Аналог отдельной базы данных (tablespace) в реляционной базе данных.
3. Создание новых узлов и связей
Для работы со схемами связи следует перейти в “Администрирование”, найти выпадающий список под названием “Схема данных”, находящийся в левой части окна, в нем выбрать пункт “Схемы связей”. Данная вкладка демонстрирует уже имеющиеся схемы связей, группу в которой он находится и связанные схемы узлов.
Создание схемы связи начнется после нажатия на иконку “+”, открывается окно под названием “Создание схемы узла”.
Для создания связи требуется:
1) Ввести название связи, отображающее ее назначение,
2) Создать свойства, которые будут описывать данные и храниться в ней, с помощью кнопки “+” рядом со столбцом “Свойство”,
3) В столбце “Тип” задать тип данных, в котором будут вносится входящие данные,
4) Выбрать узлы, которые будут связанны,
5) Выбрать направление связи
6) Нажать кнопку “Сохранить”
Все типы данных остаются такими же, как и в создании узла.
4. Загрузка данных
Загрузить данные можно несколькими способами:
1) Создание нового SQL запрос к базе данных
C помощью кнопки “+” следует сформировать новый запрос
В открывшимся окне следует задать название запроса и записать сам запрос с помощью SQL.
Стандартным запросом для отображения всей информации является:
SELECT * FROM “Название базы данных”
Пример SQL запроса для получения всей информации
После введения корректного запроса и его сохранения он отобразится
2) Загрузить имеющийся на компьютере файл.
Для этого требуется найти нужный для загрузки файл и перенести его в область или, нажав “Выбрать из системы”, найти нужный файл.
Далее следует создать шаблон, который будет отображать, где хранятся какие данные.
Для это нужно нажать на “Создать шаблон”, после чего будет открыто окно.
Следующим пунктом станет создание нужных узлов и связей, а также заполнение их свойств.
Для добавления узла следует:
1) Нажать на значок “+”, что приведет к открытию окна, в котором следует выбрать название узла из выпадающего списка и его ключевое свойство. После добавления узел отобразится в графическом окне.
2) Далее следует заполнить свойства, которые относятся к каждому узлу, для этого надо нажать на “+”. После чего откроется окно “Добавить свойство узла”. В строку “Свойство” выбирается то свойство, в которое будет занесено значение из столбца “supplierinn”. После добавление свойство отобразится, подобным образом следует создать все свойства для всех узлов.
Для добавления связи следует:
1) Нажать на значок “+”, что приведет к открытию окна, в котором следует выбрать названия узлов из выпадающего списка, которые будут соединены связью, схему связи из выпадающего списка и ключевые свойства. После добавления связь отобразится в графическом окне.
2) Далее, аналогичным образом, как и в пункте “2” создания узла следует заполнить свойства. После чего свойство отобразится.
После того как были созданы все узлы и связи, описаны их свойства, следует проверить шаблон на наличие ошибок, нажав “Проверить результат”.
При условии, что проверка не вывела ошибок, следует сохранить шаблон нажав «Сохранить».
После сохранения, название шаблона появится в выпадающем списке.
После выбора нужного шаблона, следует выбрать загружаемый запроси нажать “Загрузить данные по выбранному запросу”.
5. Интерфейс Картотека
Интерфейс содержит строку поиска, позволяющую вводить текстовый запрос и получать узлы типа «Организация», «Лицо», «Документ» и др. существующие в текущем проекте и удовлетворяющие запросу.
Раздел «Карточка» веб интерфейса системы представляет собой набор инструментов для автоматического построения модульной карточки на тот или иной объект базы данных. Карточка объекта включает в себя карточку с его атрибутами, а также набор информационных модулей - т.н. виджетов. Каждый такой модуль содержит результат того или иного запроса в базу данных.
Совокупность результатов подобных запросов формирует отчёт, включающий информацию, находящуюся в базе данных, и имеющую отношение к текущему объекту. При этом каждый такой запрос в БД может решать некоторую аналитическую задачу, связанную с текущим объектом, такую как подсчёт каких-либо статистических показателей или же выводить таблицу, содержащую связанные с ним объекты. Данные, полученные посредством запроса, могут быть представлены как в классическом табличном режиме, так и при помощи графиков или карт.
Работая в режиме «Карточка», пользователь может выполнять полнотекстовый поиск объектов, создавать новые объекты, изменять атрибуты, удалять, добавлять к объектам файл-вложение, а также создавать связи с другими объектами. Кроме того, каждый виджет табличного вида позволяет осуществлять сортировку данных по каждому из столбцов, выполнять переход в карточки других объектов, а также выполнять экспорт содержимого в CSV файл.
6. Виджеты и дашборды
Досье узла помимо карточки с его свойствами может включать виджеты — таблицы, графики и карты, отображающие связи выбранного узла с другими.
В виджете отображается результат запроса в базу данных. Например, в результате выполнения запроса на получение всех узлов класса Лицо, связанных с выбранным узлом класса Организация посредством связи РАБОТАЕТ В, будет построен виджет-таблица, содержащий информацию о сотрудниках организации.
Дашборд — это набор виджетов не для выбранного объекта, а для всего проекта в целом. В разделе статистика отображаются все дашборды применимые для выбранного проекта.
Платформа графового анализа и обработки данных ГудДБ обеспечивает быструю и эффективную обработку больших данных, а также предоставляет возможность проведения глубоких исследований и получения ценных инсайтов для принятия взвешенных бизнес-решений.
Платформа включает в себя функции, такие как фильтрация, сортировка, агрегация и группировка данных. Пользователи могут выбирать нужные данные и применять различные операции для извлечения полезной информации, что позволяет легко находить тренды, паттерны и статистику в своих данных.
Платформа позволяет пользователям визуализировать связи между различными элементами данных. Пользователи могут создавать графы, добавлять узлы и связи между ними, а также применять различные алгоритмы для анализа графов. Это особенно важно для анализа социальных сетей, сетей связей между людьми или компаниями, и других сложных систем.
Платформа помогает пользователям лучше понять структуру и взаимосвязи между данными, что может быть полезно для принятия более обоснованных решений. Пользователи могут использовать графовые алгоритмы для поиска наиболее важных узлов или сообществ в графе, а также для анализа центральности и других метрик графа.
Ядром системы ГудДБ является собственный механизм, который позволяет извлекать, трансформировать и загружать данные в графовую базу данных. Это обеспечивает эффективное и быстрое аналитическое решение для ваших данных.
Платформа поддерживает различные хранилища данных, включая Hbase, Postgres, RocksDB и JanusGraph. Это позволяет пользователям выбрать наиболее подходящую систему в зависимости от их требований к производительности и масштабируемости.
ГудДБ предлагает возможность использовать SOLR Cloud или quickwit в качестве текстового индекса. Это обеспечивает гибкость и выбор пользователей в использовании индексации текста.
В систему включена собственная сборка Ambari, которая позволяет управлять кластером с помощью веб-интерфейса. Это обеспечивает простоту и эффективность управления вашими ресурсами.
Для управления потоками данных используется NiFi с поддержкой Kafka. Это позволяет эффективно управлять большим объемом данных и осуществлять потоковую обработку в режиме реального времени.
Платформа предлагает готовую архитектуру для машинного обучения, что позволяет пользователям применять различные алгоритмы и модели машинного обучения для анализа данных.
Платформа предоставляет собственные инструменты бизнес-аналитики и визуализации данных, которые помогут понять и извлечь ценные инсайты из информации.
Платформа предлагает множество открытых решений, которые могут быть применены в различных условиях и задачах. Это позволяет пользователям выбрать наиболее подходящее решение для своих потребностей.
1. Назначение и функциональные возможности
ГудДБ – это графовая система управления базами данных, предоставляющая возможность комплексного подхода к решению задач по аналитике данных, полученных из разнородных источников и сочетающая в себе широкие возможности их визуализации, агрегации, фильтрации и анализа.
Описание функциональных характеристики:
- Структурирование данных в виде объектов и связей между ними;
- Масштабируемое хранилище для накопления и обработки больших объемов данных;
- Возможность адаптации схемы данных под любые требования и задачи;
- Подключение к различным разнородным источникам информации;
- Поиск с возможностью применения сложных фильтров по всем загруженным данным;
- Непрерывный мониторинг загруженной информации с функцией оповещений;
- Выявление прямых и косвенных связей между объектами базы;
- Просмотр хронологии изменения объектов;
- Формирование персонализированных отчетов;
- Построение статистических графиков и временных рядов.
ГудДБ поддерживает в том числе российскую операционную систему Astra Linux.
2. Основные понятия и определения
Картотека – интерфейс работы с системой, содержащий поисковую панель и панель отображения информации о выбранном объекте в виде текстовых полей, изображений, таблиц и виджетов.
Графовая база данных – разновидность баз данных с реализацией сетевой модели в виде графа и его обобщений
Объект (узел) - основной элемент проекта, ответственный за хранение и представление загруженных данных. Обладает набором общих или персонализированных свойств, позволяющих объемно описать каждый объект реального мира. В рамках проекта каждый объект уникален.
Связь – сущность, объединяющая два объекта
Свойство – характеристика объекта
Проект — это неограниченный информационный массив, организованный и обособленный в отдельной базе данных. Аналог отдельной базы данных (tablespace) в реляционной базе данных.
3. Создание новых узлов и связей
Для работы со схемами связи следует перейти в “Администрирование”, найти выпадающий список под названием “Схема данных”, находящийся в левой части окна, в нем выбрать пункт “Схемы связей”. Данная вкладка демонстрирует уже имеющиеся схемы связей, группу в которой он находится и связанные схемы узлов.
Создание схемы связи начнется после нажатия на иконку “+”, открывается окно под названием “Создание схемы узла”.
Для создания связи требуется:
1) Ввести название связи, отображающее ее назначение,
2) Создать свойства, которые будут описывать данные и храниться в ней, с помощью кнопки “+” рядом со столбцом “Свойство”,
3) В столбце “Тип” задать тип данных, в котором будут вносится входящие данные,
4) Выбрать узлы, которые будут связанны,
5) Выбрать направление связи
6) Нажать кнопку “Сохранить”
Все типы данных остаются такими же, как и в создании узла.
4. Загрузка данных
Загрузить данные можно несколькими способами:
1) Создание нового SQL запрос к базе данных
C помощью кнопки “+” следует сформировать новый запрос
В открывшимся окне следует задать название запроса и записать сам запрос с помощью SQL.
Стандартным запросом для отображения всей информации является:
SELECT * FROM “Название базы данных”
Пример SQL запроса для получения всей информации
После введения корректного запроса и его сохранения он отобразится
2) Загрузить имеющийся на компьютере файл.
Для этого требуется найти нужный для загрузки файл и перенести его в область или, нажав “Выбрать из системы”, найти нужный файл.
Далее следует создать шаблон, который будет отображать, где хранятся какие данные.
Для это нужно нажать на “Создать шаблон”, после чего будет открыто окно.
Следующим пунктом станет создание нужных узлов и связей, а также заполнение их свойств.
Для добавления узла следует:
1) Нажать на значок “+”, что приведет к открытию окна, в котором следует выбрать название узла из выпадающего списка и его ключевое свойство. После добавления узел отобразится в графическом окне.
2) Далее следует заполнить свойства, которые относятся к каждому узлу, для этого надо нажать на “+”. После чего откроется окно “Добавить свойство узла”. В строку “Свойство” выбирается то свойство, в которое будет занесено значение из столбца “supplierinn”. После добавление свойство отобразится, подобным образом следует создать все свойства для всех узлов.
Для добавления связи следует:
1) Нажать на значок “+”, что приведет к открытию окна, в котором следует выбрать названия узлов из выпадающего списка, которые будут соединены связью, схему связи из выпадающего списка и ключевые свойства. После добавления связь отобразится в графическом окне.
2) Далее, аналогичным образом, как и в пункте “2” создания узла следует заполнить свойства. После чего свойство отобразится.
После того как были созданы все узлы и связи, описаны их свойства, следует проверить шаблон на наличие ошибок, нажав “Проверить результат”.
При условии, что проверка не вывела ошибок, следует сохранить шаблон нажав «Сохранить».
После сохранения, название шаблона появится в выпадающем списке.
После выбора нужного шаблона, следует выбрать загружаемый запроси нажать “Загрузить данные по выбранному запросу”.
5. Интерфейс Картотека
Интерфейс содержит строку поиска, позволяющую вводить текстовый запрос и получать узлы типа «Организация», «Лицо», «Документ» и др. существующие в текущем проекте и удовлетворяющие запросу.
Раздел «Карточка» веб интерфейса системы представляет собой набор инструментов для автоматического построения модульной карточки на тот или иной объект базы данных. Карточка объекта включает в себя карточку с его атрибутами, а также набор информационных модулей - т.н. виджетов. Каждый такой модуль содержит результат того или иного запроса в базу данных.
Совокупность результатов подобных запросов формирует отчёт, включающий информацию, находящуюся в базе данных, и имеющую отношение к текущему объекту. При этом каждый такой запрос в БД может решать некоторую аналитическую задачу, связанную с текущим объектом, такую как подсчёт каких-либо статистических показателей или же выводить таблицу, содержащую связанные с ним объекты. Данные, полученные посредством запроса, могут быть представлены как в классическом табличном режиме, так и при помощи графиков или карт.
Работая в режиме «Карточка», пользователь может выполнять полнотекстовый поиск объектов, создавать новые объекты, изменять атрибуты, удалять, добавлять к объектам файл-вложение, а также создавать связи с другими объектами. Кроме того, каждый виджет табличного вида позволяет осуществлять сортировку данных по каждому из столбцов, выполнять переход в карточки других объектов, а также выполнять экспорт содержимого в CSV файл.
6. Виджеты и дашборды
Досье узла помимо карточки с его свойствами может включать виджеты — таблицы, графики и карты, отображающие связи выбранного узла с другими.
В виджете отображается результат запроса в базу данных. Например, в результате выполнения запроса на получение всех узлов класса Лицо, связанных с выбранным узлом класса Организация посредством связи РАБОТАЕТ В, будет построен виджет-таблица, содержащий информацию о сотрудниках организации.
Дашборд — это набор виджетов не для выбранного объекта, а для всего проекта в целом. В разделе статистика отображаются все дашборды применимые для выбранного проекта.
