Привет всем, я Дугу Фэн, автор Big Data Flow.

В последнее время в поле зрения каждого часто появляются несколько концепций.

Что такое управление данными, управление данными, центр обработки данных, центр обработки данных, озеро данных?

Каковы различия и связи между ними?

Эти понятия часто путают, поэтому сегодня мы разберем их подробно.

1. Управление данными

Управление данными подразумевает планирование, выполнение и контроль организацией всего жизненного цикла данных с целью максимизировать ценность данных. Он охватывает весь процесс от сбора, хранения, обработки данных до конечного использования.

Хорошее управление данными требует комплексного стратегического планирования, включая определение потребностей организации в данных, проектирование архитектуры данных, уточнение методов сбора данных, а также установление мер безопасности и мониторинга данных. В то же время необходимы конкретные планы реализации, такие как построение систем сбора данных, выбор носителей информации, настройка процедур обработки данных, а также разработка платформ анализа данных и приложений.

В процессе управления данными мы должны сосредоточиться на управлении качеством данных. Необходимо отслеживать и улучшать целостность, согласованность, точность, своевременность и другие показатели данных, чтобы качество данных соответствовало потребностям бизнеса. Кроме того, также необходимо управлять услугами передачи данных, безопасностью данных, жизненным циклом данных, метаданными и другими аспектами для создания мощной технической поддержки.

Успешное управление данными также требует сотрудничества управляющих организаций, например, создания отдела управления данными или создания должностей по управлению данными в ИТ- и бизнес-отделах, чтобы уточнить разделение обязанностей по управлению данными. Необходимо сформировать эффективную структуру управления данными и проводить непрерывную работу по управлению данными.

Управление данными должно быть тесно интегрировано с бизнес-целями компании и служить развитию бизнеса. Необходимо максимизировать ценность данных при одновременном снижении организационных затрат на управление данными и обеспечить прочную основу для операций предприятия и принятия решений. Зрелая организация должна создать научную, систематическую и непрерывную систему управления данными для повышения своей основной конкурентоспособности.

Другими словами, управление данными — это систематический проект, который требует планирования и построения с точки зрения стратегии, организации, процесса, технологии и т. д. для контроля всего жизненного цикла данных. Только таким образом данные смогут по-настоящему поддержать предприятие и создать большую ценность для бизнеса.

Говоря простым языком, управление данными — это реальная работа, связанная с управлением данными, конкретными вещами.

2. Управление данными

Управление данными является важной частью управления данными в организации. Оно обеспечивает возможности принятия решений, надзора и контроля, необходимые для управления данными. Цель управления данными — сформулировать спецификации использования данных, оптимизировать системы данных и обеспечить доступность, согласованность, качество и безопасность данных.

Первым шагом в организации управления данными является создание организационной структуры управления данными. Это часто включает в себя создание комитета по управлению данными, состоящего из старших руководителей и руководителей бизнеса, ИТ и других отделов, ответственных за формулирование политики и стандартов данных. В то же время необходимо также установить роли по управлению данными, такие как владельцы данных и менеджеры данных, с четким разделением труда.

Основная работа по управлению данными включает в себя формулирование стратегий и рамок управления данными, регистрацию активов данных, а также создание каталогов данных и карт данных для полного понимания активов данных предприятия. Также необходимо постоянно отслеживать и оценивать данные, измерять качество данных, а также проводить оценку и обработку рисков. В центре внимания управления данными находится установление четких спецификаций и обязанностей по использованию данных.

Кроме того, управление данными также требует создания вспомогательных технических систем, таких как системы управления метаданными, платформы управления качеством данных и т. д. Необходимо усилить управление платформами бизнес-аналитики и больших данных, чтобы обеспечить надежность данных аналитических приложений. Внимание также необходимо уделять контролю и аудиту безопасности данных.

Управление данными требует внимания руководства и активного участия бизнес-подразделений. Необходимо создать атмосферу внимания к управлению данными и соблюдения стандартов данных на уровне корпоративной культуры. В то же время мы постоянно оптимизируем и повторяем процесс управления данными, чтобы обеспечить его соответствие потребностям бизнеса. Только при таком постоянном продвижении данные могут действительно стать важным стратегическим активом предприятия.

Управление данными — это систематическая мера по контролю и управлению организационными данными. Оно требует создания комплексного механизма с точки зрения организации, процессов, технологий и т. д. для реализации эффективного управления данными и раскрытия ценности данных.

Управление данными — это механизм. Есть очень подходящее высказывание. Управление данными — это конкретная задача генерального директора, а управление данными — это обязанность совета директоров.

Управление данными – это обеспечение управления данными.

Конечно, из-за важности управления данными этот термин теперь был расширен. Управление данными в широком смысле включает в себя все: от управления данными до управления данными.

3. Дата-центр

Центр обработки данных — это физическая инфраструктура, используемая предприятиями для хранения данных и управления ими. Она включает в себя серверы, устройства хранения, сетевое оборудование и другую ИТ-инфраструктуру, обеспечивающую аппаратную поддержку управления данными. Основная функция центра обработки данных — централизовать хранение и унифицированное управление корпоративными данными.

Строительство дата-центра требует подготовки пространства компьютерного зала. К компьютерному залу предъявляются строгие требования по температуре, влажности, антистатичности, пожаробезопасности и т. д. В то же время необходимо инвестировать в создание основных объектов эксплуатации и технического обслуживания, таких как электроснабжение и охлаждение. Что касается серверов, то для гибкого распределения вычислительных ресурсов необходимо большое количество облачных серверов, технологий виртуализации и т. д. Система хранения должна иметь достаточную емкость и предусматривать резервное копирование. Сетевые системы должны обеспечивать высокоскоростные внутренние коммутационные соединения и пропускную способность внешних каналов.

Центру обработки данных также необходима система мониторинга для мониторинга инфраструктуры в режиме реального времени и создания полной системы защиты безопасности, такой как контроль доступа, межсетевые экраны, обнаружение вторжений и т. д. Должны быть разработаны подробные планы аварийного восстановления и механизмы тренировок. Кроме того, для ежедневного управления должна быть создана профессиональная команда по эксплуатации и техническому обслуживанию.

В завершенном центре обработки данных будут размещены ключевые корпоративные информационные системы, такие как системы транзакций, ERP-системы, CRM-системы и хранилища данных для централизованного хранения данных. В то же время необходимо агрегировать огромные данные с веб-сайтов, приложений, Интернета вещей и других каналов. Оптимизируйте ресурсы с помощью виртуализации, облачного хранилища и других технологий для обеспечения централизованного управления данными.

Высококачественный центр обработки данных также предоставляет услуги резервного копирования и аварийного восстановления. Предоставляйте ИТ-ресурсы, такие как места для хранения данных и вычислительные услуги, внутренним корпоративным клиентам. Повышайте эффективность управления за счет автоматизации эксплуатации и обслуживания.

Центр обработки данных является важным краеугольным камнем управления корпоративными данными. Он требует комплексного планирования и строительства с точки зрения инфраструктуры, системы безопасности, процессов эксплуатации и обслуживания и т. д., чтобы обеспечить стабильное, безопасное и эффективное хранение и управление данными, а также завоевать доверие клиентов.

4. Дата-центр

Промежуточная платформа данных — это полный набор платформ, построенных на базе центра обработки данных, который объединяет управление данными, анализ и услуги. Центр обработки данных принимает данные в качестве своей основы и стремится создать унифицированные и стандартизированные возможности обработки данных, чтобы предоставить предприятиям более ценные приложения для обработки данных.

Первым шагом в построении центра обработки данных является планирование единой архитектуры данных предприятия, унификация всех типов дискретных данных на предприятии и определение центрального хранилища данных и рынка наборов данных. Затем создайте стандартизированные модели интеграции данных и модели обслуживания данных для различных бизнес-сценариев. Обеспечьте взаимосвязь данных из разных систем.

Что касается управления данными, центр обработки данных объединяет данные из разных систем в единую платформу, устанавливает стандарты данных, системы оценки данных и системы безопасности данных, а также централизованно управляет внутренними данными. Убедитесь, что качество данных контролируется, а приложения данных заслуживают доверия.

Центр обработки данных также имеет возможности применения и анализа данных корпоративного уровня. Он может собирать, очищать и преобразовывать внутренние и внешние данные, создавать высококачественные наборы аналитических данных и помогать предприятиям принимать бизнес-решения и оптимизировать их с помощью отчетов, моделей анализа, визуализации данных и т. д. Используйте передовые технологии, такие как искусственный интеллект, для интеллектуального анализа.

Кроме того, центр обработки данных также открывает сервисные интерфейсы для различных отделов и внешних систем для реализации обслуживания данных. Он может предоставлять услуги обработки данных, такие как точные портреты клиентов внутри компании и продукты с открытыми данными снаружи. Создайте экосистему, в основе которой лежат данные.

Создание промежуточной платформы данных требует от предприятий обновления своей технической архитектуры и внедрения новых технологий, таких как большие данные и облачные вычисления. Также необходимо спланировать организационную структуру центра обработки данных, выделить специализированные специалисты по моделированию данных, анализу и другим талантам, а также сформулировать политику открытого использования данных.

Промежуточная платформа данных создает центральную платформу для управления корпоративными данными и их применения, помогая раскрыть ценность данных и продвигать бизнес-инновации. Это важная основа для цифровой трансформации и ключ к повышению основной конкурентоспособности предприятий.

5. Озеро данных

Озеро данных относится к архитектурной концепции, в которой предприятия хранят все виды необработанных данных непосредственно в пуле данных в форме озера. Он может хранить и управлять большими объемами структурированных, полуструктурированных и неструктурированных данных в различных форматах.

В озере данных основное внимание уделяется непосредственному хранению образцов данных или необработанных данных, а не преобразованию или разделению данных. Оно использует плоский общий каталог данных, позволяющий каждому пользователю найти необходимые ему данные. Пользователи могут в интерактивном режиме анализировать и исследовать данные, чтобы обнаружить корреляции между различными источниками данных.

Первым шагом в создании озера данных является создание централизованного базового хранилища данных, такого как система Hadoop. Затем все типы источников данных предприятия, включая базы данных, датчики, логи, документы и другие данные, напрямую загружаются в это открытое хранилище без какой-либо предварительной очистки и преобразования данных. Далее создайте каталог данных и отметьте характерные метаданные различных данных. Наконец, предоставляются инструменты анализа, которые позволяют пользователям самостоятельно анализировать и запрашивать данные.

В отличие от традиционных хранилищ данных, в которых хранятся только уточненные данные, озера данных могут напрямую хранить необработанные подробные данные. Он не имеет строгих ограничений на ввод данных и может быть гибко расширен для поддержки более сложных аналитических приложений за счет включения большего количества данных. Однако данные в озере данных не такие точные и уточненные, как в хранилище данных, и требуют, чтобы пользователи сами их преобразовывали. Это больше подходит исследователям данных для изучения и анализа.

При создании озера данных основная проблема заключается в том, как управлять всеми видами беспорядочных данных. Необходимо управлять источником, форматом, атрибутами и другими метаданными данных, а также устанавливать меры безопасности. Инструменты анализа и визуализации также необходимо постоянно дополнять, чтобы их было проще использовать.

Озеро данных предоставляет предприятиям среду для непосредственного хранения и анализа всех данных, что позволяет им более полно изучить ценность данных. Это снижает порог интеграции данных, но также требует активного решения проблем управления данными. Озеро данных отражает тенденцию развития управления корпоративными данными в сторону открытости и децентрализации.