Интеллектуальный анализ данных Mining) — это процесс извлечения информации и знаний, которые люди не знают заранее, но которые потенциально полезны, из большого количества неполных, зашумленных, нечетких и случайных данных практического применения. Это определение включает в себя несколько значений: источник данных должен быть реальным, массивным и шумным; обнаруженные знания — это знания, которые интересуют пользователя; обнаруженные знания должны быть приемлемыми, понятными и применимыми; стать общедоступными. Универсальные знания, которые подходят только для решения конкретных исследовательских вопросов. Знания здесь обычно относятся к правилам, концепциям, законам, закономерностям и т. д. Процесс моделирования интеллектуального анализа данных

Определите цели майнинга

Для конкретных потребностей приложений интеллектуального анализа данных мы должны сначала четко понимать, какова цель этого интеллектуального анализа данных? Какого эффекта может достичь система после ее завершения? Поэтому мы должны проанализировать предметную область приложения, включая различные знания и цели приложения. Понимать соответствующие ситуации в смежных областях, быть знакомым с базовыми знаниями и понимать потребности пользователей. Чтобы в полной мере использовать преимущества интеллектуального анализа данных, вы должны иметь четкое определение цели, то есть решить, что вы хотите делать. В противном случае будет сложно получить правильные результаты. Выборка данных

Первые вопросы, которые следует рассмотреть перед сбором данных, включают: Какие источники данных доступны и какие данные имеют отношение к текущим целям добычи полезных ископаемых? Как обеспечить качество выборочных данных? Является ли он репрезентативным в достаточном диапазоне? Сколько выборок данных подходит? Как классифицировать (обучающий набор, проверочный набор, тестовый набор) и так далее.

После уточнения цели интеллектуального анализа данных необходимо извлечь из бизнес-системы образец подмножества данных, связанного с целью интеллектуального анализа. Критериями извлечения данных являются: актуальность, надежность и актуальность.

Делая Выборку данных, вы должны строго контролировать качество.,Никогда не игнорируйте качество данных в любое время,Даже изхранилище данныхв ходе выполнения Выборка данных, также не забудьте проверить, насколько они хороши. Потому что интеллектуальный анализ Данные предназначены для изучения внутренних законов деятельности предприятия. Если исходные данные неверны, исследовать законы будет сложно. Исследование данных

После получения образца набора данных,Соответствует ли он тем требованиям, которые мы изначально предполагали?,Есть ли какие-либо очевидные закономерности или тенденции?,Существуют ли какие-либо состояния данных, которые никогда не можно было себе представить?,Каковы корреляции между факторами,На какие категории их можно разделить?,Это то, что необходимо изучить в первую очередь. Ведущий Целью данных и предварительной обработки является обеспечение качества выборочных данных, тем самым закладывая основу для обеспечения качества прогнозирования. Ведущий Данные включают в себя: анализ выбросов, анализ пропущенных значений, корреляционный анализ, периодический анализ, перекрестную проверку выборки и т. д. Предварительная обработка и очистка данных

Если размеры выборочных данных слишком велики, то, как выполнить уменьшение размерности и как бороться с пропущенными значениями в данных, — это все проблемы, которые необходимо решить при предварительной обработке данных. Предварительная обработка данных в основном включает в себя следующее содержание: проверку данных, преобразование переменных данных, обработку пропущенных значений, обработку неверных данных, стандартизацию данных, анализ главных компонентов, выбор атрибутов и т. д. Обнаружение шаблонов интеллектуального анализа данных

После завершения и предварительной обработки выборки необходимо рассмотреть следующие вопросы: к какому типу задач в приложениях интеллектуального анализа данных относится это моделирование (классификация, кластеризация, правила ассоциации или анализ временных рядов) и какой алгоритм использовать для моделирования. строительство? ?

Предпосылкой построения модели является обнаружение закономерностей в выборочных наборах данных, таких как правила ассоциации, прогнозирование классификации, кластерный анализ, закономерности временных рядов и т. д. После дальнейшего уточнения цели мы можем повторно изучить собранные данные в соответствии с конкретными требованиями задачи, чтобы увидеть, подходят ли они для нужд майнинга.

В ответ на потребности объекта интеллектуального анализа может потребоваться добавление или удаление данных, а также может потребоваться объединение или новое создание некоторых новых переменных на основе нового понимания всего процесса интеллектуального анализа данных, чтобы отразить эффективное описание состояния. . На основе дальнейшего уточнения целей интеллектуального анализа и дальнейшей корректировки структуры и содержания данных технические средства, которые следует использовать для интеллектуального анализа данных на следующем этапе, станут все яснее и яснее. Построение модели интеллектуального анализа данных

Построение модели отражает общие характеристики внутренней структуры выборочных данных.,И в основном соответствует конкретной структуре данных выборки.。Для прогнозных моделей（включать Классификацияи регрессионная модель、Прогнозирование временных рядовМодель）Давайте поговорим,Конкретизацией модели является формула прогнозирования,Формулы могут давать выходные данные, имеющие структуру, аналогичную наблюдениям.,Это прогнозируемое значение. Прогнозные модели разнообразны,Может применяться к выборочным данным различной структуры.。Выберите правильный прогноз Модельдаинтеллектуальный анализ данных — очень важный шаг. Иногда из-за неправильного выбора модели ошибка прогноза слишком велика, и модель необходимо изменить. При необходимости для сравнения и выбора можно одновременно использовать несколько моделей прогнозирования. Самое важное, что следует помнить о построении модели, — это итеративный процесс, и необходимо тщательно изучать различные модели, чтобы определить, какая из них наиболее эффективна для решения проблемы. Построение прогнозных моделей обычно включает в себя создание модели, ее обучение, проверку модели и прогнозирование модели. 4 шага, но будут небольшие изменения в зависимости от различных приложений классификации интеллектуального анализа данных. Оценка модели интеллектуального анализа данных

Одна из целей оценки — автоматически найти лучшую модель среди этих моделей, а другая — интерпретировать и применить модель к бизнесу. Методы оценки прогнозных моделей и моделей кластеризации различны.

Точность, полученная с помощью модели прогнозирования на обучающем наборе, не может хорошо отражать будущую производительность модели классификации. Чтобы спрогнозировать производительность модели классификации на новых данных, необходимо использовать набор наборов данных, которые не участвовали в создании. необходима модель классификации. И оцените точность классификатора на этом наборе данных. Этот независимый набор данных является тестовым. Это метод оценки, основанный на проверке. Обычно используемые методы включают метод удержания, случайную подвыборку, метод начальной загрузки, перекрестную проверку и т. д.

Эффект кластеризации можно измерить по сходству векторных данных. Сходство между векторными данными определяется как расстояние между двумя векторами (векторными данными в реальном времени и векторными данными центра кластера). Чем ближе расстояние, тем больше сходство. Чем он больше, векторные данные реального времени классифицируются в определенный кластер.

методы интеллектуального анализа данных

Обычно используемые методы анализа данных с использованием интеллектуального анализа данных включают классификацию, регрессионный анализ, кластеризацию, правила ассоциации, функции, анализ изменений и отклонений, интеллектуальный анализ веб-страниц и т. д. Они анализируют данные с разных точек зрения.

Классификация

Классификацияэто выяснитьбаза Общие характеристики группы объектов данных в данных и разделение их на разные классы в соответствии с моделью классификации. Целью является разделение базы с помощью модели классификации. Элементы данных в data сопоставляются с заданной категорией.

Может быть применен к Классификации клиента.、Атрибуты клиента и функции анализа、Анализ удовлетворенности клиентов, прогнозирование тенденций покупок клиентов и т. д.,Например, продавец автомобилей делит клиентов на разные категории в зависимости от их автомобильных предпочтений.,Это позволяет маркетологам рассылать рекламные брошюры о новых автомобилях непосредственно клиентам с такими предпочтениями.,Это значительно увеличивает возможности для бизнеса.

регрессионный анализ

регрессионный Метод анализа отражает базу транзакций Характеристики значений атрибутов в данных с течением времени,Создает функцию, которая сопоставляет элементы данных с действительной переменной-предиктором.,Обнаружение зависимостей между переменными или атрибутами,Его основные исследовательские вопросы включают характеристики тенденций последовательностей данных, прогнозирование последовательностей данных и корреляции между данными.

Его можно применять ко всем аспектам маркетинга, таким как поиск, удержание и предотвращение оттока клиентов, анализ жизненного цикла продукта, прогнозирование тенденций продаж и целевые рекламные мероприятия.

кластеризация

кластеризацияанализировать Это разделение набора данных на несколько категорий по сходствам и различиям.,Цель состоит в том, чтобы сделать сходство между данными, принадлежащими одной и той же категории, как можно большим.,Сходство между данными в разных категориях минимально.

Может применяться к группам клиентов.、Анализ данных клиентов、Прогнозирование покупательской тенденции клиентов、Сегментация рынка и т.д.

Правила ассоциации

Правила ассоциации — это правило, описывающее отношения, существующие между элементами данных в базе данных.,То есть, в зависимости от появления определенных элементов в транзакции, можно сделать вывод, что другие элементы также появляются в той же транзакции.,То есть корреляция или взаимосвязь, скрытая между данными.

существоватьуправление взаимоотношениями с клиентамисередина,Сбор большого количества данных от клиентов компании,Интересные связи можно обнаружить из большого количества записей.,Определить ключевые факторы, влияющие на эффективность маркетинга.,Позиционирование, ценообразование и настройка клиентской базы для продуктов,Привлечение, сегментация и удержание клиентов,Маркетинг и продвижение,Обеспечить справочную основу для поддержки принятия решений, например, для оценки маркетинговых рисков и прогнозирования мошенничества.

Анализ функций

Анализ функций — это характерное выражение об этих данных, извлеченное из набора данных в базе данных.,Эти характеристические выражения выражают общие характеристики набора данных. Например, маркетологи извлекают характеристики факторов оттока клиентов.,Можно получить ряд причин и основных характеристик, которые приводят к оттоку клиентов.,Использование этих функций может эффективно предотвратить отток клиентов.

Анализ изменений и отклонений

Предвзятость охватывает большой класс потенциально интересных знаний.,Например, аномальные примеры в Классификации.,Исключения из шаблона,Отклонение наблюдаемых результатов от ожиданий и т. д.,Цель состоит в том, чтобы найти значимые различия между наблюдениями и эталонными величинами. В кризисном управлении предприятием и раннем предупреждении,Менеджеров больше интересуют неожиданные правила。Поиск неожиданных правил можно применить для обнаружения различной аномальной информации.、анализировать、идентифицировать、оценка и раннее предупреждение и т. д.

Майнинг веб-страниц

Благодаря быстрому развитию Интернета и глобальной популярности Интернета объем информации в Интернете чрезвычайно велик. Извлекая информацию из Интернета, мы можем использовать его для решения различных задач. Анализируйте огромные данные, собирайте информацию, связанную с политикой, экономикой, политикой, технологиями, финансами, различными рынками, конкурентами, информацией о спросе и предложении, клиентами и т. д., и сосредоточьтесь на анализе и обработке той внешней среды, которая оказывает значительное или потенциально значительное влияние. Информация и внутрихозяйственная информация, и по результатам анализа мы можем выявить различные проблемы, возникающие в процессе управления предприятием и предвестники, которые могут вызвать кризисы, а также проанализировать и обработать эту информацию с целью выявления, анализа. , оценивать и управлять кризисами.

Интеллектуальный анализ данных — это процесс поддержки принятия решений, который анализирует корпоративные данные с высокой степенью автоматизации, проводит индуктивные рассуждения и выявляет потенциальные закономерности, чтобы помочь лицам, принимающим решения, корректировать рыночные стратегии, снижать риски и принимать правильные решения. Это очень важно для развития предприятия.