Что такое большие данные

Большие данные относятся к массивной, быстрорастущей и разнообразной информации, которая требует новых моделей обработки, чтобы иметь более сильные возможности принятия решений, обнаружения идей и возможностей оптимизации процессов, когда традиционные методы обработки данных трудно обрабатывать. Характеристики больших данных обычно обозначаются как «4V», а именно:

• Объем：большие данные имеют очень большой размер и обычно заканчиваются на TB (терабайт), PB (петабайт) или EB (эксабайт) или даже выше. Например, 2020 год Объем данных, генерируемых пользователями Интернета по всему миру, достигает 59ZB (зеттабайт), что эквивалентно ежедневной генерации. 160 100 миллионов GB данные.
• Скорость：большие Генерация и обработка данных происходит очень быстро.,Требуется ответ в режиме реального времени или почти в реальном времени. Например,Данные движутся очень быстро в таких областях, как социальные сети, электронная коммерция и Интернет вещей.,Требует быстрого анализа и обработки.
• Разнообразие：большие Источники данных очень разнообразны, включая структурированные данные (например, таблица данных), полуструктурированные данные (например, XML、JSON и т. д.) и неструктурированные данные (например, текст, изображения, аудио, видео и т. д.). Например, данные о поведении пользователей, данные датчиков, данные о географическом местоположении, данные социальных сетей и т. д. в Интернете — все это относится к большим Категория данных.
• Ценить：большие Плотность стоимости данных относительно низка, и для выявления их потенциальной ценности требуется эффективный анализ и анализ. Например, по большим данныеанализировать,Может повысить конкурентоспособность, инновационные возможности и эффективность предприятий.,Оно также может обеспечить более качественные услуги и поддержку принятия решений для правительства, общества и отдельных лиц.

В современном обществе большие данные стали силой, которую нельзя игнорировать. Они подобны бесконечной сокровищнице, содержащей бесчисленные возможности и проблемы. Но чтобы глубже понять значение и влияние больших данных, нам необходимо проанализировать историю развития технологий больших данных и изучить их прошлое и настоящее. Эта статья отправит вас в путешествие во времени и пространстве, чтобы изучить историю развития технологии больших данных и ключевые технические моменты, стоящие за ней.

История развития больших данных

большие Понятие данных появилось не в последние годы, а процесс его развития можно проследить еще в прошлом веке. Согласно разным этапам, История развития больших данных можно разделить на следующие четыре периода:

• Период 1 (1940–1970 гг.): Период сбора данных.。Основные характеристики этого периода.даданныепроизводствоисобирать,И хранение данных и управление ими. С развитием компьютерных технологий,Размер и тип данных также постепенно увеличиваются.,Появления, такие какреляционная база данных、Иерархическийбаза данных、Тип сети база данные и другие различные модели и системы данных. Репрезентативные технологии в этот период включают:
  • лента：лентаэто ранний носитель данных,Используйте магнитные материалы для записи данных. Преимущества ленты – большая емкость и низкая стоимость.,Но недостаток в том, что скорость чтения и записи низкая, хрупкий, Не удобно для произвольного доступа.
  • диск：дискпредставляет собой улучшенный носитель данных,Используйте магнитные материалы для записи данных. Преимуществами диска являются быстрая скорость чтения и записи, высокая надежность и легкий произвольный доступ.,Но недостатками являются небольшая емкость и высокая стоимость.
  • реляционная база данных：реляционная база данные — это система управления данными, основанная на реляционной модели, которая использует двумерные таблицы для хранения и работы с данными. реляционная база Плюсы данных – четкая структура, Простая логика、Легко сделать запросиподдерживать,Но недостаток в том, что он не пригоден для сложной обработки.и Разнообразныйтип данных。
• Второй период (1970-1990 гг.): период анализа данных.。Основные характеристики этого периода.даданные的анализироватьикопать,А также применение и ценность данных. По мере роста и диверсификации данных,Появления, такие какхранилище данных、интеллектуальный анализ данных、визуализация данные и другие различные методы и методы анализа данных. Репрезентативные технологии в этот период включают:
  • хранилище данных：хранилище данные — это система интеграции и анализа данных, используемая для поддержки принятия решений, использующая многомерные модели для хранения и управления данными. хранилище Преимущество данных заключается в их способности обеспечить историческое и всестороннее представление данных.,Поддержка сложного и многомерного анализа данных,Но недостатком является то, что затраты на строительство и обслуживание высоки.,Обновления и производительность в реальном времени плохие.
  • интеллектуальный анализ данных：интеллектуальный анализ данные — это процесс обнаружения полезной информации и знаний из больших объемов данных с использованием статистики, машинного обучения, искусственного интеллекта и других методов анализа данных. интеллектуальный анализ Преимущество данных в том, что они могут выявить закономерности данных.,Обеспечивать функции прогнозирования и рекомендаций,Но недостаток в том, что это требует профессиональных знаний и навыков.,Существует определенная степень неопределенности и ошибок.
  • визуализация данных：визуализация данные — это процесс преобразования данных в графику или изображения с использованием визуальных элементов для представления данных и взаимодействия. визуализация Преимущество данных заключается в том, что они могут улучшить понятность и привлекательность данных.,Улучшите коммуникацию и представление данных,Но недостатком является то, что необходимо учитывать целостность и точность данных.,Избегайте введения в заблуждение и предвзятости.
• Третий период (1990-2010 гг.): Наступление эры больших данных.。Главной особенностью этого периода является взрывной рост данных.ииспытание,а такжебольшие Понятие данных и рождение технологий. С развитием таких технологий, как Интернет, Интернет вещей и мобильная связь, скорость и масштабы генерации данных намного превышают возможности традиционных методов обработки данных, а характеристики данных стали более сложными и разнообразными. Понятие и характеристики данных. Чтобы справиться с большими Данные Челлендж, Google Другие компании предложили распределенные файловые системы. GFS、большие среда распределенных вычислений данных MapReduce и NoSQL база данных BigTable и другие технологии, впервые создавшие большие данные первая в своем роде технология. Репрезентативные технологии в этот период включают:
  • облачные вычисления：облачные Расчет — это модель обработки данных на базе Интернета, которая использует технологию виртуализации для предоставления масштабируемых услуг хранения данных и вычислений. облачные Преимущество вычислений заключается в том, что они могут снизить стоимость и сложность обработки данных.,Повышение эффективности и гибкости обработки данных,Но недостатком является то, что вам необходимо учитывать безопасность и конфиденциальность данных.,И стабильность и надежность сети.
  • распределенная система：распределенная Система — это система обработки данных, состоящая из нескольких независимых компьютеров, которые используют сетевую связь для координации и взаимодействия при выполнении задач по обработке данных. распределенная система Преимущество заключается в том, что это может улучшить производительность обработки данных.инадежность,Поддержка крупномасштабной и распределенной обработки данных,Но недостатком является то, что необходимо решить проблему согласованности и синхронизации данных.,И сложность системы и сложность разработки.
  • параллельные вычисления：параллельные Вычисление — это метод обработки данных, который использует несколько процессоров для одновременного выполнения задач по обработке данных, а также использует параллельные алгоритмы и модели программирования для разложения и объединения данных. параллельное вычисления Преимущество в том, что это может ускорить обработку данных.и Эффект,Поддержка сложной и высокопроизводительной обработки данных,Но недостатком является необходимость учитывать секционирование данных и балансировку нагрузки.,а также Параллельно Расширяемыйсексипортативныйсекс。
• Четвертый период (с 2010 г. по настоящее время): развитие больших данных и эра интеллекта.。Главной особенностью этого периода является интеллект данных.иинновации,а также ценность и влияние данных. Благодаря разработке и применению таких технологий, как искусственный интеллект, машинное обучение и глубокое обучение,,Данные можно не только хранить и анализировать.,также можно понять и использовать,тем самым генерируя новые знания、Служитьи Бизнесмодель。Представители этого периодасекстехнологияи Событие：
  • Разработка фреймворков распределенной обработки：Структура распределенной обработкибольшие Основная технология обработки данных используется для разложения крупномасштабных данных на мелкомасштабные задачи, назначения их нескольким узлам для параллельного выполнения, а также суммирования и возврата результатов. Самая ранняя структура распределенной обработки MapReduce на базе Google Было предложено обрабатывать структурированные и полуструктурированные документы. Позже появились более гибкие и эффективные платформы распределенной обработки, такие как. Spark、Flink、Storm и т. д. для обработки в реальном времени.、потоковая передача、сложныйданные.
  • Нетреляционная база данных Рост：Нетреляционная база Данные — это система управления данными, которая не соответствует реляционной модели и используется для хранения и управления неструктурированными или полуструктурированными нереляционными данными. база Преимущество данных заключается в том, что они могут адаптироваться к разнообразию, динамике и распределению данных и предоставлять высокопроизводительные, доступные и масштабируемые услуги передачи данных. нереляционная база Существует много типов данных, таких как тип «ключ-значение», тип документа, тип семейства столбцов, графический тип ожидания. Некоторые известные нереляционные типы. база данныхиметь MongoDB、Cassandra、Neo4j ждать.
  • облачные вычисленияибольшие данныеслияние：облачные вычислениядлябольшие data предоставляет эластичные, масштабируемые, недорогие услуги хранения данных и вычислений. данныедляоблачные Вычисление обеспечивает огромные, разнообразные и высокоскоростные ресурсы данных и потребности в анализе. Эти двое продвигают друг друга и образуют облачные вычисленияибольшие платформа конвергенции данных, такая как Amazon Web Services、Microsoft Azure、Google Cloud Platform ждать.
  • Приложения машинного обучения и глубокого обучения：машинное обучение и Глубокое обучение — важная отрасль искусственного интеллекта,Используется для изучения закономерностей на основе данных,Реализация классификации данных、кластеризация、предсказывать、Рекомендации и другие функции. Приложения машинного обучения и глубокого Область обучения очень широка и включает в себя поисковые системы, социальные сети, электронную коммерцию, обработку естественного языка, компьютерное зрение, распознавание речи, автономное вождение. Некоторые известные платформы и структуры машинного и глубокого обучения. TensorFlow、PyTorch、scikit-learn ждать.

Эти структуры, платформы и соответствующие алгоритмы, показанные на рисунке, вместе составляют техническую систему больших данных.

Области применения больших данных

Что касается областей применения больших данных, то они есть практически везде. Большие данные играют важную роль во всех сферах жизни, принося огромную пользу предприятиям и организациям. Ниже приведены некоторые подробные описания приложений больших данных, охватывающие несколько областей:

1. Маркетинговые и персонализированные рекомендации：большие Данные делают маркетинговые стратегии более точными. Анализируя большой объем потребительских данных, компании могут понять предпочтения клиентов, их покупательские привычки и модели поведения, а также на основе этой информации давать персональные рекомендации и проводить индивидуальные маркетинговые мероприятия.
2. Финансовая и страховая отрасль：большие Данные имеют широкий спектр применения в финансовой сфере. Его можно использовать для оценки рисков, обнаружения мошенничества, анализа транзакций, принятия инвестиционных решений и т. д. В страховой отрасли большие Данные могут использоваться для оценки рисков, прогнозирования цен и претензий, а также повышения операционной эффективности.
3. Области медицины и здравоохранения：большие данныесуществовать Области медицины и Приложения здравоохранения очень широки. Его можно использовать в прогнозировании заболеваний, диагностической помощи, исследованиях и разработках лекарств, персонализированной медицине и т. д. Анализируя клинические данные пациентов и генетическую информацию, большие данные помогают предоставлять более качественные медицинские услуги и поддержку принятия решений.
4. Управление производством и цепочками поставок：большие данные могут быть использованы для повышения эффективности производства и визуализации управления цепочками поставок. Это может помочь производителям оптимизировать производство, контролировать качество продукции и прогнозировать цепочку поставок, тем самым сокращая затраты, повышая эффективность и своевременно удовлетворяя потребности клиентов.
5. Городское планирование и умный транспорт：большие Данные играют важную роль в городском планировании и управлении дорожным движением. Анализируя данные о дорожном движении и информацию о восприятии города, можно оптимизировать прогнозирование пробок на дорогах, интеллектуальное управление сигналами светофора и городское планирование, чтобы повысить эффективность дорожного движения и интеллектуальность городских операций.
6. Образование и академические исследования：большие Данные могут быть использованы для оценки учащихся, персонализированного обучения и управления школой в сфере образования. В академических исследованиях большие данные предоставляют ученым ценные ресурсы для интеллектуальных анализ данные, распознавание образов и научные открытия.
7. Социальные сети и веб-аналитика：большие данныеверно Социальные сети и Влияние в области веб-аналитики огромно. Анализируя поведение и взаимодействие пользователей на платформах социальных сетей, можно выявить структуру социальных сетей, а также интересы и хобби пользователей, тем самым способствуя маркетингу в социальных сетях, мониторингу общественного мнения и прогнозированию поведения пользователей.
8. энергия и окружающая среда：большие данныесуществоватьэнергия и окружающая Применение окружающей среды может помочь в энергосбережении и сокращении выбросов, а также в защите окружающей среды. Посредством мониторинга и анализа энергопотребления в режиме реального времени, параметров окружающей среды и климатических данных можно разработать разумные стратегии управления энергопотреблением и защиты окружающей среды для достижения устойчивого развития.

Это лишь малая часть областей применения больших данных. Благодаря постоянному развитию и инновациям технологий большие данные будут продолжать играть важную роль во многих областях и приносить больше удобства и ценности в нашу жизнь.

Безопасность данных и защита конфиденциальности

В современном обществе безопасность данных и защита конфиденциальности особенно важны в эпоху больших данных. Большие данные содержат большое количество личной и конфиденциальной информации. Как защитить безопасность данных и предотвратить утечку и злоупотребление данными, стало актуальной задачей. Мы нажмем следующее 6 Познакомить с некоторыми аспектами безопасности данных и защита конфиденциальность обычно используемых технических средств.

1. технология шифрования：технология шифрование является одним из самых основных и ключевых средств защиты безопасности данных. С помощью шифрования мы преобразуем исходные данные в зашифрованный текст. В процессе передачи и хранения данных конфиденциальную информацию невозможно прочитать напрямую, даже если она получена незаконным путем. Общие алгоритмы шифрования включают симметричные алгоритмы шифрования (например, AES, DES) и алгоритм асимметричного шифрования (например, ЮАР, ЕСЦ). Кроме того, управление безопасностью шифруемых данных и конфиденциальность ключа также являются технологиями. Важные аспекты шифрования.
2. контроль доступа：контроль доступ — техническое средство контроля прав доступа к данным. Благодаря настройке разрешений и механизмов аутентификации только авторизованные пользователи или устройства могут получать доступ к данным и управлять ими. контроль Доступ включает в себя управление ролями пользователей, назначение разрешений и проверку личности, чтобы гарантировать, что только законные пользователи могут входить в определенные ресурсы данных.
3. Десенсибилизация данных：Десенсибилизация Данные являются важным техническим средством защиты конфиденциальности данных, особенно в сценариях обмена данными и анализа данных. Десенсибилизация данных защищает конфиденциальность пользователей, удаляя или изменяя ключевое содержимое конфиденциальной информации, чтобы конфиденциальные данные не могли напрямую идентифицировать людей. Общая десенсибилизация методы данных включают замену, обобщение, маскирование и точную настройку и т. д., чтобы гарантировать, что конфиденциальная личная информация не будет раскрыта во время обработки и обмена данными.
4. технология анонимизации：технология анонимизация – метод предотвращения идентификации личности. Путем удаления из данных личной идентификационной информации, такой как имя, идентификационный номер и т. д., данные преобразуются в анонимный формат, так что отдельные лица не могут быть напрямую связаны. технология анонимизация помогает защитить конфиденциальность пользователей, сохраняя при этом аналитическую и исследовательскую ценность данных.
5. Безопасное хранение и передача：Безопасное хранение и Передача является ключевым средством обеспечения того, чтобы данные не были получены незаконным путем или подделаны во время хранения и передачи. С точки зрения хранения данных, используя технологию шифрованияиконтроль Стратегия доступа защищает безопасность устройств хранения данных и использует стратегии резервного копирования и аварийного восстановления для предотвращения потери данных. Для передачи данных используйте зашифрованные протоколы передачи, такие как SSL/TLS) и защищенный канал связи, обеспечивающий конфиденциальность и целостность данных во время передачи.
6. Мониторинг и аудит данных：Мониторинг и аудит данные — это технические средства мониторинга и регистрации использования данных. Мониторинг и запись доступа к данным, операций, модификаций и других действий позволяют своевременно обнаружить потенциальные угрозы безопасности и аномальное поведение, что позволяет своевременно реагировать и проводить расследование.

Безопасность данных и защита конфиденциальностидабольшие Важные проблемы эпохи данных. По технологии шифрования、контроль доступа、Десенсибилизация данных、технология анонимизации、Безопасное хранение и передачаа также Мониторинг и аудит Комплексное применение различных технических средств, таких как данные, может эффективно защитить безопасность и конфиденциальность данных. Но следует отметить, что при постоянном развитии хакерских технологий защита безопасности и конфиденциальности данных по-прежнему является областью постоянных проблем, и нам необходимо продолжать уделять этому внимание. —Появление новых технологий и их гибкое применение в реальных сценариях для обеспечения безопасности данных и защита Стойкость и эффективность конфиденциальности.

Ссылки

• https://zhuanlan.zhihu.com/p/183955159
• https://cloud.tencent.com/developer/article/1883793
• https://zhuanlan.zhihu.com/p/671403373

наконец

История развития технологий больших данных показывает передачу человеческой мудрости из поколения в поколение. От реляционных баз данных до распределенных вычислений и распределенного хранения данных, до появления инструментов обработки и анализа данных — каждый прорыв способствует развитию больших данных. Однако, несмотря на непрерывную эволюцию больших данных, они по-прежнему сталкиваются со многими проблемами, такими как качество данных, защита конфиденциальности и этика. В будущем мы с нетерпением ожидаем появления более инновационных технологий и методов, которые помогут дальнейшему развитию технологий больших данных и созданию лучшего будущего для человечества.

Я участвую в пятом выпуске специального учебного лагеря Tencent Technology Creation 2024 с эссе, получившими награды. Приходите и разделите приз со мной!