Всем привет, мы снова встретились, я ваш друг Цюаньчжаньцзюнь.

практические упражнения Hadoop (2)

Введение: Ха-ха, через несколько дней плохой парень снова вернулся. После предыдущей статьи «Практическое упражнение по Hadoop» (1) плохой парень собирается продолжить написание примера практического упражнения. Сократ однажды сказал: «Вся наука возникает из потребностей». Тогда выкинем требования сегодняшнего практического проекта: Baidu собирала журналы доступа пользователей за определенный период времени. Данные необходимо очистить и превратить в структурированные данные, чтобы облегчить создание последующих моделей или отчетов. Итак, начнем!

Программирование — это непросто. Если вы хотите и дальше получать контент, связанный с большими данными, подпишитесь и поставьте лайк этому плохому парню (ха-ха...).

Каталог статей：

Каталог статей

• практические упражнения Hadoop (2)
• • 1. Анализ требований проекта
  • 2. Идеи реализации проекта
  • Три конкретных объяснения кода реализации
  • • 3.1 Подробное объяснение кода функции карты:
    • 3.2 Подробное объяснение функции уменьшения:
  • 4. Резюме

1. Анализ требований проекта

Baidu собрал журналы доступа пользователей по кликам (ответьте [baidu] в фоновом режиме, чтобы получить экспериментальные данные!), и теперь ему необходимо проанализировать данные журналов. Выполните упрощенную сводку данных, формат данных показан на рисунке ниже:

Как показано на рисунке, в файле журнала есть скрытые журналы фоновых данных (аналогично System.out.println («Как дела такие-то, позвольте мне записать»)) и то, что я обвел ниже, пользователь доступ Информация, напечатанная по URL-адресу. Теперь посчитаем, сколько страниц посетил один и тот же IP-адрес, а также посчитаем первую и последнюю посещенные страницы. Конечный результат аналогичен:

2. Идеи реализации проекта

Если у вас уже есть идея или вы хотите попытаться завершить этот небольшой проект самостоятельно, временно покиньте веб-страницу и попробуйте завершить ее самостоятельно. Если вы ничего не понимаете в середине, вы можете проверить информацию в Интернете. Вернитесь, чтобы увидеть мои мысли после того, как я закончу. Если вы не очень хорошо знакомы с Hadoop, то можете сначала взглянуть на мои идеи. Если вы поняли, то скопируйте код самостоятельно (я считаю, что злодей делает это для вашего же блага, и все рассматривается как если бы). вы можете использовать его по своему усмотрению, значит, вы его выучили).

Этот проект в основном включает в себя написание функций карты и сокращения. Функция карты в основном реализует очистку и извлечение данных. Здесь в основном требуется знание регулярных выражений. Карта преобразует данные в IP в качестве ключа, время и страницу в качестве значения. Функция сокращения реализует статистику данных, вычисляет время и количество страниц, а также сравнивает начальную и последнюю страницы.

Три конкретных объяснения кода реализации

3.1 Подробное объяснение кода функции карты:

/** * функция: карта, используемая для файлов журналов, входные данные: ip, дата, pageurl * */
public class FlashMapper extends Mapper<LongWritable,Text,Text,Text> { 

@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { 

String line=value.toString();
String ipResult= null;
String timeResult=null;
String pageResult=null;
String regex="(\\d{1,3}\\.){3}\\d{1,3}";
Pattern pattern=Pattern.compile(regex);
Matcher matcher=pattern.matcher(line);
//IP найден
if (matcher.find()){ 

ipResult=matcher.group();
System.out.println("###########Полученный IP-адрес #############:"+ipResult);
String regexTime="\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2}";
Pattern pattern1=Pattern.compile(regexTime);
Matcher matcher1=pattern1.matcher(line);
//Открытие времени
if (matcher1.find()){ 

timeResult=matcher1.group();
}
String regexPage="http://.*]";
Pattern pattern2=Pattern.compile(regexPage);
Matcher matcher2=pattern2.matcher(line);
//Открыть страницу
if(matcher2.find()){ 

pageResult=matcher2.group(0);
pageResult=pageResult.substring(0,pageResult.length()-1);
}
//Передаем результаты очистки на следующий уровень
context.write(new Text(ipResult),new Text(timeResult+"\t"+pageResult));
}
}
}

3.2 Подробное объяснение функции уменьшения:

public class FlashReducer extends Reducer<Text,Text,Text,Text> { 

@Override
protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { 

//Определяем формат
DateFormat format=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); //Обратите внимание, что MM и HH следует различать в верхнем и нижнем регистре, а все остальные — в нижнем.
//Определяем время
Date startTime= null;
Date lastTime=null;
//Строковый формат времени
String sTime=null;
String lTime=null;
try { 

startTime = format.parse("2030-12-12 12:12:12");//Изначально берем максимум
lastTime=format.parse("1000-10-10 00:00:00");  //Изначально берем минимум
} catch (ParseException e) { 

e.printStackTrace();
}
//Определение времени и интервалов
Long count=0l;
Long distance=0l;
//Определяем URL веб-страницы
String startPage=null;
String lastPage=null;
String temp=null;
for (Text text:values){ 

//считать
count=count+1;
temp=text.toString();
String as[]=temp.split("\t");
//Получаем время и страницу
String time=as[0];
String page=as[1];
//Преобразуем класс String в Date
Date getTime=null;
try { 

getTime=format.parse(time);
} catch (ParseException e) { 

e.printStackTrace();
}
//Определяем, является ли это самым ранним или самым поздним
if (startTime.after(getTime)){ 

startTime=getTime;
startPage=page;
}
if(lastTime.before(getTime)){ 

lastTime=getTime;
lastPage=page;
}
}
//Только интервал (единица измерения: минуты)
Calendar startCalendar=Calendar.getInstance();
Calendar lastCalendar=Calendar.getInstance();
startCalendar.setTime(startTime);
lastCalendar.setTime(lastTime);
//Используем календарь для расчета интервала
distance=(lastTime.getTime()-startTime.getTime())/(1000);  //в секундах
//Форматируем время
sTime=format.format(startTime);
lTime=format.format(lastTime);
//Распечатываем результаты
System.out.println(key+" "+sTime+" "+startPage+" "+
lTime+" "+lastPage+" "+distance);
//Запись данных
context.write(new Text(key),
new Text(sTime+"\t"+startPage+"\t"+
lTime+"\t"+lastPage+"\t"+distance+"\t"+count));
}
}

4. Резюме

На все приведенные выше коды можно ответить на [упражнение Hadoop 1] в фоновом режиме, чтобы получить ссылку на GitHub. Если это может вам помочь, я надеюсь, что ваше подтверждение станет мотивацией для плохого парня сделать этот публичный аккаунт лучше. Позже я объясню, как использовать Spark для очистки журналов, Hive+Tez для создания хранилищ данных электронной коммерции, Flume+Kafka для сбора данных и другие связанные с этим практические и углубленные теории. Программировать непросто, добро пожаловать на Badass Brother!

Ссылки:

• Hadoop documention

Заявление об авторских правах: Содержание этой статьи добровольно предоставлено пользователями Интернета, а мнения, выраженные в этой статье, представляют собой только точку зрения автора. Этот сайт предоставляет только услуги по хранению информации, не имеет никаких прав собственности и не принимает на себя соответствующие юридические обязательства. Если вы обнаружите на этом сайте какое-либо подозрительное нарушение авторских прав/незаконный контент, отправьте электронное письмо, чтобы сообщить. После проверки этот сайт будет немедленно удален.

Издатель: Full Stack Programmer - User IM, укажите источник для перепечатки: https://javaforall.cn/234322.html Исходная ссылка: https://javaforall.cn