Шаринган, китайское название: Шаринган — это своего рода техника ученика в комиксе «Наруто». Он обладает способностью копирования и иллюзий. В мире иллюзий контролируются все факторы, включая время, местоположение, качество и т. д. оператором.

1. Введение

Sharingan — это инструмент записи и воспроизведения трафика, основанный на golang. Он записывает реальный трафик онлайн-запросов для тестирования воспроизведения. Он подходит для реконструкции проекта, регрессионного тестирования и т. д.

1.1. Предыстория

С развитием микросервисной архитектуры зависимости между сервисами становятся все более сложными, а тестирование программного обеспечения также сталкивается с новыми проблемами: частые обновления системы, многочисленные зависимости сервисов и т. д.

• Стоимость создания и поддержки тестовых примеров для общих тестовых решений (таких как модульное тестирование, системное тестирование и т. д.),Особенно в сложных бизнес-сценариях。「Создайте тестовые данныеКатастрофа」
• Зависимость от многочисленных сторонних сервисов,Среда автономного тестирования нестабильна.,Часто случается, что нижестоящие сервисы недоступны, что приводит к сбою тестов.。「Поддержание затрат на тестовую средувысокий」

Для этого нам необходимо разработать набор инструментов для смягчения вышеуказанных проблем.

1.2. План

• Записывайте реальный трафик запросов онлайн-сервисов (включая нисходящий трафик вызовов),Воспроизведение в автономном режиме,Решить задачу построения тестовых данных Катастрофа. 「копировать способность」
• Соответствие нисходящим вызовам Mock во время воспроизведения,Больше не зависит от конкретных нижестоящих услуг.,Решить проблему высокой стоимости обслуживания тестовой среды. «Способность иллюзии»

1.3. Характеристики

• Поддерживает запись нисходящего трафика. По сравнению с такими решениями, как tcpcopy и goreplay, воспроизведение не зависит от нисходящей среды.
• Поддерживает одновременную запись и воспроизведение трафика. Запись мало влияет на обслуживание, а воспроизведение происходит быстрее.
• Поддерживает сброс времени, удаление шума, пакетное воспроизведение, отчеты о покрытии, анализ общего протокола и многое другое.
• Поддерживает воспроизведение трафика записи и не загрязняет данные приложения.
• Не зависит от бизнес-фреймворков и имеет низкий уровень погружения в приложения.

2. Быстрый старт

2.1. Примеры использования.

# Step1: Скачать проект Шарингана
$ git clone https://github.com/didi/sharingan.git
$ cd sharingan

# Step2: Используйте настроенную версию golang, на примере go1.13 «Медленно? Попробуйте посетить веб-сайт за границей»
$ sudo sh install.sh go1.13 # Поддержка go1.10 ~ go1.15, ограничено Mac, Linux, AMD64 «Ошибка выполнения? Пожалуйста, проверьте FAQ внизу»
$ export GOROOT=/tmp/recorder-go1.13
$ export PATH=$GOROOT/bin:$PATH

# Step3: Скомпилируйте и запустите реплеер-агент в фоновом режиме "По умолчанию будут заняты порты 3515 и 8998, которые можно изменить".
# [Воспроизведение открытых В документах есть ссылка для прямой загрузки bin-файла], сборка не требуется
$ cd replayer-agent
$ go build
$ nohup ./replayer-agent >> run.log 2>&1 &

# Step4: Скомпилируйте и запустите пример в фоновом режиме «по умолчанию он занимает порт 9999 и может быть изменен».
$ cd ../example
$ go build -tags="replayer" -gcflags="all=-N -l"
$ nohup ./example >> run.log 2>&1 &

# Step5: Открыть страницу воспроизведения
$ Откройте браузер, http://127.0.0.1:8998. # Просто замените неродной IP
$ Выберите точку трафика для воспроизведения на странице для выполнения.          # Встроенные 3 примера трафика, записанные заранее

2.2. Документы доступа.

• Запишите документ доступа «Сначала запишите»
• Воспроизведение открытого документа «Пост-воспроизведение»

3. Технические решения

3.1. Разделение модулей.

• рекордер: модуль записи трафика, записывает трафик в локальное хранилище файлов, отправляет трафик записывающему агенту и т. д.
• рекордер-агент: агент записи трафика, запускается как отдельный процесс, контролирует соотношение записи, хранение трафика и т. д.
• replayer: модуль воспроизведения трафика, перенаправление соединений на Mock Server, время Mock, добавление идентификации трафика и т. д.
• агент-реплейсер: агент воспроизведения трафика, запускаемый как отдельный процесс, может запрашивать трафик, запрашивать/сообщать о шуме, разнице трафика, пакетном воспроизведении, генерировать отчеты о покрытии и т. д.

3.2. Общая схема архитектуры.

3.3. План записи.

• Измените исходный код golang, чтобы открыть интерфейс Hook для внешнего мира. «Все изменения прошли официальные тест-кейсы»
• Предоставляет API для подключения сетевых вызовов между различными горутинами. «Общий трафик http, mysql и redis не требует специальных настроек».
• Предоставьте отдельный агент для фильтрации трафика и контроля пропорций.
• Дополнительная информация: Принцип реализации записи трафика.

3.4. План воспроизведения.

• Перенаправление соединения: перенаправить все сетевые вызовы службы Connect на Mock Server. "Идет с вами при установке реплеера-агента"
• Сопоставление трафика: Mock Server будет сопоставлять возврат на основе фактического нисходящего запроса службы. «Имитация нисходящего вызова»
• Сброс времени: перемотка времени выполнения программы на время выполнения записи, чтобы избежать помех, вызванных временными факторами.
• Удаление шума. Предоставьте API для удаления известного шумового трафика, например, идентификатора трассировки, который различен для каждого запроса.
• Общий анализ протоколов: он может анализировать http, mysql, redis, thrift и другие протоколы для облегчения сравнения различий.
• Дополнительная информация: Принцип реализации воспроизведения трафика.

4. Путь эволюции

Что касается записи и воспроизведения трафика, мы провели множество внутренних исследований и в основном прошли следующие три этапа:

4.1. Moonlight Box (последовательная запись, последовательное воспроизведение)

Запись: используйте tcpdump для записи трафика, измените уровень маршрутизатора для сериализации запросов и используйте время для разделения запросов.

Воспроизведение: используйте iptables для перенаправления трафика в фиктивную службу, сопоставления запроса и его обратного макета. Поддерживает сброс времени, сравнение трафика и т. д.

Недостатки: Охват записываемого трафика низкий, одновременно можно записать только один запрос. переадресация iptables, серьезные шумовые помехи.

4.2, Fastdev (параллельная запись, последовательное воспроизведение)

Запись: преобразуйте исходный код golang и используйте технологию делегирования goroutine+work для последовательного различения запросов. Принцип отслеживания ссылок

Воспроизведение: используйте фиктивную библиотеку для перенаправления системного вызова подключения и пересылки трафика в фиктивную службу. Поддерживает панель мониторинга, удаление шума и т. д. принцип имитации обезьяны

Недостатки: интерфейсы и реализации записи смешаны, и сложно поддерживать несколько версий golang. Параллельное воспроизведение не поддерживается. Трафик не может быть проксирован на этапе запуска, и трафик запланированных задач серьезно пострадает.

4.3 Шаринган (параллельная запись, параллельное воспроизведение)

Запись: интерфейс и реализация разделены. Часть преобразования исходного кода golang предоставляет только интерфейс, а конкретная реализация записи обеспечивает поддержку отдельного пакета. Убедитесь, что изменения исходного кода golang прошли официальное тестирование и поддерживают все версии 1.10–1.14, оптимизируя производительность службы записи;

Воспроизведение: добавление идентификации трафика для поддержки одновременного воспроизведения; поддержка проксирования трафика на этапе запуска; использование настроенной версии golang для устранения помех трафика запланированных задач; сброс времени больше не зависит от локальных файлов и поддерживает отдельное развертывание агента воспроизведения; разбор протокола.

5. Дисплей эффектов

5.1. Воспроизведение трафика.

5.1.1. Одиночное воспроизведение.

В ситуациях, когда имеется много сложных нисходящих запросов, поддерживается фильтрация нисходящих протоколов.

5.1.2. Пакетное воспроизведение.

Параллельность пакетного воспроизведения по умолчанию равна 10, которую можно изменить, добавив параметр -parallel.

5.2. Отчет о покрытии.

5.2.1. Общий отчет.

Отчет о покрытии поддерживает накопление результатов покрытия, то есть поддерживает унифицированное формирование результатов покрытия после многократного одиночного воспроизведения и пакетного воспроизведения.

5.2.1. Подробности покрытия.

Адрес: https://github.com/didi/sharingan

Пользователи сети могут продолжать изучать новые функции.