За последние несколько лет я наблюдал, как Чжунтай поднимался в небо, а затем видел, как он падал с алтаря. Первые друзья, которые упомянули о строительстве Китай-Тайвань, теперь отправляются в Китай-Тайвань, и внутреннее строительство Tencent Китай-Тайвань также начало становиться более прагматичным. Тем не менее, средняя платформа Tencent не исчезла, а продолжает спокойно работать в виде технических продуктов. Платформенные технологические продукты служат команде разработчиков и когда-то были включены в категорию средних платформ. Однако она просуществовала дольше, чем средняя платформа и средняя. платформа упала. Платформа вечнозеленая. Автор этой статьи создал продукт Tencent на платформе PCG — XSearch — с нуля. Он будет использовать его в качестве примера, чтобы помочь всем понять, что необходимо учитывать при создании продукта на платформенной технологии.

31 июля в 19:30 в видеоаккаунте Tencent Cloud Developer «Программисты Goose Factory Face to Face» также состоится прямая трансляция о среднем уровне, моделировании, драйверах домена и другом сухом контенте. Не пропустите. !

01. Фон

1.1 Средняя платформа, платформа, технологические продукты

Когда увлечение созданием технологических средних платформ утихнет, мы обнаружим, что все оставшиеся «средние платформы» — это все «платформы», подобные инфраструктуре. Хотя существует множество статей, объясняющих различия между средними платформами и платформами, я всегда считал, что средние платформы. платформы и платформы. Технические аспекты ничем не отличаются. Платформа, построенная по концепции средней платформы, я предпочитаю называть ее техническим продуктом, является продуктом ToB.

1.2 Зачем писать эту статью

Я прочитал много вводных статей о технической мидлплатформе, большинство из которых рассказывают, зачем она нужна и что делается. Конечно, некоторые рассказывают и о том, почему она не нужна. Здесь я хочу написать другое: как у нас техническая. Промежуточная платформа построена от концепции до реализации. Он не только подводит итоги работы за последние несколько лет, но и позволяет читателям, никогда не производившим технические продукты, понять, как мы это делаем. Ниже я сосредоточусь на: клиентах, основной конкурентоспособности, эффективности исследований и разработок, операционной эффективности, технической документации и мышлении в области развития.

02. Клиент прежде всего

Клиенты — единственная причина существования технологического продукта. Делая технические продукты внутри компании, с помощью единого управления BG, нам не составит большого труда найти клиентов, но по сравнению с производством продуктов ToC все же есть некоторые различия. Суть можно свести к следующим пунктам: решение основных требований, поддержание профессионального имиджа, поддержание активации коммуникации, давайте поговорим об этом ниже.

2.1 Основные требования клиентов

Для XSearch функциональность, производительность, стоимость, эффективность и стабильность являются основными требованиями. Будучи техническим продуктом, проверенным в более чем 20 бизнес-направлениях внутри и за пределами PCG, он может соответствовать большинству текущих бизнес-сценариев.

2.2 Профессиональное обслуживание клиентов

(1) Кто будет помощником (обслуживание клиентов)

В первые дни создания вспомогательной учетной записи у нас были конфликты между рабочей силой и эффективностью: с одной стороны, мы надеялись привлечь студентов, работающих полный рабочий день, которые будут предоставлять помощникам доступ к бизнесу, бизнес-консультации и обработку сигналов тревоги, чтобы сократить физический труд. с другой стороны, из группы исследований и разработок. С другой стороны, мы также надеемся, что помощник сможет решить проблемы пользователей, не переходя снова из рук в руки и не беспокоя студентов, занимающихся исследованиями и разработками. Кто будет помощником?

• Если внедрение версистемы не знакомо с аутсорсингом, проблему могут решить одноклассники.,Тогда документ также может решить эту проблему.,Если документ может решить,Тогда нам не нужно будет оказывать консультационную поддержку и отдавать студентов на аутсорсинг.
• Если документ не может быть решен,Тогда сложно решить проблему, посоветовавшись с одноклассниками по аутсорсингу.,Он станет субподрядчиком,В это время задание все равно ляжет на одноклассников, стоящих за вами.,Это определенно будет мешать одноклассникам,Нарушить первоначальный план работы,И это заставит клиентов чувствовать себя помощниками. Не профессионально.
• Сервисные сигналы тревоги, а также обработка операций и технического обслуживания требуют стабильности,верно, к дежурным студентам и технической продукции, автоматическому управлению и техническому обслуживанию предъявляются более высокие требования.,При аутсорсинге существуют определенные риски.

Взвесив чашу весов, мы решили позволить студентам, занимающимся исследованиями и разработками, выполнять эту работу. В то же время мы продолжали создавать документы, чтобы уменьшить количество запросов клиентов. Цена, которую мы заплатили, была: на одного штатного специалиста по исследованиям и разработкам меньше. Принесённая польза:

• Каждый имеет возможность ознакомиться со всеми модулями в полной системе.
• Получите более четкое представление о ценности клиента.
• Содействовать созданию руководств пользователя.
• Легче оспаривать необоснованные замыслы.

Будущие возможности: если наши технические продукты будут так же просты в обслуживании, как MySQL, мы также сможем обучить аутсорсинговых специалистов/коллег, специализирующихся на эксплуатации и обслуживании, разделять исследования и разработки и эксплуатацию и обслуживание.

(2) Профессионализм в общении

Разработчики, которые только начали работать в службе поддержки клиентов, могут легко впасть в конфронтацию во время общения с клиентами или дать неверные ответы. Поэтому во время еженедельного дежурного обзора мы проводим сессию обзора тренера, чтобы просмотреть все сообщения в течение недели. выявляйте случаи, которые можно улучшить, и дайте рекомендации.

2.3 Поддерживайте активное общение

Количество компаний, которые мы поддерживаем, ограничено, поэтому можно создать независимые каналы связи для каждого бизнеса. XSearch и каждое бизнес-направление имеют корпоративные группы связи WeChat, где они могут синхронизировать ход исследований и разработок, обновления услуг, оповещения о чрезвычайных ситуациях и т. д. Важное примечание. . В то же время мы также определили ежемесячный отчет о исследованиях и разработках, в котором каждый месяц сообщается о ходе исследований и разработок, чтобы клиенты могли понять, какие версии были обновлены и какие также отражают наш профессионализм.

03. Производительность и стоимость

Поиск и отзыв технических продуктов требует извлечения наиболее важных документов из огромных объемов данных. Помимо эффекта персонализированной сортировки бизнеса, наиболее заметными показателями являются производительность и стоимость, которые требуют постоянной углубленной обработки и кропотливых операций.

3.1 Развиваемая система

Только легко модифицируемая и развиваемая система может постоянно оптимизировать производительность и затраты. С самого начала наша системная архитектура, будь то кластерная архитектура или реализация в рамках основных модулей, приняла несвязанную конструкцию, что привело к устойчивой производительности на протяжении всего прошлого. несколько лет оптимизации, не нужно сносить систему и начинать заново.

Дизайн первой версии XSearch в июне 2019 года:

Текущая (июль 2022 г.) структура XSearch аналогична конструкции 2019 г. Локальная структура была скорректирована, а функции значительно расширены.

3.2 Постоянное технологическое развитие

С момента создания проекта «Китай-Тайвань» в 2019 году мы инвестируем рабочую силу в оптимизацию производительности, иногда в форме технических проектов, иногда в форме оптимизации доступа к бизнесу. В ходе этого процесса нами накоплен ряд сводных документов, которые можно классифицировать следующим образом:

• Оптимизация архитектуры, такая как двух- и трехуровневая архитектура разветвления и слияние микросервисов.
• Новые технологические приложения, такие как: новая структура RPC, сопрограммы, параллельные инструкции SIMD.
• Обмен пространства на время, например: бизнес-кэш, вычислительный кеш, пул памяти jemalloc.
• Оптимизация структуры данных, например использование цепочек блоков для замены разреженных растровых изображений и структур памяти, соответствующих кэшу.
• Например, упростите стратегию: замените несколько запросов на один, а затем дополните эффект более совершенными стратегиями поиска.
• Детали реализации, такие как: удаление копий, снятие блокировок и повторное использование объектов.

3.3 Тонкие операции

Достижение оптимизации затрат за счет технологического прогресса является пороговой задачей, в то время как мелкие операции кажутся ручным трудом, поэтому многие внутренние технологические продукты игнорируют мелкие операции на ранних стадиях (XSearch не является исключением на первых этапах).

Позже мы вложили много энергии в усовершенствованную работу XSearch, управляли историческим багажом и институционализировали усовершенствованную работу. Мы обслуживали более 20 бизнес-линий и управляли сотнями бизнес-кластеров. Не было никакого «роста затрат клиентов из-за ЦП». опорожнение». Стоимость аварии».

• Выбор оборудования：
  • Большой объем памяти и высокопроизводительные вычислительные услуги, используйте AMD устройство и не включается NUMA。
  • Для служб, не требующих доступа к диску в реальном времени, выберите не- SSD диск.
• Минимизация квот: ЦП/диск/память, все настроено минимально.
• Автоматическое планирование: настройте порог автоматического сокращения с помощью конфигурации планирования платформы 123 (примечание: внутренняя платформа управления контейнерными услугами).
• Собственная облачная панель мониторинга создает панель мониторинга использования ЦП для просмотра тенденций изменения ЦП.
• Мониторинг использования: сигнал тревоги выдается, когда пиковая загрузка ЦП ниже 50%.
• Выделенный персонал проверит загрузку ЦП, его использование и изменения в трафике, а также свяжется с бизнесом не позднее, чем через T+1.
• Осуществляйте целенаправленное управление автономными вычислительными сервисами при сбоях в работе ЦП и общайтесь с бизнес-командой для разделения трафика.

04. Функциональный дизайн

Функции также являются важным ориентиром для бизнеса при использовании наших продуктов, который можно разделить на следующие моменты: удобно ли получать доступ к новым сервисам и переносить старые сервисы, высок ли порог для начала работы, легко ли это сделать; настроить, есть ли поддерживающие инструменты отладки и т. д. подождите; Ниже приводится введение в функциональное проектирование, примеры возможностей XSearch и возможности отладки.

4.1 Проблемы функционального дизайна

(1) Удобство при заселении

• Использование JSON-подобного синтаксиса DSL не только удовлетворяет необходимость реализации сложных стратегий поиска с помощью любой комбинации правил поиска, но также впоследствии облегчает миграцию предприятий, использующих ES, на XSearch.

(2) Последовательность

• Согласованный стиль кода и документации могут повысить эффективность чтения.,дляTechnologyпродуктиз Функциональный дизайн не менее ценен,продукт постоянно добавляет функции,Последовательность дизайна сделает один технологический продукт более мощным (вместо добавления нескольких технологических продуктов, которые необходимо заново изучать).,При добавлении функции векторного вызова,,Мы рассматриваем векторы как индексы наряду с инвертированными, прямыми и перечислениями.,Повторно используйте исходный XSearch из полного набора процессов.,Оба уменьшают количество инноваций.,Он также ненавязчив в использовании.

(3) Простота использования

• Для общих возможностей поиска большинству клиентов не нужно понимать сегментацию слов, понимание запросов или сборку поисковых предложений, поэтому мы превращаем стратегию поиска в визуальную конфигурацию, и нам нужно только сделать выбор в интерфейсе, чтобы получить хорошую возможность отзыва.
• Возможность персонализации. Что делать, если общий поиск не может ее удовлетворить и требуется настройка? Мы обеспечиваем широкие возможности настройки производительности с помощью синтаксиса DSL, плагинов сортировки и плагинов сценариев.
• Возможности отладки. Когда компании используют поисковые системы, время, затрачиваемое на отладку, часто не короче, чем время, необходимое для написания кода отзыва, поэтому развитие возможностей отладки также очень важно.

(4) Компромисс между универсальным и индивидуальным

• Хотите масштабировать продукт,Оно должно быть универсальным. И бизнес-продукт может выдвигать требования к настройке.,Мы решаем большинство проблем с настройкой посредством настройки и плагинов.,Например: хотите ли вы искать по заголовкам или тегам, использовать сортировку по умолчанию или пользовательскую сортировку и т. д. Но некоторые проблемы невозможно решить идеально.,заплатит цену,Например: проектирование архитектуры и проектирование протоколов.
• Проектирование стоимостной архитектуры: при обслуживании только одного бизнеса,системаиз Мало переменных,Не нужно думать о слишком большом количестве плагинов-расширений,Архитектура проста, время обслуживания короткое, а цикл обслуживания короткий.
• Стоимость — дизайн протокола: нет необходимости учитывать необходимость наличия у нескольких сервисов разных полей. При наличии новых полей просто добавляйте новые поля напрямую. При рассмотрении нескольких предприятий либо пожертвуйте производительностью и определите типы карт для работы с различными областями разных предприятий, либо используйте один из них для разделения персонализированных полей разных предприятий на разные сообщения. Независимо от того, какой метод, это приведет к увеличению сложности и влияния протокола. производительность.

(5) Компромисс между производительностью и удобством

• Единый бизнес по продукту TECHNOLOGY,Выбор в целом один и ясен из,Стремление к производительности и простоте использования,И платформенная технология должна учитывать возможность предоставления нескольких вариантов. Например: разработка протокола интерфейса.,Значение прямого индекса — это возвращаемая сериализованная строка.,Или верните исходный номер,В погоне за производительностью пользователи хотят вернуть исходный номер,Стремясь к простоте использования, пользователи хотят, чтобы возвращаемая строка отображалась напрямую.

4.2 Возможности поиска XSearch

Функции XSearch разделены по уровням, включая вызов, понимание запросов, настройку плагинов, каналы данных и операционные системы. Их можно выразить на рисунке:

4.3 Возможности отладки XSearch

Основываясь на случаях, с которыми мы столкнулись во время развития нашего собственного бизнеса, мы накопили относительно богатый набор навыков отладки, охватывающий:

• Имитировать запрос.
• Объясните запрос.
• Запрос документа.
• Просмотр информации об индексе.
• Полная трассировка ссылок.

Благодаря этим возможностям, почему он не вызывается, почему он вызывается и какие операции проходит при возврате, все это можно увидеть с помощью инструмента.

05. Эффективность исследований и разработок

Эффективность исследований и разработок является основой для сохранения конкурентоспособности технологических продуктов. Мы продолжали инвестировать с момента создания проекта в 2019 году, но, как и у большинства стартап-команд, наша ранняя работа в 2020 году была жесткой, в соответствии с общей тенденцией PCG по продвижению EPC. Воспользовавшись этой тенденцией, мы реализуем различные вспомогательные функции, такие как модульное тестирование, конвейер MR, проверку кода, спецификации кода и т. д., а также будем использовать iCode\iRead\iWork в 2021 году, чтобы продвинуться дальше в повышении качества кода.

5.1 Технологическая система

Определите уникальную систему процессов, которая соответствует принципу высокой эффективности и позволяет уменьшить количество вариантов и ошибок.

5.2 Инфраструктура

Настройте инфраструктуру проекта на базе платформы компании, чтобы обеспечить возможность внедрения системы процессов. Функциональные точки включают в себя:

(1) Сборочная линия

• Трубопровод МР.
• Магистральный конвейер фиксации.

(2) Настройки склада рабочих пчел

• Соглашения об именах ветвей и тегов для улучшения читаемости.
• Магистральный код можно объединить только через MR.
• MR Должен быть проверен опытными специалистами и сертифицированными специалистами с зеленым поясом.

(3) Перехват на основе трубопровода

• интеллект должен получить интеллектуальную квалификацию,Включает: экзамен по стандартам кодирования, экзамен по безопасности кода.
• Инкрементное покрытие одиночного теста кода > 85%。

(4) Инструменты

• Управление процессом восстановления спроса.
• Инструмент форматирования кода на основе VSCode или Vim.
• Инструменты тестирования, оттенков серого и полные версии.

5.3 Проверка кода

Проверка кода — это командное дело. Чтобы команда могла выполнять проверку кода эффективно и качественно, необходимо сотрудничество культуры, людей, систем и инструментов.

• Культура компании улучшилась благодаря тому, что в последние годы компания уделяет большое внимание инженерной грамотности. Все члены команды получили большое количество рекламы, обязательное изучение курсов, внутренние обсуждения на форумах. CR из Базовое обучение и руководство. Мы также обеспечиваем реализацию посредством обсуждений внутри небольших команд и систем.,чтобы все поняли：
  • Код можно написать лучше;
  • Деятельность по CR занимает много времени;
  • CR Это необходимое звено в процессе выполнения требований.
• Командная система, разработайте процесс проверки кода, и основные студенты возьмут на себя инициативу в его реализации.
• Члены команды, использующие курсы компании и требования к качеству кода для повышения ранга, вызывают у большинства людей желание, возможность и время для выполнения проверок кода.
• Инструменты проверки гарантируют, что процесс проверки кода может выполняться эффективно с помощью сборочной линии, рабочих пчел и панелей мониторинга эффективности исследований.

06. Операционная эффективность

Работа технических продуктов имеет эффект масштаба. По сравнению с тем, как каждая бизнес-группа самостоятельно эксплуатирует и поддерживает XSearch, поисковый центр использует полностью управляемую модель, которая позволяет бизнес-команде экономить больше усилий, а также поощряет создание полного набора XSearch. операционные процессы.

6.1 Ключевые возможности

• Система комплексного обслуживания,Все пользовательские операции с использованием XSearch выполняются в операционной системе.,Включает доступ к данным, Стратегия поиска、отладка работы администратора и утверждение;、Развертывание также завершено в операционной системе;
• Руководство пользователя для сокращения ручных консультаций;
• Вспомогательная учетная запись, ручная консультация, одобрение доступа к бизнесу и т. д.;
• Система обязанностей, постоянная занятость, обработка сигналов тревоги, консультации пользователей, встроенное облачное управление, обзор бизнеса и т. д.;
• Групповые каналы связи, по одной группе связи для каждого бизнеса;

6.2 Режим работы

Мы соединяем пользователей, клиентов и дежурный персонал через техническую документацию, операционные системы, каналы связи и облачные сервисы, как показано на рисунке ниже:

07. Техническая документация

Документы могут передавать и передавать информацию в больших масштабах, несмотря на ограничения по времени, и могут помочь командам и отдельным лицам. Это усилитель эффективных навыков, таких как разработка магистрали, проверка кода и сборка.

7.1 Документация для новичков

Как новые члены команды, а также соавторы из Китая и Тайваня могут быстрее участвовать в разработке системы XSearch? Эту проблему решит наш «Подарочный набор для новичков».

Сначала мы организуем «Руководство по разработке средней платформы поиска — общая глава», чтобы читатели могли понять цели XSearch, весь процесс исследований и разработок XSearch, необходимость получения квалификации разработчика, как создать среду разработки за 5 минут. , а также что такое конвейер и как это сделать. Основная вводная информация, такая как проверка кода.

Сделав еще один шаг вперед, может ли команда обладать хорошим профессионализмом в процессе сотрудничества по требованию?

на основе Эти несколько наблюдений в действии,аккуратный«Как стать надежным программистом: руководство для начинающих по профессиональным квалификациям»одно предложение,Запишите некоторые мысли и предложения по поводу профессиональных качеств.,Охватывает: коммуникацию спроса, развитие навыков, проверку кода, спецификации документов, сотрудничество и коммуникацию, эффективность продукта, сервисные операции и т. д.,Все это в совокупности формирует командную ориентацию.

7.2 Документация по разработке и эксплуатации

Как распространять знания, чтобы получить большую ценность? Как предотвратить повреждение технических изделий из-за замены персонала? Все это требует от XSearch наличия высококачественного кода и технической документации. В последние годы мы создали «полку» документации.

7.3 Руководство пользователя

Руководство пользователя XSearch — это документ с высоким коэффициентом чтения и записи. В настоящее время он охватывает практически все проблемы, с которыми клиенты могут столкнуться во время использования: понимание возможностей, начало работы, подробные функции, самостоятельная отладка, а также сотрудничество и совместное создание.

08. Мысли о развитии

У любого продукта есть свой жизненный цикл. В чем разница между продуктами платформенных технологий и продуктами ToC? Каковы возможные направления развития в будущем?

8.1 Длинный цикл

XSearch — сложный технический продукт, и цикл его создания намного длиннее, чем у обычных продуктов ToC. На создание технических продуктов может уйти год, но для продуктов ToC один год может быть целой жизнью. Поскольку цикл длинный, доходы могут отставать. Технический продукт, вырастающий из бизнес-продукта, во многом зависит от устойчивого развития бизнеса, долгосрочности бизнес-лидера и компании. Сама техническая продуктовая команда должна постоянно доказывать свою ценность. Ценность требует сильного собственного стремления к совершенству.

8.2 Маркетинг

В прошлом технические продукты внутри компании обычно существовали как инфраструктура платформы, без учета доходов. Однако с тенденцией перехода всех видов объектов в облако базовые компоненты также могут продаваться как технические продукты. упор на технические продукты и их оплату, что дает разработчикам возможность использовать бизнес компании для инкубации технологических продуктов и, наконец, создавать большую ценность за пределами компании. Это хорошая поддержка и давление для разработчиков технологических продуктов. XSearch надеется, что однажды он сможет продаваться в облаке и занять место в отечественном программном обеспечении.

8.3 Ориентация на оценку

При разработке технических продуктов внутри компании необходимо упомянуть ориентацию на оценку. В последние годы оценка технической продукции в Китае включает в себя: исследование эффективности, подписание SLA, расчет затрат, анкетирование и т. д. с целью разработки. высокоэффективные, высокопроизводительные и недорогие технические продукты. Руководство в области исследований и разработок оказало большую помощь в продвижении здорового развития технологических продуктов.