Высокоуровневые операции Mongo, если данные не существуют, вставка и обновление, если они существуют (pymongo)
Высокоуровневые операции Mongo, если данные не существуют, вставка и обновление, если они существуют (pymongo)

1. Старт

mongoОсобенно подходит дляхранилище Различные вложения и форматы, которые невозможно определитьданные,иmongoВстроенная функция дедупликации.(использовать _idУникальная поддержка ключей)又Особенно подходит для小爬虫хранилищеданные。Большую часть времени это произойдетданные Операция обновления, Но я не знаю, существует ли оно, 是использоватьinsertвсе ещеupdate。Ты узнаешь, когда увидишь это в конце, Вы также можете обновить некоторые поля, если они существуют. Вставьте, если нет. Не так уж много глупостей, Приступайте к сушке.

2. Данные испытаний
Язык кода:javascript
копировать
datas = [
      {
          "_id": 1,
          "insert_time": time.time(),
          "update_time": time.time(),
          "name": "zs"
      },
      {
          "_id": 2,
          "insert_time": time.time(),
          "update_time": time.time(),
          "name": "ls"
      },
      {
          "_id": 3,
          "insert_time": time.time(),
          "update_time": time.time(),
          "name": "ww"
      },
  ]
3. Пример

Следующий код реализует:

1. Реализуйте существующее обновление и вставьте, если оно не существует.

2. Реализовать существующее, пропустить и вставить, если оно не существует.

3. Реализуйте существующее обновление и вставьте, если некоторые поля не существуют.

Вместо того, чтобы писать их отдельно, я помещаю их прямо в исходный файл. Наконец, есть тестовые примеры.

Язык кода:javascript
копировать
# -*- coding: utf-8 -*-

# @Author: Толстый, очень тонкий
# @Date: 2024-03-03 12:58:42
# @LastEditors: Толстый, очень тонкий
# @LastEditTime: 2024-03-03 13:57:49

# Импортировать пакет
import time
from pymongo import MongoClient as MC
from pymongo import UpdateOne
client = MC()["test"]


def exists_update_and_insert(data, bulk=False):
    """
    Обновить, если оно существует
    Вставьте, если нет
    :param data: данные
    :param bulk: Использовать ли пакетную вставку
    # ordered
    # упорядоченное исполнение, Сообщение об ошибке, Не будет выполнено позже
    # внеочередное исполнение, Сообщение об ошибке, Остальные не затронуты
    """

    if bulk:
        bulk_docs = []
        for rd in data:
            bulk_docs.append(
                UpdateOne(
                    {"_id": rd["_id"]},
                    {"$set": rd},
                    upsert=True
                ))
        result = client['goods'].bulk_write(bulk_docs, ordered=False).bulk_api_result
        print(result)
    else:
        for rd in data:
            client['goods'].update_one(
                {'_id': rd['_id']}, 
                {'$set': rd}, 
                upsert=True
            )


def exists_do_noting_and_insert(data, bulk=False):
    """
    Если он существует, ничего не делайте.
    Вставьте, если нет
    :param data: данные
    :param bulk: Использовать ли пакетную вставку
    """

    if bulk:
        bulk_docs = []
        for rd in data:
            bulk_docs.append(
                UpdateOne(
                    {"_id": rd["_id"]},
                    {"$setOnInsert": rd},
                    upsert=True
                ))
        result = client['goods'].bulk_write(bulk_docs, ordered=False).bulk_api_result
        print(result)
    else:
        for rd in data:
            client['goods'].update_one(
                {'_id': rd['_id']}, 
                {'$setOnInsert': rd}, 
                upsert=True
            )


def exists_update_any_field_and_insert(data, bulk=False):
    """
    Обновить, если оно существует部分字段
    Вставьте, если нет
    :param data: данные
    :param bulk: Использовать ли пакетную вставку
    """

    if bulk:
        bulk_docs = []
        for rd in data:
            update_time = rd.pop("update_time", time.time())
            bulk_docs.append(
                UpdateOne(
                    {"_id": rd["_id"]},
                    {
                        "$setOnInsert": rd,
                        "$set": {"update_time": update_time}
                    },
                    upsert=True
                ))
        result = client['goods'].bulk_write(bulk_docs, ordered=False).bulk_api_result
        print(result)
    else:
        for rd in data:
            update_time = rd.pop("update_time", time.time())
            client['goods'].update_one(
                {'_id': rd['_id']},
                {
                    '$setOnInsert': rd,
                    "$set": {"update_time": update_time}
                },
                upsert=True
            )


def find(query=None):
    """
    查询данные    :query: Условия запроса
    """
    return list(client['goods'].find(query))


def remove(query=None):
    """
    удалитьданные    :query: удалить условие
    """
    return client["goods"].remove(query)


if __name__ == '__main__':
    # тестданные    datas = [
        {
            "_id": 1,
            "insert_time": time.time(),
            "update_time": time.time(),
            "name": "zs"
        },
        {
            "_id": 2,
            "insert_time": time.time(),
            "update_time": time.time(),
            "name": "ls"
        },
        {
            "_id": 3,
            "insert_time": time.time(),
            "update_time": time.time(),
            "name": "ww"
        },
    ]

    """
    тестовый пример
    """
    # exists_update_and_insert(datas)
    # exists_update_and_insert(datas, True)
    # print(find())
    # remove()

    # exists_do_noting_and_insert(datas)
    # exists_do_noting_and_insert(datas, True)
    # print(find())
    # remove()


    # exists_update_any_field_and_insert(datas)
    # exists_update_any_field_and_insert(datas, True)
    # print(find())
    # remove()
4. Готово

Хоть и мало слов, но полно полезной информации. Хороших выходных, пожалуйста, оставьте лайк~

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose