pip3 install torch # conda install pytorch
pip3 install -U similarities

git clone https://github.com/shibing624/similarities.git
cd similarities
python3 setup.py install

from similarities import Similarity

m = Similarity()
r = m.similarity('Как сменить банковскую карту, привязанную к Huabei', «Huabei меняет привязанную банковскую карту»)
print(f"similarity score: {float(r)}")  # similarity score: 0.855146050453186

Similarity(corpus: Union[List[str], Dict[str, str]] = None, 
           model_name_or_path="shibing624/text2vec-base-chinese",
           max_seq_length=128)

import sys

sys.path.append('..')
from similarities import Similarity

#1.Compute cosine similarity between two sentences.
sentences = ['Как поменять банковскую карту, привязанную к Huabei',
             «Huabei меняет привязанную банковскую карту»]
corpus = [
    «Huabei меняет привязанную банковскую карту»,
    «Когда я открыл Huabei»,
    «Россия предостерегает Украину от соглашения с ЕС»,
    «Штормы похоронили 16 дюймов снега на северо-востоке Нью-Джерси»,
    «Директор ЦРУ посещает Израиль для переговоров по Сирии»,
    «Человек погиб в результате взрыва бомбы на пакистанской базе»,
]
model = Similarity(model_name_or_path="shibing624/text2vec-base-chinese")
print(model)
similarity_score = model.similarity(sentences[0], sentences[1])
print(f"{sentences[0]} vs {sentences[1]}, score: {float(similarity_score):.4f}")

print('-' * 50 + '\n')
#2.Compute similarity between two list
similarity_scores = model.similarity(sentences, corpus)
print(similarity_scores.numpy())
for i in range(len(sentences)):
    for j in range(len(corpus)):
        print(f"{sentences[i]} vs {corpus[j]}, score: {similarity_scores.numpy()[i][j]:.4f}")

print('-' * 50 + '\n')
#3.Semantic Search
model.add_corpus(corpus)
res = model.most_similar(queries=sentences, topn=3)
print(res)
for q_id, c in res.items():
    print('query:', sentences[q_id])
    print("search top 3:")
    for corpus_id, s in c.items():
        print(f'\t{model.corpus[corpus_id]}: {s:.4f}')

Как поменять банковскую карту, привязанную к Huabei vs Huabei меняет привязанную банковскую карту, score: 0.8551
...

Как поменять банковскую карту, привязанную к Huabei vs Huabei меняет привязанную банковскую карту, score: 0.8551
Как поменять банковскую карту, привязанную к Huabei vs Когда я активировал Huabei? score: 0.7212
Как поменять банковскую карту, привязанную к Huabei vs Россия предостерегает Украину от соглашения с ЕС score: 0.1450
Как поменять банковскую карту, привязанную к Huabei vs Штормы засыпали северо-восток 16-дюймовым снегом в Нью-Джерси; score: 0.2167
Как поменять банковскую карту, привязанную к Huabei vs Директор ЦРУ посетил Израиль для переговоров по Сирии score: 0.2517
Как поменять банковскую карту, привязанную к Huabei vs Мужчина погиб при взрыве на базе в Пакистане score: 0.0809
Huabei меняет привязанную банковскую карту vs Huabei меняет привязанную банковскую карту, score: 1.0000
Huabei меняет привязанную банковскую карту vs Когда я активировал Huabei? score: 0.6807
Huabei меняет привязанную банковскую карту vs Россия предостерегает Украину от соглашения с ЕС score: 0.1714
Huabei меняет привязанную банковскую карту vs Штормы засыпали северо-восток 16-дюймовым снегом в Нью-Джерси; score: 0.2162
Huabei меняет привязанную банковскую карту vs Директор ЦРУ посетил Израиль для переговоров по Сирии score: 0.2728
Huabei меняет привязанную банковскую карту vs Мужчина погиб при взрыве на базе в Пакистане score: 0.1279

query: Как поменять банковскую карту, привязанную к Huabei
search top 3:
	Huabei меняет привязанную банковскую карту: 0.8551
	Когда я активировал Huabei: 0.7212
	Директор ЦРУ посещает Израиль для переговоров по Сирии: 0.2517

from similarities import SimHashSimilarity, TfidfSimilarity, BM25Similarity, \
    WordEmbeddingSimilarity, CilinSimilarity, HownetSimilarity

text1 = "Как поменять банковскую карту, привязанную к Huabei"
text2 = "Huabei меняет привязанную банковскую карту"

corpus = [
    «Huabei меняет привязанную банковскую карту»,
    «Когда я открыл Huabei»,
    «Россия предостерегает Украину от соглашения с ЕС»,
    «Штормы похоронили 16 дюймов снега на северо-востоке Нью-Джерси»,
    «Директор ЦРУ посещает Израиль для переговоров по Сирии»,
    «Человек погиб в результате взрыва бомбы на пакистанской базе»,
]

queries = [
    «Активирован ли мой Huabei?» ',
    «Украину предупредила Россия»
]
m = TfidfSimilarity()
print(text1, text2, ' sim score: ', m.similarity(text1, text2))

m.add_corpus(corpus)
res = m.most_similar(queries, topn=3)
print('sim search: ', res)
for q_id, c in res.items():
    print('query:', queries[q_id])
    print("search top 3:")
    for corpus_id, s in c.items():
        print(f'\t{m.corpus[corpus_id]}: {s:.4f}')

Как поменять банковскую карту, привязанную к Huabei Huabei меняет привязанную банковскую карту  sim score:  0.8203384355246909

sim search:  {0: {2: 0.9999999403953552, 1: 0.43930041790008545, 0: 0.0}, 1: {0: 0.7380483150482178, 1: 0.0, 2: 0.0}}
query: Мой Huabei активирован?
search top 3:
	Когда я активировал Huabei: 1.0000
	Huabei меняет привязанную банковскую карту: 0.4393
	Россия предостерегает Украину от соглашения с ЕС: 0.0000
...

import sys
import glob
from PIL import Image

sys.path.append('..')
from similarities import ImageHashSimilarity, SiftSimilarity, ClipSimilarity


def sim_and_search(m):
    print(m)
    # similarity
    sim_scores = m.similarity(imgs1, imgs2)
    print('sim scores: ', sim_scores)
    for (idx, i), j in zip(enumerate(image_fps1), image_fps2):
        s = sim_scores[idx] if isinstance(sim_scores, list) else sim_scores[idx][idx]
        print(f"{i} vs {j}, score: {s:.4f}")
    # search
    m.add_corpus(corpus_imgs)
    queries = imgs1
    res = m.most_similar(queries, topn=3)
    print('sim search: ', res)
    for q_id, c in res.items():
        print('query:', image_fps1[q_id])
        print("search top 3:")
        for corpus_id, s in c.items():
            print(f'\t{m.corpus[corpus_id].filename}: {s:.4f}')
    print('-' * 50 + '\n')

image_fps1 = ['data/image1.png', 'data/image3.png']
image_fps2 = ['data/image12-like-image1.png', 'data/image10.png']
imgs1 = [Image.open(i) for i in image_fps1]
imgs2 = [Image.open(i) for i in image_fps2]
corpus_fps = glob.glob('data/*.jpg') + glob.glob('data/*.png')
corpus_imgs = [Image.open(i) for i in corpus_fps]

#2.image and image similarity score
sim_and_search(ClipSimilarity())  # the best result
sim_and_search(ImageHashSimilarity(hash_function='phash'))
sim_and_search(SiftSimilarity())

Similarity: ClipSimilarity, matching_model: CLIPModel
sim scores:  tensor([[0.9580, 0.8654],
        [0.6558, 0.6145]])

data/image1.png vs data/image12-like-image1.png, score: 0.9580
data/image3.png vs data/image10.png, score: 0.6145

sim search:  {0: {6: 0.9999999403953552, 0: 0.9579654932022095, 4: 0.9326782822608948}, 1: {8: 0.9999997615814209, 4: 0.6729235649108887, 0: 0.6558331847190857}}

query: data/image1.png
search top 3:
	data/image1.png: 1.0000
	data/image12-like-image1.png: 0.9580
	data/image8-like-image1.png: 0.9327

import sys
import glob
from PIL import Image
sys.path.append('..')
from similarities import ImageHashSimilarity, SiftSimilarity, ClipSimilarity

m = ClipSimilarity()
print(m)
#similarity score between text and image
image_fps = ['data/image3.png',  # yellow flower image
             'data/image1.png']  # tiger image
texts = ['a yellow flower', 'тигр']
imgs = [Image.open(i) for i in image_fps]
sim_scores = m.similarity(imgs, texts)

print('sim scores: ', sim_scores)
for (idx, i), j in zip(enumerate(image_fps), texts):
    s = sim_scores[idx][idx]
    print(f"{i} vs {j}, score: {s:.4f}")

sim scores:  tensor([[0.3220, 0.2409],
        [0.1677, 0.2959]])
data/image3.png vs a yellow flower, score: 0.3220
data/image1.png vs тигр, score: 0.2112