Transformers documentation

BridgeTower

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 17.06.2022 и добавлена в Hugging Face Transformers 25.01.2023.

BridgeTower

Обзор

Модель BridgeTower была предложена в статье BridgeTower: Building Bridges Between Encoders in Vision-Language Representative Learning авторами Xiao Xu, Chenfei Wu, Shachar Rosenman, Vasudev Lal, Wanxiang Che, Nan Duan. Целью этой модели является построение моста между каждым уни-модальным энкодером и кросс-модальным энкодером, что позволяет обеспечить комплексное и детальное взаимодействие на каждом слое кросс-модального энкодера, достигая тем самым выдающихся результатов на различных задачах с почти пренебрежимо малыми дополнительными затратами производительности и вычислительных ресурсов.

Эта статья была принята на конференцию AAAI’23.

Аннотация из статьи следующая:

Модели «зрение-язык» (VL) с архитектурой TWO-TOWER доминируют в области обучения представлений для задач зрения и языка в последние годы. Существующие VL-модели либо используют лёгкие уни-модальные энкодеры и одновременно обучаются извлечению, выравниванию и слиянию обеих модальностей в глубоком кросс-модальном энкодере, либо передают представления последнего слоя уни-модальных энкодеров, полученных от глубоко предобученных уни-модальных энкодеров, в верхний кросс-модальный энкодер. Оба подхода потенциально ограничивают обучение представлений для задач зрения и языка и сдерживают производительность модели. В данной статье мы предлагаем BRIDGETOWER, который вводит несколько мостовых слоёв, устанавливающих связь между верхними слоями уни-модальных энкодеров и каждым слоем кросс-модального энкодера. Это обеспечивает эффективное кросс-модальное выравнивание и слияние «снизу вверх» между визуальными и текстовыми представлениями различных семантических уровней предобученных уни-модальных энкодеров в кросс-модальном энкодере. Предобученный всего на 4 млн изображений, BRIDGETOWER демонстрирует наилучшие результаты на различных downstream-задачах зрения и языка. В частности, на тестовом наборе test-std VQAv2 BRIDGETOWER достигает точности 78,73%, превосходя предыдущую модель с наилучшими результатами METER на 1,09% при использовании тех же данных предобучения и практически пренебрежимо малых дополнительных параметров и вычислительных затрат. Примечательно, что при дальнейшем масштабировании модели BRIDGETOWER достигает точности 81,15%, превосходя модели, предобученные на наборах данных, превосходящих его по размеру на порядки.

BridgeTower architecture. Taken from the original paper.

Эта модель была предоставлена Anahita Bhiwandiwalla, Tiep Le и Shaoyen Tseng. Исходный код можно найти здесь.

Советы по использованию и примеры

BridgeTower состоит из визуального энкодера, текстового энкодера и кросс-модального энкодера с несколькими легковесными мостовыми слоями. Целью этого подхода было построение моста между каждым уни-модальным энкодером и кросс-модальным энкодером, чтобы обеспечить комплексное и детальное взаимодействие на каждом слое кросс-модального энкодера. В принципе, в предложенной архитектуре можно использовать любой визуальный, текстовый или кросс-модальный энкодер.

Класс BridgeTowerProcessor объединяет RobertaTokenizer и BridgeTowerImageProcessor в единый экземпляр, чтобы кодировать текст и соответственно готовить изображения.

В следующем примере показано, как выполнять контрастное обучение с использованием BridgeTowerProcessor и BridgeTowerForContrastiveLearning.

import requests
from PIL import Image

from transformers import BridgeTowerForContrastiveLearning, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc")
model = BridgeTowerForContrastiveLearning.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs

В следующем примере показано, как выполнять поиск изображений по тексту с помощью BridgeTowerProcessor и BridgeTowerForImageAndTextRetrieval.

import requests
from PIL import Image

from transformers import BridgeTowerForImageAndTextRetrieval, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForImageAndTextRetrieval.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs.logits[0, 1].item()

В следующем примере показано, как выполнить masked language modeling с использованием BridgeTowerProcessor и BridgeTowerForMaskedLM.

from transformers import BridgeTowerProcessor, BridgeTowerForMaskedLM
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000360943.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
text = "a <mask> looking out of the window"

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForMaskedLM.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# prepare inputs
encoding = processor(image, text, return_tensors="pt").to(model.device)

# forward pass
outputs = model(**encoding)

results = processor.decode(outputs.logits.argmax(dim=-1).squeeze(0).tolist())

print(results)
.a cat looking out of the window.

Советы:

Эта реализация BridgeTower использует RobertaTokenizer для генерации текстовых эмбеддингов и модель CLIP/ViT от OpenAI для вычисления визуальных эмбеддингов.
Опубликованы контрольные точки для предобученных моделей bridgeTower-base и bridgetower masked language modeling and image text matching.
См. Таблицу 5 для оценки производительности BridgeTower на задаче поиска изображений и других задачах нижнего уровня.

Transformers

BridgeTower

Обзор

Советы по использованию и примеры

BridgeTowerConfig

класс transformers.BridgeTowerConfig

BridgeTowerTextConfig

класс transformers.BridgeTowerTextConfig

BridgeTowerVisionConfig

класс transformers.BridgeTowerVisionConfig

BridgeTowerImageProcessor

класс transformers.BridgeTowerImageProcessor

preprocess

BridgeTowerImageProcessorPil

класс transformers.BridgeTowerImageProcessorPil

preprocess

BridgeTowerProcessor

класс transformers.BridgeTowerProcessor

__call__

BridgeTowerModel

класс transformers.BridgeTowerModel

forward

BridgeTowerForContrastiveLearning

класс transformers.BridgeTowerForContrastiveLearning

forward

BridgeTowerForMaskedLM

класс transformers.BridgeTowerForMaskedLM

forward

BridgeTowerForImageAndTextRetrieval

класс transformers.BridgeTowerForImageAndTextRetrieval

forward

call