Transformers documentation

BridgeTower

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2022-06-17에 HF papers에 게시되었으며, 2023-01-25에 Hugging Face Transformers에 기여되었습니다.

BridgeTower

개요

BridgeTower 모델은 Xiao Xu, Chenfei Wu, Shachar Rosenman, Vasudev Lal, Wanxiang Che, Nan Duan이 BridgeTower: Building Bridges Between Encoders in Vision-Language Representative Learning에서 제안했습니다. 이 모델의 목표는 각 단일 모달 인코더와 크로스 모달 인코더 사이에 브리지를 구축하여, 크로스 모달 인코더의 각 레이어에서 포괄적이고 상세한 상호작용을 가능하게 하는 것입니다. 이를 통해 추가적인 성능 및 계산 비용이 거의 무시할 수 없을 정도로 적은 상태에서 다양한 다운스트림 작업에서 뛰어난 성능을 달성합니다.

이 논문은 AAAI’23 학회에 채택되었습니다.

해당 논문의 초록은 다음과 같습니다:

최근 몇 년간 TWO-TOWER 아키텍처를 갖춘 Vision-Language(VL) 모델은 시각-언어 표현 학습 분야에서 주도적인 위치를 차지해 왔습니다. 현재의 VL 모델은 경량 단일 모달 인코더를 사용하면서 깊은 크로스모달 인코더 내에서 두 모달을 동시에 추출, 정렬 및 융합하도록 학습하거나, 깊은 사전 학습된 단일 모달 인코더의 마지막 레이어 단일 모달 표현을 상단 크로스모달 인코더에 입력하는 방식을 채택하고 있습니다. 두 가지 방식 모두 시각-언어 표현 학습을 잠재적으로 제한하고 모델 성능을 저하시킬 수 있습니다. 본 논문에서는 단일 모달 인코더의 상단 레이어와 크로스모달 인코더의 각 레이어 사이에 연결을 구축하는 여러 개의 브릿지 레이어를 도입하는 BRIDGETOWER를 제안합니다. 이를 통해 사전 학습된 단일 모달 인코더의 서로 다른 의미 수준을 가진 시각 및 텍스트 표현 간에 크로스모달 인코더 내에서 효과적인 하향식(bottom-up) 크로스모달 정렬 및 융합이 가능해집니다. 단순히 400만 장의 이미지로만 사전 학습된 BRIDGETOWER는 다양한 하위 시각-언어 작업에서 최첨단(state-of-the-art) 성능을 달성합니다. 특히 VQAv2 test-std 세트에서 BRIDGETOWER는 78.73%의 정확도를 기록하여, 동일한 사전 학습 데이터와 거의 무시할 수 있는 추가 매개변수 및 계산 비용으로 이전 최첨단 모델인 METER를 1.09% 상회했습니다. 또한 모델을 추가로 확장할 경우, BRIDGETOWER는 81.15%의 정확도를 달성하여, 훨씬 더 큰 규모의 데이터셋으로 사전 학습된 모델들을 능가합니다.

BridgeTower architecture. Taken from the original paper.

이 모델은 Anahita Bhiwandiwalla, Tiep Le, Shaoyen Tseng에 의해 기여되었습니다. 원본 코드는 여기에서 찾을 수 있습니다.

사용 팁 및 예제

BridgeTower는 시각 인코더, 텍스트 인코더, 그리고 여러 개의 경량 브리지 레이어를 가진 크로스모달 인코더로 구성됩니다. 이 접근법의 목표는 각 단일 모달 인코더와 크로스모달 인코더 사이에 브리지를 구축하여, 크로스모달 인코더의 각 레이어에서 포괄적이고 상세한 상호작용을 가능하게 하는 것이었습니다. 원칙적으로 제안된 아키텍처에는 어떤 시각, 텍스트 또는 크로스모달 인코더든 적용할 수 있습니다.

BridgeTowerProcessor는 RobertaTokenizer와 BridgeTowerImageProcessor를 단일 인스턴스로 묶어 텍스트 인코딩과 이미지 전처리를 각각 수행합니다.

다음 예제는 BridgeTowerProcessor와 BridgeTowerForContrastiveLearning을 사용하여 대조적 학습을 실행하는 방법을 보여줍니다.

import requests
from PIL import Image

from transformers import BridgeTowerForContrastiveLearning, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc")
model = BridgeTowerForContrastiveLearning.from_pretrained("BridgeTower/bridgetower-large-itm-mlm-itc", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs

다음 예제는 BridgeTowerProcessor와 BridgeTowerForImageAndTextRetrieval을 사용하여 이미지-텍스트 검색을 실행하는 방법을 보여줍니다.

import requests
from PIL import Image

from transformers import BridgeTowerForImageAndTextRetrieval, BridgeTowerProcessor


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
texts = ["An image of two cats chilling on a couch", "A football player scoring a goal"]

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForImageAndTextRetrieval.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# forward pass
scores = dict()
for text in texts:
    # prepare inputs
    encoding = processor(image, text, return_tensors="pt").to(model.device)
    outputs = model(**encoding)
    scores[text] = outputs.logits[0, 1].item()

다음 예제는 BridgeTowerProcessor와 BridgeTowerForMaskedLM를 사용하여 masked language modeling을 실행하는 방법을 보여줍니다.

from transformers import BridgeTowerProcessor, BridgeTowerForMaskedLM
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000360943.jpg"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
text = "a <mask> looking out of the window"

processor = BridgeTowerProcessor.from_pretrained("BridgeTower/bridgetower-base-itm-mlm")
model = BridgeTowerForMaskedLM.from_pretrained("BridgeTower/bridgetower-base-itm-mlm", device_map="auto")

# prepare inputs
encoding = processor(image, text, return_tensors="pt").to(model.device)

# forward pass
outputs = model(**encoding)

results = processor.decode(outputs.logits.argmax(dim=-1).squeeze(0).tolist())

print(results)
.a cat looking out of the window.

팁:

이 BridgeTower 구현은 텍스트 임베딩 생성에 RobertaTokenizer를 사용하고, 시각 임베딩 계산에는 OpenAI의 CLIP/ViT 모델을 사용합니다.
사전 학습된 bridgeTower-base 및 bridgetower masked language modeling and image text matching의 체크포인트가 공개되었습니다.
BridgeTower의 Image Retrieval 및 기타 다운스트림 작업 성능에 대해서는 표 5를 참조하세요.

Transformers

BridgeTower

개요

사용 팁 및 예제

BridgeTowerConfig

class transformers.BridgeTowerConfig

BridgeTowerTextConfig

클래스 transformers.BridgeTowerTextConfig

BridgeTowerVisionConfig

class transformers.BridgeTowerVisionConfig

BridgeTowerImageProcessor

클래스 transformers.BridgeTowerImageProcessor

preprocess

BridgeTowerImageProcessorPil

클래스 transformers.BridgeTowerImageProcessorPil

preprocess

BridgeTowerProcessor

클래스 transformers.BridgeTowerProcessor

__call__

BridgeTowerModel

class transformers.BridgeTowerModel

forward

BridgeTowerForContrastiveLearning

class transformers.BridgeTowerForContrastiveLearning

forward

BridgeTowerForMaskedLM

클래스 transformers.BridgeTowerForMaskedLM

forward

BridgeTowerForImageAndTextRetrieval

class transformers.BridgeTowerForImageAndTextRetrieval

forward

call