Hugging Face's logo

Transformers documentation

FLAVA

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model 2021-12-08 tarihinde HF papers'ta yayımlandı ve 2022-05-11 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

FLAVA

Genel Bakış

FLAVA modeli, Amanpreet Singh, Ronghang Hu, Vedanuj Goswami, Guillaume Couairon, Wojciech Galuba, Marcus Rohrbach ve Douwe Kiela tarafından FLAVA: A Foundational Language And Vision Alignment Model adlı çalışmada önerilmiş olup CVPR 2022'de kabul edilmiştir.

Makale, hem görü hem de dil ile görü-dil çok modlu görevlerde çalışabilen tek bir birleşik temel model oluşturmaya yöneliktir.

Makalenin özeti aşağıdaki gibidir:

En son nesil görme ve görme-dil modelleri, çeşitli aşağı akış görevlerinde iyi performans elde etmek için büyük ölçekli görsel-dilsel ön eğitime dayanır. Genel olarak, bu tür modeller genellikle ya çapraz modallı (karşıtlı) ya da çok modallı (erken füzyonlu) olur, ikisi birden olmaz; ve çoğu zaman yalnızca belirli modalları veya görevleri hedefler. Umut verici bir yön, tüm modalları aynı anda hedefleyen, bir “temel” olarak işlev gören tek bütüncül evrensel model kullanmak olacaktır — gerçek bir görme ve dil temel modeli, görme görevlerinde, dil görevlerinde ve çapraz ve çok modallı görme-dil görevlerinde iyi olmalıdır. FLAVA'yı böyle bir model olarak tanıtıyor ve bu hedef modalları kapsayan 35 görevin geniş bir yelpazesinde etkileyici performans gösteriyoruz.

Bu model aps tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

FlavaConfig

sınıf transformers.FlavaConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneimage_config: dict[str, typing.Any] | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict[str, typing.Any] | transformers.configuration_utils.PreTrainedConfig | None = Nonemultimodal_config: dict[str, typing.Any] | transformers.configuration_utils.PreTrainedConfig | None = Noneimage_codebook_config: dict[str, typing.Any] | transformers.configuration_utils.PreTrainedConfig | None = Nonehidden_size: int = 768layer_norm_eps: float = 1e-12projection_dim: int = 768init_codebook: bool = Truelogit_scale_init_value: float = 2.6592initializer_range: float = 0.02ce_ignore_index: int = -100mim_weight: float = 1.0mlm_weight: float = 1.0global_contrastive_weight: float = 1.0itm_weight: float = 1.0mmm_image_weight: float = 1.0mmm_text_weight: float = 1.0global_backprop_contrastive: bool = Trueskip_unmasked_multimodal_encoder: bool = Truereturn_loss: bool = Truetie_word_embeddings: bool = Trueinitializer_factor: float = 1.0 )

Parametreler

  • image_config (dict, isteğe bağlı) — FlavaImageConfig sınıfını başlatmak için kullanılan yapılandırma seçeneklerinin sözlüğü.
  • text_config (Union[dict[str, Any], ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Metin omurgasının yapılandırma nesnesi veya sözlüğü.
  • multimodal_config (dict, isteğe bağlı) — FlavaMultimodalConfig sınıfını başlatmak için kullanılan yapılandırma seçeneklerinin sözlüğü.
  • image_codebook_config (dict, isteğe bağlı) — FlavaCodebookConfig sınıfını başlatmak için kullanılan yapılandırma seçeneklerinin sözlüğü.
  • hidden_size (int, isteğe bağlı, varsayılan 768) — Gizli temsillerin boyutu.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-12) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • projection_dim (int, isteğe bağlı, varsayılan 768) — Metin ve görme projeksiyon katmanlarının boyutluluğu.
  • init_codebook (bool, isteğe bağlı, varsayılan True) — Kod kitabının (codebook) başlatılıp başlatılmayacağını belirtir
  • logit_scale_init_value (float, isteğe bağlı, varsayılan 2.6592) — logit_scale parametresinin başlangıç değeri. Varsayılan değer, orijinal FLAVA/CLIP uygulamasına göre kullanılır.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • ce_ignore_index (int, isteğe bağlı, varsayılan -100) — Yoksayılacak çapraz entropi indeksi.
  • mim_weight (float, isteğe bağlı, varsayılan 1.0) — MIM (Masked Image Modeling) unimodal kaybına atanacak ağırlık
  • mlm_weight (float, isteğe bağlı, varsayılan 1.0) — MLM (Masked Language Modeling) unimodal kaybına atanacak ağırlık
  • global_contrastive_weight (float, isteğe bağlı, varsayılan 1.0) — Küresel karşıtlı çapraz hizalama kaybına atanacak ağırlık.
  • itm_weight (float, isteğe bağlı, varsayılan 1.0) — Görsel-metin eşleştirme çok modlu kaybına atanacak ağırlık.
  • mmm_image_weight (float, isteğe bağlı, varsayılan 1.0) — MMM kaybının görüntü kısmına atanacak ağırlık.
  • mmm_text_weight (float, isteğe bağlı, varsayılan 1.0) — MMM kaybının metin kısmına atanacak ağırlık.
  • global_backprop_contrastive (bool, isteğe bağlı, varsayılan True) — Karşıtlıklı kayıpta tüm işçiler üzerinden küresel geri yayılımın kullanılıp kullanılmayacağı.
  • skip_unmasked_multimodal_encoder (bool, opsiyonel, varsayılan True) — FLAVA kayıpları tarafından kullanılmayan çıktıları üreten maskelenmemiş çok modlu kodlayıcının çalıştırılmasının atlanıp atlanmayacağı.
  • return_loss (bool, isteğe bağlı, varsayılan True) — Kaybın (loss) döndürülüp döndürülmeyeceği
  • tie_word_embeddings (bool, isteğe bağlı, varsayılan True) — Modelin tied_weights_keys eşlemesine göre ağırlık gömme bağlamalarının yapılıp yapılmayacağı.
  • initializer_factor (float, isteğe bağlı, varsayılan 1.0) — Tüm ağırlık matrislerini başlatmak için kullanılan bir çarpan (1 olarak tutulmalıdır, başlatma testleri için dahili olarak kullanılır).

Bu, bir FlavaModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Flava modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/flava-full ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import FlavaConfig, FlavaModel, FlavaForPreTraining

>>> # Initializing a FlavaConfig with style configuration
>>> configuration = FlavaConfig()

>>> # Initializing a FlavaModel and FlavaForPreTraining model (with random weights) from the style configuration
>>> model = FlavaModel(configuration)
>>> model_pre = FlavaForPreTraining(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
>>> configuration_pre = model_pre.config

FlavaTextConfig

sınıf transformers.FlavaTextConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 30522type_vocab_size: int = 2max_position_embeddings: int = 512hidden_size: int = 768num_hidden_layers: int = 12num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu'hidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-12pad_token_id: int | None = 0qkv_bias: bool = True )

Parametreler

  • vocab_size (int, isteğe bağlı, varsayılan 30522) — Modelin sözlük boyutu. input_ids tarafından temsil edilebilecek farklı token sayısını tanımlar.
  • type_vocab_size (int, isteğe bağlı, varsayılan 2) — token_type_ids için sözlük boyutu.
  • max_position_embeddings (int, isteğe bağlı, varsayılan 512) — Bu modelin kullanılabileceği en uzun dizi uzunluğu.
  • hidden_size (int, isteğe bağlı, varsayılan 768) — Gizli temsillerin boyutu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 12) — Transformer çözücüdeki gizli katman sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 12) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • intermediate_size (int, isteğe bağlı, varsayılan 3072) — MLP temsillerinin boyutu.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • hidden_dropout_prob (Union[float, int], isteğe bağlı, varsayılan 0.0) — Gömme, kodlayıcı ve havuzlayıcıdaki tüm tam bağlı katmanlar için dropout olasılığı.
  • attention_probs_dropout_prob (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-12) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • pad_token_id (int, isteğe bağlı, varsayılan 0) — Sözlükte dolgu için kullanılan token kimliği.
  • qkv_bias (bool, isteğe bağlı, varsayılan True) — Sorgulara, anahtarlara ve değerlere bir sapma eklenip eklenmeyeceği.

Bu, bir FlavaModel'in yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Flava modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/flava-full ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import FlavaTextConfig, FlavaTextModel

>>> # Initializing a FlavaTextModel with  style configuration
>>> configuration = FlavaTextConfig()

>>> # Initializing a FlavaTextModel model (with random weights) from the style configuration
>>> model = FlavaTextModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

FlavaImageConfig

sınıf transformers.FlavaImageConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 768num_hidden_layers: int = 12num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu'hidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-12image_size: int | list[int] | tuple[int, int] = 224patch_size: int | list[int] | tuple[int, int] = 16num_channels: int = 3qkv_bias: bool = Truemask_token: bool = Truevocab_size: int = 8192 )

Parametreler

  • hidden_size (int, isteğe bağlı, varsayılan 768) — Gizli temsillerin boyutu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 12) — Transformer çözücüdeki gizli katman sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 12) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • intermediate_size (int, isteğe bağlı, varsayılan 3072) — MLP temsillerinin boyutu.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • hidden_dropout_prob (Union[float, int], isteğe bağlı, varsayılan 0.0) — Gömme, kodlayıcı ve havuzlayıcıdaki tüm tam bağlı katmanlar için dropout olasılığı.
  • attention_probs_dropout_prob (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-12) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • image_size (Union[int, list[int], tuple[int, int]], isteğe bağlı, varsayılan 224) — Her bir görüntünün boyutu (çözünürlüğü).
  • patch_size (Union[int, list[int], tuple[int, int]], isteğe bağlı, varsayılan 16) — Her yamanın boyutu (çözünürlüğü).
  • num_channels (int, isteğe bağlı, varsayılan 3) — Giriş kanal sayısı.
  • qkv_bias (bool, isteğe bağlı, varsayılan True) — Sorgulara, anahtarlara ve değerlere bir sapma eklenip eklenmeyeceği.
  • mask_token (bool, isteğe bağlı, varsayılan True) — Bir mask token'ı kullanılıp kullanılmayacağı. FLAVA için MIM (Masked Image Modeling) kaybında kullanılır.
  • vocab_size (int, isteğe bağlı, varsayılan 8192) — Modelin sözlük boyutu. input_ids tarafından temsil edilebilecek farklı token sayısını tanımlar.

Bu, bir FlavaModel'in yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Flava modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, facebook/flava-full ile benzer bir yapılandırmaya yol açar.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import FlavaImageConfig, FlavaImageModel

>>> # Initializing a FlavaImageModel with  style configuration
>>> configuration = FlavaImageConfig()

>>> # Initializing a FlavaImageModel model (with random weights) from the style configuration
>>> model = FlavaImageModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

FlavaMultimodalConfig

sınıf transformers.FlavaMultimodalConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 768num_hidden_layers: int = 6num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu'hidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-12qkv_bias: bool = Trueuse_cls_token: bool = True )

Parametreler

  • hidden_size (int, isteğe bağlı, varsayılan 768) — Gizli temsillerin boyutu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 6) — Transformer çözücüdeki gizli katman sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 12) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • intermediate_size (int, isteğe bağlı, varsayılan 3072) — MLP temsillerinin boyutu.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • hidden_dropout_prob (Union[float, int], isteğe bağlı, varsayılan 0.0) — Gömme, kodlayıcı ve havuzlayıcıdaki tüm tam bağlı katmanlar için dropout olasılığı.
  • attention_probs_dropout_prob (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-12) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • qkv_bias (bool, isteğe bağlı, varsayılan True) — Sorgulara, anahtarlara ve değerlere bir sapma eklenip eklenmeyeceği.
  • use_cls_token (bool, isteğe bağlı, varsayılan True) — Çok modlu ayarlar için ek bir CLS token'ı kullanılıp kullanılmayacağı. Genellikle FLAVA modeli tarafından gereklidir.

Bu, bir FlavaModel'in yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Flava modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, facebook/flava-full ile benzer bir yapılandırmaya yol açar.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import FlavaMultimodalConfig, FlavaMultimodalModel

>>> # Initializing a FlavaMultimodalModel with  style configuration
>>> configuration = FlavaMultimodalConfig()

>>> # Initializing a FlavaMultimodalModel model (with random weights) from the style configuration
>>> model = FlavaMultimodalModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

FlavaImageCodebookConfig

sınıf transformers.FlavaImageCodebookConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_groups: int = 4input_channels: int = 3num_blocks_per_group: int = 2hidden_size: int = 256vocab_size: int = 8192freeze: bool = Trueinitializer_range: float = 0.02 )

Parametreler

  • num_groups (int, isteğe bağlı, varsayılan 4) — Oluşturulacak grup sayısı. Bu parametre şu anda modeli etkilemez ve bazı dahili hesaplamalar ve tahminler için kullanılır.
  • input_channels (int, isteğe bağlı, varsayılan 3) — Giriş kanal sayısı.
  • num_blocks_per_group (int, isteğe bağlı, varsayılan 2) — Grup başına conv tabanlı blok sayısı.
  • hidden_size (int, isteğe bağlı, varsayılan 256) — Gizli temsillerin boyutu.
  • vocab_size (int, isteğe bağlı, varsayılan 8192) — Modelin sözlük boyutu. input_ids tarafından temsil edilebilecek farklı token sayısını tanımlar.
  • freeze (bool, varsayılan True) — Modelin ağırlıklarının dondurulup dondurulmayacağı.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.

Bu, bir FlavaModel'in yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Flava modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/flava-full ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import FlavaImageCodebookConfig, FlavaImageCodebook

>>> # Initializing a FlavaImageCodebook with style configuration
>>> configuration = FlavaImageCodebookConfig()

>>> # Initializing a FlavaImageCodebook model (with random weights) from the style configuration
>>> model = FlavaImageCodebook(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

FlavaProcessor

sınıf transformers.FlavaProcessor

< >

( image_processor = Nonetokenizer = None**kwargs )

Parametreler

  • image_processor (FlavaImageProcessor) — Görsel işleyici zorunlu bir girdidir.
  • tokenizer (BertTokenizer) — Tokenizer zorunlu bir girdidir.

Bir görüntü işleyiciyi ve bir belirteçleyiciyi tek bir işleyicide birleştiren bir FlavaProcessor oluşturur.

FlavaProcessor, FlavaImageProcessor ve BertTokenizer sınıflarının tüm işlevlerini sunar. Daha fazla bilgi için ~FlavaImageProcessor ve ~BertTokenizer belgelerini inceleyin.

__call__

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Nonetext: str | list[str] | list[list[str]] | None = Nonevideos: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = Noneaudio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = None**kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'> )

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], isteğe bağlı) — Ön işleme yapılacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • text (Union[str, list[str], list[list[str]]], isteğe bağlı) — Kodlanacak dizi veya dizi grubu. Her dizi bir metin veya metin listesi (önceden tokenize edilmiş metin) olabilir. Önceden tokenize edilmiş bir girdi geçirirseniz, gruplu girdilerle karışıklığı önlemek için is_split_into_words=True değerini ayarlayın.
  • videos (Union[list[PIL.Image.Image], numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[numpy.ndarray]], list[list[torch.Tensor]], ~video_utils.URL, list[~video_utils.URL], list[list[~video_utils.URL]], ~video_utils.Path, list[~video_utils.Path], list[list[~video_utils.Path]]], isteğe bağlı) — Ön işleme yapılacak video. Piksel değerleri 0 ile 255 arasında değişen tek bir video veya video partisi beklenir. Piksel değerleri 0 ile 1 arasında olan videoları geçiriyorsanız do_rescale=False olarak ayarlayın.
  • audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], isteğe bağlı) — Hazırlanacak ses veya sesler partisi. Her ses, bir NumPy dizisi veya PyTorch tensörü olabilir. NumPy dizisi/PyTorch tensörü durumunda, her sesin şekli (C, T) olmalıdır; burada C kanal sayısı, T ise sesin örnek uzunluğudur.
  • return_tensors (str veya TensorType, isteğe bağlı) — Belirlenirse, belirli bir çerçeveye ait tensörler döndürülür. Kabul edilen değerler şunlardır:
    • 'pt': PyTorch torch.Tensor nesnelerini döndürür.
    • 'np': NumPy np.ndarray nesnelerini döndürür.
  • **kwargs (ProcessingKwargs, isteğe bağlı) — Her modalite (metin, görüntüler, videolar, ses) için ek işleme seçenekleri. Modelle ilgili parametreler yukarıda listelenmiştir; desteklenen argümanların tam listesi için TypedDict sınıfına bakın.

FlavaImageProcessor

sınıf transformers.FlavaImageProcessor

< >

( **kwargs: *<class 'transformers.models.flava.image_processing_flava.FlavaImageProcessorKwargs'> )

Parametreler

  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'height' -- 224, 'width': 224}): Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, isteğe bağlı, varsayılan True) — size bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağı.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'height' -- 224, 'width': 224}): center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, varsayılan 3) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel, varsayılan 0.00392156862745098) — do_rescale True olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.48145466, 0.4578275, 0.40821073]) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.26862954, 0.26130258, 0.27577711]) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel, varsayılan True) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • return_image_mask (bool, kwargs, opsiyonel, varsayılan False) — Görsel maskesinin döndürülüp döndürülmeyeceğini belirtir. preprocess içindeki return_image_mask parametresi ile geçersiz kılınabilir.
  • input_size_patches (int, kwargs, opsiyonel, varsayılan 14) — Görüntünün yükseklik ve genişlik yönlerindeki yama sayısı. 14x14 = toplam 196 yama. preprocess içindeki input_size_patches parametresi ile geçersiz kılınabilir.
  • total_mask_patches (int, kwargs, isteğe bağlı, varsayılan 75) — Maskelenmesi gereken toplam yama sayısı. preprocess içindeki total_mask_patches parametresi ile geçersiz kılınabilir.
  • mask_group_min_patches (int, kwargs, isteğe bağlı, varsayılan 16) — Maskelenmesi gereken en az yama sayısı. preprocess içindeki mask_group_min_patches parametresi tarafından geçersiz kılınabilir.
  • mask_group_max_patches (int, kwargs, opsiyonel) — Maskelenmesi gereken yamaların (patch) maksimum sayısı. preprocess içindeki mask_group_max_patches parametresi tarafından geçersiz kılınabilir.
  • mask_group_min_aspect_ratio (float, kwargs, isteğe bağlı, varsayılan 0.3) — Maske penceresinin minimum en-boy oranı. preprocess içindeki mask_group_min_aspect_ratio parametresi ile geçersiz kılınabilir.
  • mask_group_max_aspect_ratio (float, kwargs, isteğe bağlı) — Maske penceresinin maksimum en-boy oranı. preprocess içindeki mask_group_max_aspect_ratio parametresi ile geçersiz kılınabilir.
  • return_codebook_pixels (bool, kwargs, isteğe bağlı, varsayılan False) — Kod kitabı piksel değerlerinin döndürülüp döndürülmeyeceğini belirtir.
  • codebook_do_resize (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook için belirli bir boyuta yeniden boyutlandırılıp boyutlandırılmayacağını belirtir. preprocess içindeki codebook_do_resize parametresi ile geçersiz kılınabilir. codebook_size.
  • codebook_size (dict[str, *kwargs*, int], isteğe bağlı, varsayılan {"height" -- 224, "width": 224}): Girdiyi codebook için verilen boyuta yeniden boyutlandırır. preprocess içindeki codebook_size parametresi tarafından geçersiz kılınabilir.
  • codebook_resample (PILImageResampling, kwargs, opsiyonel, varsayılan PILImageResampling.LANCZOS) — Codebook görseli yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. torchvision < 0.27 sürümlerinde LANCZOS, torch Tensors için desteklenmez ve en yakın alternatif olarak BICUBIC kullanılır. preprocess içindeki codebook_resample parametresi ile geçersiz kılınabilir.
  • codebook_do_center_crop (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook için merkezden kırpılıp kırpılmayacağını belirtir. Girdi boyutu herhangi bir kenar boyunca codebook_crop_size değerinden küçükse, görsel 0 ile doldurulur ve ardından merkezden kırpılır. preprocess içindeki codebook_do_center_crop parametresi ile geçersiz kılınabilir.
  • codebook_crop_size (dict[str, *kwargs*, int], isteğe bağlı, varsayılan {"height" -- 224, "width": 224}): Orta kesme uygulandığında codebook girdisi için istenen çıktı boyutu. preprocess içindeki codebook_crop_size parametresiyle geçersiz kılınabilir.
  • codebook_do_rescale (bool, kwargs, opsiyonel, varsayılan True) — Girdinin, codebook_rescale_factor ile belirtilen ölçekle codebook için yeniden ölçeklendirilip ölçeklendirilmeyeceğini belirtir. preprocess içindeki codebook_do_rescale parametresiyle geçersiz kılınabilir.
  • codebook_rescale_factor (int, kwargs veya float, isteğe bağlı, varsayılan 1/255) — Kod kitabı görüntüsünün yeniden ölçeklendirilmesi durumunda kullanılacak ölçekleme çarpanını tanımlar. preprocess içindeki codebook_rescale_factor parametresi tarafından geçersiz kılınabilir.
  • codebook_do_map_pixels (bool, kwargs, opsiyonel, varsayılan True) — Codebook girdisinin piksel değerlerinin (1 - 2e)x + e'ye eşlenip eşlenmeyeceğini belirtir. preprocess içindeki codebook_do_map_pixels parametresi ile geçersiz kılınabilir.
  • codebook_do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook_image_mean ve codebook_image_std ile codebook için normalize edilip edilmeyeceğini belirtir. preprocess içindeki codebook_do_normalize parametresi ile geçersiz kılınabilir.
  • codebook_image_mean (Optional[Union[float, *kwargs*, Iterable[float]]], isteğe bağlı, varsayılan [0, 0, 0]) — Kod kitabı için görüntüleri normalize ederken her kanal için kullanılacak ortalama değerler dizisi. preprocess içindeki codebook_image_mean parametresiyle geçersiz kılınabilir.
  • codebook_image_std (Optional[Union[float, *kwargs*, Iterable[float]]], isteğe bağlı, varsayılan [0.5, 0.5, 0.5]) — Codebook için görüntüleri normalize ederken kullanılacak, her kanal için standart sapma dizisi. preprocess içindeki codebook_image_std parametresiyle geçersiz kılınabilir.

FlavaImageProcessor görüntü işleyicisi oluşturur.

ön işleme

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]**kwargs: *<class 'transformers.models.flava.image_processing_flava.FlavaImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel) — do_rescale True olarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanmışsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • return_image_mask (bool, kwargs, opsiyonel, varsayılan False) — Görsel maskesinin döndürülüp döndürülmeyeceğini belirtir. preprocess içindeki return_image_mask parametresi ile geçersiz kılınabilir.
  • input_size_patches (int, kwargs, opsiyonel, varsayılan 14) — Görüntünün yükseklik ve genişlik yönlerindeki yama sayısı. 14x14 = toplam 196 yama. preprocess içindeki input_size_patches parametresi ile geçersiz kılınabilir.
  • total_mask_patches (int, kwargs, isteğe bağlı, varsayılan 75) — Maskelenmesi gereken toplam yama sayısı. preprocess içindeki total_mask_patches parametresi ile geçersiz kılınabilir.
  • mask_group_min_patches (int, kwargs, isteğe bağlı, varsayılan 16) — Maskelenmesi gereken en az yama sayısı. preprocess içindeki mask_group_min_patches parametresi tarafından geçersiz kılınabilir.
  • mask_group_max_patches (int, kwargs, opsiyonel) — Maskelenmesi gereken yamaların (patch) maksimum sayısı. preprocess içindeki mask_group_max_patches parametresi tarafından geçersiz kılınabilir.
  • mask_group_min_aspect_ratio (float, kwargs, isteğe bağlı, varsayılan 0.3) — Maske penceresinin minimum en-boy oranı. preprocess içindeki mask_group_min_aspect_ratio parametresi ile geçersiz kılınabilir.
  • mask_group_max_aspect_ratio (float, kwargs, isteğe bağlı) — Maske penceresinin maksimum en-boy oranı. preprocess içindeki mask_group_max_aspect_ratio parametresi ile geçersiz kılınabilir.
  • return_codebook_pixels (bool, kwargs, isteğe bağlı, varsayılan False) — Kod kitabı piksel değerlerinin döndürülüp döndürülmeyeceğini belirtir.
  • codebook_do_resize (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook için belirli bir boyuta yeniden boyutlandırılıp boyutlandırılmayacağını belirtir. preprocess içindeki codebook_do_resize parametresi ile geçersiz kılınabilir. codebook_size.
  • codebook_size (dict[str, *kwargs*, int], isteğe bağlı, varsayılan {"height" -- 224, "width": 224}): Girdiyi codebook için verilen boyuta yeniden boyutlandırır. preprocess içindeki codebook_size parametresi tarafından geçersiz kılınabilir.
  • codebook_resample (PILImageResampling, kwargs, opsiyonel, varsayılan PILImageResampling.LANCZOS) — Codebook görseli yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. torchvision < 0.27 sürümlerinde LANCZOS, torch Tensors için desteklenmez ve en yakın alternatif olarak BICUBIC kullanılır. preprocess içindeki codebook_resample parametresi ile geçersiz kılınabilir.
  • codebook_do_center_crop (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook için merkezden kırpılıp kırpılmayacağını belirtir. Girdi boyutu herhangi bir kenar boyunca codebook_crop_size değerinden küçükse, görsel 0 ile doldurulur ve ardından merkezden kırpılır. preprocess içindeki codebook_do_center_crop parametresi ile geçersiz kılınabilir.
  • codebook_crop_size (dict[str, *kwargs*, int], isteğe bağlı, varsayılan {"height" -- 224, "width": 224}): Orta kesme uygulandığında codebook girdisi için istenen çıktı boyutu. preprocess içindeki codebook_crop_size parametresiyle geçersiz kılınabilir.
  • codebook_do_rescale (bool, kwargs, opsiyonel, varsayılan True) — Girdinin, codebook_rescale_factor ile belirtilen ölçekle codebook için yeniden ölçeklendirilip ölçeklendirilmeyeceğini belirtir. preprocess içindeki codebook_do_rescale parametresiyle geçersiz kılınabilir.
  • codebook_rescale_factor (int, kwargs veya float, opsiyonel, varsayılan 1/255) — Kod kitabı görüntüsünün yeniden ölçeklendirilmesi durumunda kullanılacak ölçekleme çarpanını tanımlar. preprocess içindeki codebook_rescale_factor parametresi tarafından geçersiz kılınabilir.
  • codebook_do_map_pixels (bool, kwargs, opsiyonel, varsayılan True) — Codebook girdisinin piksel değerlerinin (1 - 2e)x + e'ye eşlenip eşlenmeyeceğini belirtir. preprocess içindeki codebook_do_map_pixels parametresi ile geçersiz kılınabilir.
  • codebook_do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook_image_mean ve codebook_image_std ile codebook için normalize edilip edilmeyeceğini belirtir. preprocess içindeki codebook_do_normalize parametresiyle geçersiz kılınabilir.
  • codebook_image_mean (Optional[Union[float, *kwargs*, Iterable[float]]], isteğe bağlı, varsayılan [0, 0, 0]) — Kod kitabı için görüntüleri normalize ederken her kanal için kullanılacak ortalama değerler dizisi. preprocess içindeki codebook_image_mean parametresiyle geçersiz kılınabilir.
  • codebook_image_std (Optional[Union[float, *kwargs*, Iterable[float]]], isteğe bağlı, varsayılan [0.5, 0.5, 0.5]) — Kod kitabı için görüntüleri normalize ederken kullanılacak, her kanal için standart sapma dizisi. preprocess içindeki codebook_image_std parametresiyle geçersiz kılınabilir.

Dönüş değeri

~image_processing_base.BatchFeature

  • data (dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.).
  • tensor_type (Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.

FlavaImageProcessorPil

sınıf transformers.FlavaImageProcessorPil

< >

( **kwargs: *<class 'transformers.models.flava.image_processing_pil_flava.FlavaImageProcessorKwargs'> )

Parametreler

  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'height' -- 224, 'width': 224}): Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, isteğe bağlı, varsayılan True) — size bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağı.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'height' -- 224, 'width': 224}): center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, varsayılan 3) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel, varsayılan 0.00392156862745098) — do_rescale True olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.48145466, 0.4578275, 0.40821073]) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.26862954, 0.26130258, 0.27577711]) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel, varsayılan True) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • return_image_mask (bool, kwargs, opsiyonel, varsayılan False) — Görsel maskesinin döndürülüp döndürülmeyeceğini belirtir. preprocess içindeki return_image_mask parametresi ile geçersiz kılınabilir.
  • input_size_patches (int, kwargs, opsiyonel, varsayılan 14) — Görüntünün yükseklik ve genişlik yönlerindeki yama sayısı. 14x14 = toplam 196 yama. preprocess içindeki input_size_patches parametresi ile geçersiz kılınabilir.
  • total_mask_patches (int, kwargs, isteğe bağlı, varsayılan 75) — Maskelenmesi gereken toplam yama sayısı. preprocess içindeki total_mask_patches parametresi ile geçersiz kılınabilir.
  • mask_group_min_patches (int, kwargs, isteğe bağlı, varsayılan 16) — Maskelenmesi gereken en az yama sayısı. preprocess içindeki mask_group_min_patches parametresi tarafından geçersiz kılınabilir.
  • mask_group_max_patches (int, kwargs, opsiyonel) — Maskelenmesi gereken yamaların (patch) maksimum sayısı. preprocess içindeki mask_group_max_patches parametresi tarafından geçersiz kılınabilir.
  • mask_group_min_aspect_ratio (float, kwargs, isteğe bağlı, varsayılan 0.3) — Maske penceresinin minimum en-boy oranı. preprocess içindeki mask_group_min_aspect_ratio parametresi ile geçersiz kılınabilir.
  • mask_group_max_aspect_ratio (float, kwargs, isteğe bağlı) — Maske penceresinin maksimum en-boy oranı. preprocess içindeki mask_group_max_aspect_ratio parametresi ile geçersiz kılınabilir.
  • return_codebook_pixels (bool, kwargs, isteğe bağlı, varsayılan False) — Kod kitabı piksel değerlerinin döndürülüp döndürülmeyeceğini belirtir.
  • codebook_do_resize (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook için belirli bir boyuta yeniden boyutlandırılıp boyutlandırılmayacağını belirtir. preprocess içindeki codebook_do_resize parametresi ile geçersiz kılınabilir. codebook_size.
  • codebook_size (dict[str, *kwargs*, int], isteğe bağlı, varsayılan {"height" -- 224, "width": 224}): Girdiyi codebook için verilen boyuta yeniden boyutlandırır. preprocess içindeki codebook_size parametresi tarafından geçersiz kılınabilir.
  • codebook_resample (PILImageResampling, kwargs, opsiyonel, varsayılan PILImageResampling.LANCZOS) — Codebook görseli yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. torchvision < 0.27 sürümlerinde LANCZOS, torch Tensors için desteklenmez ve en yakın alternatif olarak BICUBIC kullanılır. preprocess içindeki codebook_resample parametresi ile geçersiz kılınabilir.
  • codebook_do_center_crop (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook için merkezden kırpılıp kırpılmayacağını belirtir. Girdi boyutu herhangi bir kenar boyunca codebook_crop_size değerinden küçükse, görsel 0 ile doldurulur ve ardından merkezden kırpılır. preprocess içindeki codebook_do_center_crop parametresi ile geçersiz kılınabilir.
  • codebook_crop_size (dict[str, *kwargs*, int], isteğe bağlı, varsayılan {"height" -- 224, "width": 224}): Orta kesme uygulandığında codebook girdisi için istenen çıktı boyutu. preprocess içindeki codebook_crop_size parametresiyle geçersiz kılınabilir.
  • codebook_do_rescale (bool, kwargs, opsiyonel, varsayılan True) — Girdinin, codebook_rescale_factor ile belirtilen ölçekle codebook için yeniden ölçeklendirilip ölçeklendirilmeyeceğini belirtir. preprocess içindeki codebook_do_rescale parametresiyle geçersiz kılınabilir.
  • codebook_rescale_factor (int, kwargs veya float, opsiyonel, varsayılan 1/255) — Kod kitabı görüntüsünün yeniden ölçeklendirilmesi durumunda kullanılacak ölçekleme çarpanını tanımlar. preprocess içindeki codebook_rescale_factor parametresi tarafından geçersiz kılınabilir.
  • codebook_do_map_pixels (bool, kwargs, opsiyonel, varsayılan True) — Codebook girdisinin piksel değerlerinin (1 - 2e)x + e'ye eşlenip eşlenmeyeceğini belirtir. preprocess içindeki codebook_do_map_pixels parametresi ile geçersiz kılınabilir.
  • codebook_do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook_image_mean ve codebook_image_std ile codebook için normalize edilip edilmeyeceğini belirtir. preprocess içindeki codebook_do_normalize parametresi ile geçersiz kılınabilir.
  • codebook_image_mean (Optional[Union[float, *kwargs*, Iterable[float]]], isteğe bağlı, varsayılan [0, 0, 0]) — Kod kitabı için görüntüleri normalize ederken her kanal için kullanılacak ortalama değerler dizisi. preprocess içindeki codebook_image_mean parametresiyle geçersiz kılınabilir.
  • codebook_image_std (Optional[Union[float, *kwargs*, Iterable[float]]], isteğe bağlı, varsayılan [0.5, 0.5, 0.5]) — Codebook için görüntüleri normalize ederken kullanılacak, her kanal için standart sapma dizisi. preprocess içindeki codebook_image_std parametresiyle geçersiz kılınabilir.

FlavaImageProcessor görüntü işleyicisi oluşturur.

ön işleme

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]**kwargs: *<class 'transformers.models.flava.image_processing_pil_flava.FlavaImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel) — do_rescale True olarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanmışsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • return_image_mask (bool, kwargs, opsiyonel, varsayılan False) — Görsel maskesinin döndürülüp döndürülmeyeceğini belirtir. preprocess içindeki return_image_mask parametresi ile geçersiz kılınabilir.
  • input_size_patches (int, kwargs, opsiyonel, varsayılan 14) — Görüntünün yükseklik ve genişlik yönlerindeki yama sayısı. 14x14 = toplam 196 yama. preprocess içindeki input_size_patches parametresi ile geçersiz kılınabilir.
  • total_mask_patches (int, kwargs, isteğe bağlı, varsayılan 75) — Maskelenmesi gereken toplam yama sayısı. preprocess içindeki total_mask_patches parametresi ile geçersiz kılınabilir.
  • mask_group_min_patches (int, kwargs, isteğe bağlı, varsayılan 16) — Maskelenmesi gereken en az yama sayısı. preprocess içindeki mask_group_min_patches parametresi tarafından geçersiz kılınabilir.
  • mask_group_max_patches (int, kwargs, opsiyonel) — Maskelenmesi gereken yamaların (patch) maksimum sayısı. preprocess içindeki mask_group_max_patches parametresi tarafından geçersiz kılınabilir.
  • mask_group_min_aspect_ratio (float, kwargs, isteğe bağlı, varsayılan 0.3) — Maske penceresinin minimum en-boy oranı. preprocess içindeki mask_group_min_aspect_ratio parametresi ile geçersiz kılınabilir.
  • mask_group_max_aspect_ratio (float, kwargs, isteğe bağlı) — Maske penceresinin maksimum en-boy oranı. preprocess içindeki mask_group_max_aspect_ratio parametresi ile geçersiz kılınabilir.
  • return_codebook_pixels (bool, kwargs, isteğe bağlı, varsayılan False) — Kod kitabı piksel değerlerinin döndürülüp döndürülmeyeceğini belirtir.
  • codebook_do_resize (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook için belirli bir boyuta yeniden boyutlandırılıp boyutlandırılmayacağını belirtir. preprocess içindeki codebook_do_resize parametresi ile geçersiz kılınabilir. codebook_size.
  • codebook_size (dict[str, *kwargs*, int], isteğe bağlı, varsayılan {"height" -- 224, "width": 224}): Girdiyi codebook için verilen boyuta yeniden boyutlandırır. preprocess içindeki codebook_size parametresi tarafından geçersiz kılınabilir.
  • codebook_resample (PILImageResampling, kwargs, opsiyonel, varsayılan PILImageResampling.LANCZOS) — Codebook görseli yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. torchvision < 0.27 sürümlerinde LANCZOS, torch Tensors için desteklenmez ve en yakın alternatif olarak BICUBIC kullanılır. preprocess içindeki codebook_resample parametresi ile geçersiz kılınabilir.
  • codebook_do_center_crop (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook için merkezden kırpılıp kırpılmayacağını belirtir. Girdi boyutu herhangi bir kenar boyunca codebook_crop_size değerinden küçükse, görsel 0 ile doldurulur ve ardından merkezden kırpılır. preprocess içindeki codebook_do_center_crop parametresi ile geçersiz kılınabilir.
  • codebook_crop_size (dict[str, *kwargs*, int], isteğe bağlı, varsayılan {"height" -- 224, "width": 224}): Orta kesme uygulandığında codebook girdisi için istenen çıktı boyutu. preprocess içindeki codebook_crop_size parametresiyle geçersiz kılınabilir.
  • codebook_do_rescale (bool, kwargs, opsiyonel, varsayılan True) — Girdinin, codebook_rescale_factor ile belirtilen ölçekle codebook için yeniden ölçeklendirilip ölçeklendirilmeyeceğini belirtir. preprocess içindeki codebook_do_rescale parametresiyle geçersiz kılınabilir.
  • codebook_rescale_factor (int, kwargs veya float, opsiyonel, varsayılan 1/255) — Kod kitabı görüntüsünün yeniden ölçeklendirilmesi durumunda kullanılacak ölçekleme çarpanını tanımlar. preprocess içindeki codebook_rescale_factor parametresi tarafından geçersiz kılınabilir.
  • codebook_do_map_pixels (bool, kwargs, opsiyonel, varsayılan True) — Codebook girdisinin piksel değerlerinin (1 - 2e)x + e'ye eşlenip eşlenmeyeceğini belirtir. preprocess içindeki codebook_do_map_pixels parametresi ile geçersiz kılınabilir.
  • codebook_do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Girdinin codebook_image_mean ve codebook_image_std ile codebook için normalize edilip edilmeyeceğini belirtir. preprocess içindeki codebook_do_normalize parametresi ile geçersiz kılınabilir.
  • codebook_image_mean (Optional[Union[float, *kwargs*, Iterable[float]]], isteğe bağlı, varsayılan [0, 0, 0]) — Kod kitabı için görüntüleri normalize ederken her kanal için kullanılacak ortalama değerler dizisi. preprocess içindeki codebook_image_mean parametresiyle geçersiz kılınabilir.
  • codebook_image_std (Optional[Union[float, *kwargs*, Iterable[float]]], isteğe bağlı, varsayılan [0.5, 0.5, 0.5]) — Codebook için görüntüleri normalize ederken kullanılacak, her kanal için standart sapma dizisi. preprocess içindeki codebook_image_std parametresiyle geçersiz kılınabilir.

Dönüş değeri

~image_processing_base.BatchFeature

  • data (dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.).
  • tensor_type (Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.

FlavaForPreTraining

sınıf transformers.FlavaForPreTraining

< >

( config: FlavaConfigimage_codebook: typing.Optional[torch.nn.Module] = None )

Parametreler

  • config (FlavaConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
  • image_codebook (torch.nn.Module, opsiyonel) — Verilirse, image codebook bu değere ayarlanır. Aksi halde, config içinde tanımlı olan image_codebook_config kullanılarak ilk parametre olarak başlatılır.

Kayıp değerleri, gömme (embedding) değerlerini, logit'leri ve dönüştürücü (transformer) çıktıları üreten ön eğitim için FLAVA modeli.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneinput_ids_masked: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.FloatTensor] = Nonecodebook_pixel_values: typing.Optional[torch.FloatTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonetoken_type_ids: typing.Optional[torch.Tensor] = Nonebool_masked_pos: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Noneimage_attention_mask: typing.Optional[torch.Tensor] = Noneskip_unmasked_multimodal_encoder: bool | None = Nonemlm_labels: typing.Optional[torch.Tensor] = Nonemim_labels: typing.Optional[torch.Tensor] = Noneitm_labels: typing.Optional[torch.Tensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool = Truereturn_dict: bool | None = Nonereturn_loss: bool | None = None**kwargs ) → FlavaForPreTrainingOutput or tuple(torch.FloatTensor)

Parametreler

  • input_ids (torch.LongTensor, şekli (batch_size, text_seq_len)) — Girdi dizisi token'larının sözlükteki indeksleri. İndeksler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() yöntemlerine bakın. Girdi ID'leri nedir?
  • input_ids_masked (torch.LongTensor, şekli (batch_size, text_seq_len)) — Sözlükteki girdi dizisi tokenlarının indeksleri. Bunlar, MLM ile kullanılacak orijinal görevin maskelenmiş versiyonudur. İndeksler, AutoTokenizer ile birlikte DataCollatorForMaskedLanguageModeling kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() yöntemlerine bakın. Girdi kimlikları (input IDs) nedir?
  • pixel_values (torch.FloatTensor, şekli (batch_size, num_channels, image_size, image_size), isteğe bağlı) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri FlavaImageProcessor kullanılarak elde edilebilir. Ayrıntılar için FlavaImageProcessor.call() bölümüne bakın (FlavaProcessor, görüntü işleme için FlavaImageProcessor kullanır).
  • codebook_pixel_values (torch.FloatTensor, şekli (batch_size, num_image_patches, patch_size, patch_size, 3), opsiyonel) — Maskeli görüntü modellemesi için görüntü kod kitabı etiketlerini hesaplamakta kullanılan görüntü yama piksel değerleri.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • token_type_ids (torch.LongTensor şeklinde (batch_size, text_seq_len), isteğe bağlı) — Girdilerin ilk ve ikinci bölümlerini belirtmek için segment token dizinleri. Dizinler [0, 1]:
  • bool_masked_pos (torch.BoolTensor, şekli (batch_size, image_num_patches)) — Boolean maskeli konumlar. Hangi yamaların maskelendiğini (1) ve hangilerinin maskelenmediğini (0) belirtir.
  • position_ids (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı [0, config.n_positions - 1].

    Pozisyon kimlikleri nedir?

  • image_attention_mask (torch.FloatTensor şeklinde (batch_size, image_num_patches), isteğe bağlı) — Görseller için dolgu token indekslerinde dikkat işleminin uygulanmamasını sağlayan maske. Seçilen maske değerleri [0, 1]:
  • skip_unmasked_multimodal_encoder (*bool*, isteğe bağlı) — Maskelenmemiş girdiler için multimodal kodlayıcıya ait tüm hesaplamaları atlar. FLAVA ön eğitimi, şu an için maskelenmemiş multimodal gömme veya çıktıları gerektirmemektedir.
  • mlm_labels (torch.LongTensor, şekli (batch_size, text_seq_len), isteğe bağlı) — Soldan sağa dil ve çok modallı maskeli modelleme kaybını (sonraki kelime tahmini) hesaplamak için etiketler. Dizinler [-100, 0, ..., text_config.vocab_size - 1] aralığında olmalıdır (bkz. input_ids docstring). Dizinleri -100 olarak ayarlanan tokenlar yok sayılır (maskelenir); kayıp yalnızca etiketleri [0, ..., text_config.vocab_size - 1] aralığında olan tokenlar için hesaplanır.
  • mim_labels (torch.LongTensor, şekli (batch_size, image_num_patches), isteğe bağlı) — Görsel ve çok modlu maskeli modelleme kaybını hesaplamak için etiketler. İndisler [-100, 0, ..., image_config.vocab_size - 1] aralığında olmalıdır. İndisi -100 olarak ayarlanan tokenlar yok sayılır (maskelenir); kayıp yalnızca etiketleri [0, ..., image_config.vocab_size - 1] aralığında olan tokenlar için hesaplanır. Verilmezse, modele atanan görsel kod kitabı kullanılarak otomatik olarak oluşturulur. Varsayılan olarak FlavaImageCodebook kullanılır. mim_labels'ın nasıl oluşturulacağını anlamak için FlavaImageCodebook bölümüne bakın.
  • itm_labels (torch.LongTensor, şekli (batch_size, 1), isteğe bağlı) — Görsel-metin eşleşme kaybını hesaplamak için etiketler. 0, çiftlerin eşleşmediğini; 1 ise eşleştiğini belirtir. 0 etiketli çiftler, MMM ve küresel kontrastif kayıpların hesaplanmasında da atlanır.
  • output_attentions (bool, isteğe bağlı) — Tüm dikkat katmanlarının dikkat tensörlerinin döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki attentions bölümüne bakın.
  • output_hidden_states (bool, isteğe bağlı, varsayılan True) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki hidden_states bölümüne bakın.
  • return_dict (bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?
  • return_loss (bool, isteğe bağlı, varsayılan None) — Hesaplanan kaybın döndürülüp döndürülmeyeceğini belirtir.

Dönüş değeri

FlavaForPreTrainingOutput veya tuple(torch.FloatTensor)

FlavaForPreTrainingOutput veya bir torch.FloatTensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırma (FlavaConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

FlavaForPreTraining forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • loss (torch.FloatTensor, isteğe bağlı, return_loss True olduğunda döndürülür) — Bu model için hesaplanan toplam kayıp.
  • loss_info (~models.flava.modeling_flava.FlavaLosses, opsiyonel) — FLAVA Ön Eğitim kayıpları için ayrıntılı bilgi. Anahtarlar hakkında bilgi için FlavaLosses sınıfı açıklamasına bakın.
  • image_embeddings (torch.FloatTensor, şekli (batch_size, output_dim), opsiyonel, pixel_values mevcut olduğunda döndürülür) — Temel olarak FlavaImageModel'in havuzlanmış çıktısı olan gömme değerleri.
  • image_output (BaseModelOutputWithPooling, opsiyonel, pixel_values mevcut olduğunda döndürülür) — FlavaImageModel'in çıktısı.
  • text_embeddings (torch.FloatTensor, şekli (batch_size, output_dim), opsiyonel, input_ids mevcut olduğunda döndürülür) — Temelde FlavaTextModel'in havuzlanmış çıktısı olan metin gömme değerleri.
  • text_output (BaseModelOutputWithPooling, isteğe bağlı, input_ids mevcut olduğunda döndürülür) — FlavaTextModel'ün çıktısı.
  • multimodal_embeddings (torch.FloatTensor, şekli (batch_size, output_dim), opsiyonel, input_ids ve pixel_values mevcut olduğunda ve skip_unmasked_multimodal_encoder None veya False ise döndürülür) — Temel olarak FlavaTextModel'ün havuzlanmış çıktısı olan çok modlu gömme değerleri.
  • multimodal_output (BaseModelOutputWithPooling, input_ids ve pixel_values mevcut olduğunda ve skip_unmasked_multimodal_encoder None veya False ise döndürülür) — FlavaMultimodalModel'ün çıktısı.
  • image_masked_embeddings (torch.FloatTensor, şekli (batch_size, output_dim), opsiyonel, pixel_values mevcut olduğunda döndürülür) — Temel olarak FlavaImageModel'in havuzlanmış çıktısı olan gömme değerleri. Maskelenmiş görselleri oluşturmak için bool_masked_pos kullanır.
  • image_masked_output (BaseModelOutputWithPooling, isteğe bağlı, pixel_values mevcut olduğunda döndürülür) — FlavaImageModel'ün çıktısı. Maskelenmiş görüntüler oluşturmak için bool_masked_pos kullanır.
  • text_masked_embeddings (torch.FloatTensor, şekli (batch_size, output_dim), opsiyonel, input_ids_masked mevcut olduğunda döndürülür) — Temelde FlavaTextModel'in havuzlanmış çıktısı olan metin gömme değerleri.
  • text_masked_output (BaseModelOutputWithPooling, opsiyonel, input_ids_masked mevcut olduğunda döndürülür) — FlavaTextModel'ün çıktısı.
  • multimodal_masked_embeddings (torch.FloatTensor, şekli (batch_size, output_dim), opsiyonel, input_ids ve pixel_values mevcut olduğunda döndürülür) — Temel olarak FlavaTextModel'in havuzlanmış çıktısı olan çok modlu gömme değerleri.
  • multimodal_masked_output (BaseModelOutputWithPooling, isteğe bağlı, input_ids_masked ve pixel_values mevcut olduğunda döndürülür) — FlavaMultimodalModel'ün çıktısı.
  • mim_logits (torch.FloatTensor, şekli (batch_size, num_image_patches, image_vocab_size) veya (total_masked_patches, image_vocab_size) , opsiyonel, pixel_values mevcut ve input_ids_masked değilken döndürülür) — MIM unimodal kaybı için logitler. Maskelenmiş yamaları almak için bool_masked_pos kullanılır. bool_masked_pos yamaların bir kısmını maskeliyorsa, düzleştirilmiş çıktı döndürülür.
  • mlm_logits (torch.FloatTensor, şekli (batch_size, text_seq_length, text_vocab_size) veya (total_masked_seq_length, text_vocab_size), opsiyonel, input_ids_masked mevcut ve pixel_values mevcut değilse döndürülür) — MLM unimodal kaybı için logitler. input_ids_masked içindeki bazı tokenlar maskelendiğinde, düzleştirilmiş çıktı döndürülür.
  • itm_logits (torch.FloatTensor, şekli (batch_size, 2), isteğe bağlı, input_ids_masked ve pixel_values mevcut olduğunda döndürülür) — ITM kaybı için logitler. Not: FLAVA'da ITM kaybı maskelenmiş çiftler üzerinde hesaplanır.
  • contrastive_logits_per_image (torch.FloatTensor, şekli (image_batch_size, text_batch_size)) — image_embeddings ile text_embeddings arasındaki ölçekli nokta çarpımı puanlarıdır; ancak sırasıyla FLAVA'nın image_projection ve text_projection katmanlarından geçirilmiştir. Bu, görsel-metin benzerlik puanlarını temsil eder. Bu değer, maskelenmemiş görseller ve metinler üzerinde hesaplanır.
  • contrastive_logits_per_text (torch.FloatTensor, şekli (text_batch_size, image_batch_size)) — text_embeddings ile image_embeddings arasındaki ölçekli nokta çarpımı skorlarıdır; ancak sırasıyla FLAVA'nın text_projection ve image_projection katmanlarından geçirilmiştir. Bu, maskelenmemiş görüntüler ve metinler üzerinde hesaplanır.
  • mmm_image_logits (torch.FloatTensor, şekli (batch_size, num_image_patches, image_vocab_size) veya (total_masked_patches, image_vocab_size), opsiyonel, pixel_values ve input_ids_masked mevcut olduğunda döndürülür) — MMM görüntü çok modlu kaybı için logitler. Maskelenmiş yamaları almak için bool_masked_pos kullanılır. bool_masked_pos yamaların bir kısmını maskeliyorsa, düzleştirilmiş çıktı döndürülür.
  • mmm_text_logits (torch.FloatTensor, şekli (batch_size, text_seq_length, text_vocab_size) veya (total_masked_seq_length, text_vocab_size), isteğe bağlı, pixel_values ve input_ids_masked mevcut olduğunda döndürülür) — MMM metin çok modlu kaybı için logitler. input_ids_masked içinde bazı tokenlar maskelenmişse, düzleştirilmiş çıktı döndürülür.

Örnekler:

>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> from transformers import FlavaForPreTraining, AutoProcessor

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> model = FlavaForPreTraining.from_pretrained("facebook/flava-full")
>>> processor = AutoProcessor.from_pretrained("facebook/flava-full")

>>> text = ["a photo of a cat"]

>>> inputs = processor(
...     images=[image],
...     text=text,
...     return_masks=True,
...     return_codebook_pixels=True,
...     padding=True,
...     max_length=77,
...     return_tensors="pt",
... )


>>> output = model(**inputs)

FlavaModel

sınıf transformers.FlavaModel

< >

( config: FlavaConfig )

Parametreler

  • config (FlavaConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Üzerinde herhangi bir özel head olmadan ham hidden-states çıkaran çıplak Flava Model.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.FloatTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonetoken_type_ids: typing.Optional[torch.Tensor] = Nonebool_masked_pos: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Noneimage_attention_mask: typing.Optional[torch.Tensor] = Noneskip_multimodal_encoder: bool | None = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool = Truereturn_dict: bool | None = None**kwargs ) → FlavaModelOutput or tuple(torch.FloatTensor)

Parametreler

  • input_ids (torch.LongTensor, şekli (batch_size, image_num_patches + text_seq_len)) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. İndeksler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() yöntemlerine bakın. Girdi ID'leri nelerdir?
  • pixel_values (torch.FloatTensor, şekli (batch_size, num_channels, image_size, image_size), isteğe bağlı) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri FlavaImageProcessor kullanılarak elde edilebilir. Ayrıntılar için FlavaImageProcessor.call() bölümüne bakın (FlavaProcessor, görüntü işleme için FlavaImageProcessor kullanır).
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • token_type_ids (torch.LongTensor şeklinde (batch_size, image_num_patches + text_seq_len), isteğe bağlı) — Girdilerin ilk ve ikinci bölümlerini belirtmek için segment token dizinleri. Dizinler [0, 1]:
  • bool_masked_pos (torch.BoolTensor, şekli (batch_size, image_num_patches)) — Boolean maskeli konumlar. Hangi yamaların maskelendiğini (1) ve hangilerinin maskelenmediğini (0) belirtir.
  • position_ids (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı [0, config.n_positions - 1].

    Pozisyon kimlikleri nedir?

  • image_attention_mask (torch.Tensor şeklinde (batch_size, image_num_patches), isteğe bağlı) — Görsel girdilerde dolgu piksel değerleri üzerinde dikkat işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • gerçek (yani maskelenmemiş) piksel değerleri için 1,
    • Dolgu olan (yani maskelenmiş) piksel değerleri için 0.
  • skip_multimodal_encoder (*bool*, isteğe bağlı) — Çok modlu kodlayıcı için tüm hesaplamaları atlar. Çok modlu kodlama kullanılmayacaksa faydalıdır.
  • output_attentions (bool, isteğe bağlı) — Tüm dikkat katmanlarının dikkat tensörlerinin döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki attentions bölümüne bakın.
  • output_hidden_states (bool, isteğe bağlı, varsayılan True) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki hidden_states bölümüne bakın.
  • return_dict (bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?

Dönüş değeri

FlavaModelOutput veya tuple(torch.FloatTensor)

FlavaModelOutput veya bir torch.FloatTensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırma (FlavaConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

FlavaModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • image_embeddings (torch.FloatTensor, şekli (batch_size, output_dim), opsiyonel, pixel_values mevcut olduğunda döndürülür) — Temel olarak FlavaImageModel'in havuzlanmış çıktısı olan gömme değerleri.
  • image_output (BaseModelOutputWithPooling, opsiyonel, pixel_values mevcut olduğunda döndürülür) — FlavaImageModel'in çıktısı.
  • text_embeddings (torch.FloatTensor, şekli (batch_size, output_dim), opsiyonel, input_ids mevcut olduğunda döndürülür) — Temelde FlavaTextModel'in havuzlanmış çıktısı olan metin gömme değerleri.
  • text_output (BaseModelOutputWithPooling, isteğe bağlı, input_ids mevcut olduğunda döndürülür) — FlavaTextModel'ün çıktısı.
  • multimodal_embeddings (torch.FloatTensor, şekli (batch_size, output_dim), opsiyonel, input_ids ve pixel_values mevcut olduğunda ve skip_multimodal_encoder None veya False ise döndürülür) — Temel olarak FlavaTextModel'ün havuzlanmış çıktısı olan çok modlu gömme değerleri.
  • multimodal_output (BaseModelOutputWithPooling, input_ids ve pixel_values mevcut olduğunda ve skip_multimodal_encoder None veya False ise döndürülür) — FlavaMultimodalModel'in çıktısı.

Örnekler:

>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> from transformers import AutoProcessor, FlavaModel

>>> model = FlavaModel.from_pretrained("facebook/flava-full")
>>> processor = AutoProcessor.from_pretrained("facebook/flava-full")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> inputs = processor(text=["a photo of a cat"], images=image, return_tensors="pt", padding=True)

>>> outputs = model(**inputs)

>>> image_embeddings = outputs.image_embeddings
>>> text_embeddings = outputs.text_embeddings
>>> multimodal_embeddings = outputs.multimodal_embeddings

>>> outputs.image_embeddings.shape
torch.Size([1, 197, 768])

>>> text_embeddings.shape
torch.Size([1, 7, 768])

>>> multimodal_embeddings.shape
torch.Size([1, 205, 768])

get_text_features

< >

( input_ids: Tensorattention_mask: typing.Optional[torch.Tensor] = Nonetoken_type_ids: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.FloatTensor)

Parametreler

  • input_ids (torch.LongTensor, şekli (batch_size, text_seq_length)) — Girdi dizisi token'larının sözlükteki indeksleri. İndeksler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() yöntemlerine bakın. Girdi ID'leri nelerdir?
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • token_type_ids (torch.LongTensor şeklinde (batch_size, text_seq_length), isteğe bağlı) — Girdilerin ilk ve ikinci bölümlerini belirtmek için segment token dizinleri. Dizinler [0, 1]:
  • position_ids (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı [0, config.n_positions - 1].

    Pozisyon kimlikleri nedir?

Dönüş değeri

BaseModelOutputWithPooling veya tuple(torch.FloatTensor)

Bir BaseModelOutputWithPooling veya torch.FloatTensor bir demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (FlavaConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

  • last_hidden_state (torch.FloatTensor, şekli (batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.

  • pooler_output (torch.FloatTensor, şekli (batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlar üzerinden ek işlemden geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonu üzerinden işlenmesinden sonra döndürülen değerdir. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.

  • hidden_states (tuple(torch.FloatTensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.FloatTensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

  • attentions (tuple(torch.FloatTensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.FloatTensor (her katman için bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

Örnekler:

>>> import torch
>>> from transformers import AutoProcessor, FlavaModel

>>> model = FlavaModel.from_pretrained("{0}")
>>> processor = AutoProcessor.from_pretrained("{0}")

>>> inputs = processor(
...     text=["a photo of a cat", "a photo of a dog"], max_length=77, padding="max_length", return_tensors="pt"
... )
>>> with torch.inference_mode():
...     text_features = model.get_text_features(**inputs)

get_image_features

< >

( pixel_values: Tensorbool_masked_pos: typing.Optional[torch.BoolTensor] = Noneinterpolate_pos_encoding: bool | None = Noneattention_mask: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.FloatTensor)

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri FlavaImageProcessor kullanılarak elde edilebilir. Ayrıntılar için FlavaImageProcessor.call()'a bakınız (FlavaProcessor, görüntü işleme için FlavaImageProcessor kullanır).
  • bool_masked_pos (torch.BoolTensor, şekli (batch_size, image_num_patches)) — Boolean maskeli konumlar. Hangi yamaların maskelendiğini (1) ve hangilerinin maskelenmediğini (0) belirtir.
  • interpolate_pos_encoding (bool, isteğe bağlı) — Önceden eğitilmiş konum kodlamalarının interpolasyonunun yapılıp yapılmayacağı.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

Dönüş değeri

BaseModelOutputWithPooling veya tuple(torch.FloatTensor)

Bir BaseModelOutputWithPooling veya torch.FloatTensor bir demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (FlavaConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

  • last_hidden_state (torch.FloatTensor, şekli (batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.

  • pooler_output (torch.FloatTensor, şekli (batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlar üzerinden ek işlemden geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonu üzerinden işlenmesinden sonra döndürülen değerdir. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.

  • hidden_states (tuple(torch.FloatTensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.FloatTensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

  • attentions (tuple(torch.FloatTensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.FloatTensor (her katman için bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

Örnekler:

>>> import torch
>>> from transformers import AutoProcessor, FlavaModel
>>> from transformers.image_utils import load_image

>>> model = FlavaModel.from_pretrained("{0}")
>>> processor = AutoProcessor.from_pretrained("{0}")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = load_image(url)

>>> inputs = processor(images=image, return_tensors="pt")

>>> with torch.inference_mode():
...     image_features = model.get_image_features(**inputs)

FlavaImageCodebook

sınıf transformers.FlavaImageCodebook

< >

( config: FlavaImageCodebookConfig**kwargs: Any )

Parametreler

  • config (FlavaImageCodebookConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

FLAVA'nın görüntü kod kitabı modeli, DALL-E'nin orijinal kodlayıcısından ilham alınarak geliştirilmiştir. Ham gizli durumları (hidden states) üretir ve DALL-E'nin sözlüğüne dayalı olarak bir görüntü için görüntü jetonları (image tokens) üretmek üzere kullanılabilir. MIM için etiketler üretmek amacıyla kullanılır. Bir görüntü için görüntü jetonlarını almak için get_codebook_indices kullanın.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: FloatTensor**kwargs )

get_codebook_indices

< >

( pixel_values: Tensor )

get_codebook_probs

< >

( pixel_values: Tensor )

FlavaTextModel

sınıf transformers.FlavaTextModel

< >

( config: FlavaTextConfigadd_pooling_layer: bool = True )

Parametreler

  • config (FlavaTextConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
  • add_pooling_layer (bool, isteğe bağlı, varsayılan True) — Bir havuzlama katmanı eklenip eklenmeyeceği

Üzerinde herhangi bir özel head olmadan ham hidden-states çıkaran çıplak Flava Text Model.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonetoken_type_ids: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutputWithPooling or tuple(torch.FloatTensor)

Parametreler

  • input_ids (torch.LongTensor, şekli (batch_size, text_seq_length)) — Girdi dizisi token'larının sözlükteki indeksleri. İndeksler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() yöntemlerine bakın. Girdi ID'leri nelerdir?
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • token_type_ids (torch.LongTensor şeklinde (batch_size, text_seq_length), isteğe bağlı) — Girdilerin ilk ve ikinci bölümlerini belirtmek için segment token dizinleri. Dizinler [0, 1]:
  • position_ids (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Girdi dizilerindeki her token'ın konum gömme (position embedding) içindeki konum indeksleri. Seçim aralığı [0, config.n_positions - 1].

    Pozisyon kimlikleri nedir?

  • output_attentions (bool, isteğe bağlı) — Tüm dikkat katmanlarının dikkat tensörlerinin döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki attentions bölümüne bakın.
  • output_hidden_states (bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki hidden_states bölümüne bakın.
  • return_dict (bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?

Dönüş değeri

BaseModelOutputWithPooling veya tuple(torch.FloatTensor)

Bir BaseModelOutputWithPooling veya torch.FloatTensor bir demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (FlavaConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

FlavaTextModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • last_hidden_state (torch.FloatTensor, şekli (batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.

  • pooler_output (torch.FloatTensor, şekli (batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlar üzerinden ek işlemden geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonu üzerinden işlenmesinden sonra döndürülen değerdir. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.

  • hidden_states (tuple(torch.FloatTensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.FloatTensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

  • attentions (tuple(torch.FloatTensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.FloatTensor (her katman için bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

FlavaImageModel

sınıf transformers.FlavaImageModel

< >

( config: FlavaImageConfigadd_pooling_layer: bool = True )

Parametreler

  • config (FlavaImageConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
  • add_pooling_layer (bool, isteğe bağlı, varsayılan True) — Bir havuzlama katmanı eklenip eklenmeyeceği

Üzerinde herhangi bir özel head olmadan ham hidden-states çıkaran çıplak Flava Model.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: typing.Optional[torch.Tensor] = Nonebool_masked_pos: typing.Optional[torch.BoolTensor] = Noneinterpolate_pos_encoding: bool | None = Noneattention_mask: typing.Optional[torch.Tensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutputWithPooling or tuple(torch.FloatTensor)

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size), isteğe bağlı) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri FlavaImageProcessor kullanılarak elde edilebilir. Ayrıntılar için FlavaImageProcessor.call() bölümüne bakınız (FlavaProcessor, görüntü işleme için FlavaImageProcessor kullanır).
  • bool_masked_pos (torch.BoolTensor, şekli (batch_size, image_num_patches)) — Boolean maskeli konumlar. Hangi yamaların maskelendiğini (1) ve hangilerinin maskelenmediğini (0) belirtir.
  • interpolate_pos_encoding (bool, isteğe bağlı) — Önceden eğitilmiş konum kodlamalarının interpolasyonunun yapılıp yapılmayacağı.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • output_attentions (bool, isteğe bağlı) — Tüm dikkat katmanlarının dikkat tensörlerinin döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki attentions bölümüne bakın.
  • output_hidden_states (bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki hidden_states bölümüne bakın.
  • return_dict (bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?

Dönüş değeri

BaseModelOutputWithPooling veya tuple(torch.FloatTensor)

Bir BaseModelOutputWithPooling veya torch.FloatTensor bir demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (FlavaConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

FlavaImageModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • last_hidden_state (torch.FloatTensor, şekli (batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.

  • pooler_output (torch.FloatTensor, şekli (batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlar üzerinden ek işlemden geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonu üzerinden işlenmesinden sonra döndürülen değerdir. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.

  • hidden_states (tuple(torch.FloatTensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.FloatTensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

  • attentions (tuple(torch.FloatTensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.FloatTensor (her katman için bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

FlavaMultimodalModel

sınıf transformers.FlavaMultimodalModel

< >

( config: FlavaMultimodalConfigadd_pooling_layer = True )

Parametreler

  • config (FlavaMultimodalConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
  • add_pooling_layer (bool, isteğe bağlı, varsayılan True) — Bir havuzlama katmanı eklenip eklenmeyeceği

Üzerinde herhangi bir özel head olmadan ham hidden-states çıkaran çıplak Flava Model.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( hidden_states: Tensorattention_mask: typing.Optional[torch.Tensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutputWithPooling or tuple(torch.FloatTensor)

Parametreler

  • hidden_states (torch.FloatTensor, şekli (batch_size, image_num_patches + text_seq_len, hidden_size)) — Tek modlu kodlayıcıların birleştirilmiş gizli durumları.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • output_attentions (bool, isteğe bağlı) — Tüm dikkat katmanlarının dikkat tensörlerinin döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki attentions bölümüne bakın.
  • output_hidden_states (bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındaki hidden_states bölümüne bakın.
  • return_dict (bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi?

Dönüş değeri

BaseModelOutputWithPooling veya tuple(torch.FloatTensor)

Bir BaseModelOutputWithPooling veya torch.FloatTensor bir demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (FlavaConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

FlavaMultimodalModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • last_hidden_state (torch.FloatTensor, şekli (batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.

  • pooler_output (torch.FloatTensor, şekli (batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlar üzerinden ek işlemden geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonu üzerinden işlenmesinden sonra döndürülen değerdir. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.

  • hidden_states (tuple(torch.FloatTensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.FloatTensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

  • attentions (tuple(torch.FloatTensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.FloatTensor (her katman için bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

Update on GitHub

←FastVLM Florence2→