Transformers documentation

Wav2Vec2-Conformer

Transformers

Bắt đầu

Transformers Cài đặt Bắt đầu nhanh

Lớp cơ sở

Mô hình

Bộ tiền xử lý

Suy luận

Pipeline API

Tạo API

Tối ưu hóa

Trò chuyện với các model

Serving

Huấn luyện

Bắt đầu

Tùy chỉnh

Tinh chỉnh hiệu quả tham số

Hiệu năng

Huấn luyện phân tán

Phần cứng

Lượng tử hóa

Tích hợp hệ sinh thái

Tài nguyên

API

Các lớp chính

Mô hình

Mô hình văn bản

Mô hình thị giác

Mô hình âm thanh

Mô hình video

Mô hình đa phương thức

Mô hình học tăng cường

Mô hình chuỗi thời gian

Hàm trợ giúp nội bộ

Tham khảo

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Mô hình này được công bố trên HF papers vào ngày 2020-10-11 và được đóng góp cho Hugging Face Transformers vào ngày 2022-05-17.

Wav2Vec2-Conformer

Tổng quan

Wav2Vec2-Conformer đã được thêm vào phiên bản cập nhật của fairseq S2T: Fast Speech-to-Text Modeling with fairseq do Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Sravya Popuri, Dmytro Okhonko, Juan Pino thực hiện.

Kết quả chính thức của mô hình có thể được tìm thấy trong Bảng 3 và Bảng 4 của bài báo.

Trọng số của Wav2Vec2-Conformer đã được nhóm Meta AI phát hành trong thư viện Fairseq.

Mô hình này được đóng góp bởi patrickvonplaten. Mã nguồn gốc có thể được tìm thấy tại đây.

Lưu ý: Meta (FAIR) đã phát hành một phiên bản mới của Wav2Vec2-BERT 2.0 - nó được huấn luyện trước trên 4,5 triệu giờ âm thanh. Chúng tôi đặc biệt khuyến nghị sử dụng nó cho các tác vụ tinh chỉnh, ví dụ như theo hướng dẫn này.

Mẹo sử dụng

Wav2Vec2-Conformer tuân theo cùng kiến trúc như Wav2Vec2, nhưng thay thế khối Attention bằng khối Conformer như được giới thiệu trong Conformer: Convolution-augmented Transformer for Speech Recognition.
Với cùng số lượng lớp, Wav2Vec2-Conformer yêu cầu nhiều tham số hơn so với Wav2Vec2, nhưng cũng cho tỷ lệ lỗi từ được cải thiện.
Wav2Vec2-Conformer sử dụng cùng một tokenizer và feature extractor như Wav2Vec2.
Wav2Vec2-Conformer có thể sử dụng không có position embedding tương đối, position embedding kiểu Transformer-XL, hoặc rotary position embedding bằng cách đặt đúng config.position_embeddings_type.

Tài nguyên

Wav2Vec2ConformerConfig

lớp transformers.Wav2Vec2ConformerConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int | None = Nonehidden_size: int = 768num_hidden_layers: int = 12num_attention_heads: int = 12intermediate_size: int = 3072hidden_act: str = 'gelu'hidden_dropout: float | int = 0.1activation_dropout: float | int = 0.1attention_dropout: float | int = 0.1feat_proj_dropout: float | int = 0.0feat_quantizer_dropout: float | int = 0.0final_dropout: float | int = 0.1layerdrop: float | int = 0.1initializer_range: float = 0.02layer_norm_eps: float = 1e-05feat_extract_norm: str = 'group'feat_extract_activation: str = 'gelu'conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512)conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2)conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2)conv_bias: bool = Falsenum_conv_pos_embeddings: int = 128num_conv_pos_embedding_groups: int = 16apply_spec_augment: bool = Truemask_time_prob: float | int = 0.05mask_time_length: int = 10mask_time_min_masks: int = 2mask_feature_prob: float | int = 0.0mask_feature_length: int = 10mask_feature_min_masks: int = 0num_codevectors_per_group: int = 320num_codevector_groups: int = 2contrastive_logits_temperature: float = 0.1num_negatives: int = 100codevector_dim: int = 256proj_codevector_dim: int = 256diversity_loss_weight: float = 0.1ctc_loss_reduction: str = 'sum'ctc_zero_infinity: bool = Falseuse_weighted_layer_sum: bool = Falseclassifier_proj_size: int = 256tdnn_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 1500)tdnn_kernel: list[int] | tuple[int, ...] = (5, 3, 3, 1, 1)tdnn_dilation: list[int] | tuple[int, ...] = (1, 2, 3, 1, 1)xvector_output_dim: int = 512pad_token_id: int | None = 0bos_token_id: int | None = 1eos_token_id: int | list[int] | None = 2add_adapter: bool = Falseadapter_kernel_size: int = 3adapter_stride: int = 2num_adapter_layers: int = 3output_hidden_size: int | None = Noneposition_embeddings_type: str | None = 'relative'rotary_embedding_base: int = 10000max_source_positions: int = 5000conv_depthwise_kernel_size: int = 31conformer_conv_dropout: float | int = 0.1 )

Tham số

vocab_size (int, tùy chọn) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi input_ids.
hidden_size (int, tùy chọn, mặc định là 768) — Kích thước của các biểu diễn ẩn.
num_hidden_layers (int, tùy chọn, mặc định là 12) — Số lượng lớp ẩn trong bộ giải mã Transformer.
num_attention_heads (int, tùy chọn, mặc định là 12) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
intermediate_size (int, tùy chọn, mặc định là 3072) — Kích thước của các biểu diễn MLP.
hidden_act (str, tùy chọn, mặc định là gelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
hidden_dropout (Union[float, int], tùy chọn, mặc định là 0.1) — Xác suất dropout cho tất cả các lớp fully connected trong embeddings, encoder và pooler.
activation_dropout (Union[float, int], tùy chọn, mặc định là 0.1) — Tỷ lệ dropout cho các kích hoạt bên trong lớp liên kết đầy đủ.
attention_dropout (Union[float, int], tùy chọn, mặc định là 0.1) — Tỷ lệ dropout cho các xác suất chú ý.
feat_proj_dropout (float, tùy chọn, mặc định là 0.0) — Xác suất dropout cho đầu ra của bộ mã hóa đặc trưng.
feat_quantizer_dropout (float, tuỳ chọn, mặc định là 0.0) — Xác suất dropout cho đầu ra của bộ mã hóa đặc trưng được sử dụng bởi bộ lượng tử hóa.
final_dropout (float, tùy chọn, mặc định là 0.1) — Xác suất dropout cho lớp chiếu cuối cùng của Wav2Vec2ConformerForCTC.
layerdrop (Union[float, int], tùy chọn, mặc định là 0.1) — Xác suất LayerDrop. Xem [bài báo LayerDrop](xem https://huggingface.co/papers/1909.11556) để biết thêm chi tiết.
initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.
layer_norm_eps (float, tùy chọn, mặc định là 1e-05) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).
feat_extract_norm (str, tuỳ chọn, mặc định là "group") — Loại chuẩn hóa được áp dụng cho các lớp tích chập 1D trong bộ mã hóa đặc trưng. Một trong số "group" cho chuẩn hóa nhóm chỉ trên lớp tích chập 1D đầu tiên hoặc "layer" cho chuẩn hóa lớp trên tất cả các lớp tích chập 1D.
feat_extract_activation (str, optional, defaults to “gelu”) -- The non-linear activation function (function or string) in the 1D convolutional layers of the feature extractor. If string, “gelu”, “relu”, “selu”and“gelu_new”` are supported.
conv_dim (tuple[int] hoặc list[int], tuỳ chọn, mặc định là (512, 512, 512, 512, 512, 512, 512)) — Một tuple các số nguyên xác định số kênh đầu vào và đầu ra của mỗi lớp tích chập 1D trong bộ mã hóa đặc trưng. Độ dài của conv_dim xác định số lượng lớp tích chập 1D.
conv_stride (tuple[int] hoặc list[int], tuỳ chọn, mặc định là (5, 2, 2, 2, 2, 2, 2)) — Một tuple các số nguyên xác định stride của từng lớp tích chập 1D trong bộ mã hóa đặc trưng. Độ dài của conv_stride xác định số lượng lớp tích chập và phải khớp với độ dài của conv_dim.
conv_kernel (tuple[int] hoặc list[int], tuỳ chọn, mặc định là (10, 3, 3, 3, 3, 3, 3)) — Một tuple các số nguyên xác định kích thước kernel của từng lớp tích chập 1D trong bộ mã hóa đặc trưng. Độ dài của conv_kernel xác định số lượng lớp tích chập và phải khớp với độ dài của conv_dim.
conv_bias (bool, tùy chọn, mặc định là False) — Xác định xem các lớp tích chập 1D có bias hay không.
num_conv_pos_embeddings (int, tùy chọn, mặc định là 128) — Số lượng nhúng vị trí tích chập. Xác định kích thước nhân của lớp nhúng vị trí tích chập 1D.
num_conv_pos_embedding_groups (int, tùy chọn, mặc định là 16) — Số lượng nhóm của lớp nhúng vị trí tích chập 1 chiều.
apply_spec_augment (bool, tùy chọn, mặc định là True) — Liệu có áp dụng tăng cường dữ liệu SpecAugment cho đầu ra của bộ mã hóa đặc trưng hay không. Để tham khảo, xem SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition.
mask_time_prob (float, optional, defaults to 0.05) — Percentage (between 0 and 1) of all feature vectors along the time axis which will be masked. The masking procedure generates ”mask_time_problen(time_axis)/mask_time_length” independent masks over the axis. If reasoning from the probability of each feature vector to be chosen as the start of the vector span to be masked, mask_time_prob should be `prob_vector_startmask_time_length. Note that overlap may decrease the actual percentage of masked vectors. This is only relevant if apply_spec_augment is True`.
mask_time_length (int, tùy chọn, mặc định là 10) — Chiều dài của khoảng vector dọc theo trục thời gian.
mask_time_min_masks (int, tùy chọn, mặc định là 2), — Số lượng tối thiểu các mask có độ dài mask_feature_length được tạo dọc theo trục thời gian, cho mỗi bước thời gian, bất kể mask_feature_prob. Chỉ có liên quan nếu ”mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks”
mask_feature_prob (float, optional, defaults to 0.0) — Percentage (between 0 and 1) of all feature vectors along the feature axis which will be masked. The masking procedure generates ”mask_feature_problen(feature_axis)/mask_time_length” independent masks over the axis. If reasoning from the probability of each feature vector to be chosen as the start of the vector span to be masked, mask_feature_prob should be `prob_vector_startmask_feature_length. Note that overlap may decrease the actual percentage of masked vectors. This is only relevant if apply_spec_augment is True`.
mask_feature_prob (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ phần trăm (từ 0 đến 1) của tất cả các vector đặc trưng dọc theo trục đặc trưng sẽ bị che. Quy trình che tạo ra mask_feature_prob*len(feature_axis)/mask_time_length các mặt nạ độc lập trên trục. Nếu suy luận từ xác suất của mỗi vector đặc trưng được chọn làm điểm bắt đầu của khoảng vector sẽ bị che, mask_feature_prob nên là prob_vector_start*mask_feature_length. Lưu ý rằng sự chồng lấn có thể làm giảm tỷ lệ phần trăm thực tế của các vector bị che. Điều này chỉ liên quan nếu apply_spec_augment là True.
mask_feature_length (int, tùy chọn, mặc định là 10) — Chiều dài của khoảng vector dọc theo trục đặc trưng.
mask_feature_min_masks (int, tùy chọn, mặc định là 0), — Số lượng tối thiểu các mặt nạ có độ dài mask_feature_length được tạo ra dọc theo trục đặc trưng, ở mỗi bước thời gian, bất kể giá trị của mask_feature_prob. Chỉ có ý nghĩa nếu ”mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks”
num_codevectors_per_group (int, tuỳ chọn, mặc định là 320) — Số lượng mục trong mỗi sổ mã lượng tử hóa (nhóm).
num_codevectors_per_group (int, tuỳ chọn, mặc định là 320) — Số lượng mục trong mỗi sổ mã lượng tử hóa (nhóm).
num_codevector_groups (int, tùy chọn, mặc định là 2) — Số lượng nhóm codevector cho lượng tử hóa codevector tích.
contrastive_logits_temperature (float, tùy chọn, mặc định là 0.1) — Nhiệt độ kappa trong tổn thất tương phản.
num_negatives (int, tùy chọn, mặc định là 100) — Số lượng mẫu âm cho tổn thất tương phản.
codevector_dim (int, tùy chọn, mặc định là 256) — Số chiều của các vector đặc trưng đã lượng tử hóa.
proj_codevector_dim (int, tuỳ chọn, mặc định là 256) — Kích thước của phép chiếu cuối cùng cho cả đặc trưng đã lượng tử hóa và đặc trưng transformer.
diversity_loss_weight (int, tùy chọn, mặc định là 0.1) — Trọng số của thành phần tổn thất đa dạng hóa codebook.
ctc_loss_reduction (str, tùy chọn, mặc định là sum) — Chỉ định phương pháp giảm (reduction) áp dụng cho đầu ra của torch.nn.CTCLoss. Chỉ liên quan khi huấn luyện.
ctc_zero_infinity (bool, tuỳ chọn, mặc định là False) — Có nên đặt bằng 0 các loss vô hạn và các gradient liên quan của torch.nn.CTCLoss hay không. Các loss vô hạn chủ yếu xảy ra khi các đầu vào quá ngắn để có thể căn chỉnh với các target. Chỉ liên quan khi huấn luyện một instance của Wav2Vec2ConformerForCTC.
use_weighted_layer_sum (bool, tùy chọn, mặc định là False) — Có sử dụng trung bình có trọng số của đầu ra các lớp với trọng số được học hay không. Chỉ liên quan khi sử dụng một instance của Wav2Vec2ConformerForSequenceClassification.
classifier_proj_size (int, tùy chọn, mặc định là 256) — Kích thước của phép chiếu trước khi lấy trung bình token (mean-pooling) cho phân loại.
tdnn_dim (tuple[int] hoặc list[int], tùy chọn, mặc định là (512, 512, 512, 512, 1500)) — Một tuple các số nguyên xác định số lượng kênh đầu ra của mỗi lớp tích chập 1D trong module TDNN của mô hình XVector. Độ dài của tdnn_dim xác định số lượng lớp TDNN.
tdnn_kernel (tuple[int] hoặc list[int], tùy chọn, mặc định là (5, 3, 3, 1, 1)) — Một tuple các số nguyên xác định kích thước kernel của từng lớp tích chập 1D trong module TDNN của mô hình XVector. Độ dài của tdnn_kernel phải khớp với độ dài của tdnn_dim.
tdnn_dilation (tuple[int] hoặc list[int], tùy chọn, mặc định là (1, 2, 3, 1, 1)) — Một tuple các số nguyên xác định hệ số giãn nở (dilation factor) của từng lớp tích chập 1D trong module TDNN của mô hình XVector. Độ dài của tdnn_dilation phải khớp với độ dài của tdnn_dim.
xvector_output_dim (int, tùy chọn, mặc định là 512) — Kích thước của các vector nhúng XVector.
pad_token_id (int, tùy chọn, mặc định là 0) — Token id được sử dụng để đệm (padding) trong từ vựng.
bos_token_id (int, tùy chọn, mặc định là 1) — Token id được sử dụng cho beginning-of-stream trong bảng từ vựng.
eos_token_id (Union[int, list[int]], tùy chọn, mặc định là 2) — Token id được sử dụng cho end-of-stream trong bảng từ vựng.
add_adapter (bool, tuỳ chọn, mặc định là False) — Liệu có nên xếp chồng một mạng tích chập lên trên Encoder của Wav2Vec2Conformer hay không. Có thể rất hữu ích để khởi động nóng Wav2Vec2Conformer cho các mô hình SpeechEncoderDecoder.
adapter_kernel_size (int, tuỳ chọn, mặc định là 3) — Kích thước kernel của các lớp tích chập trong mạng adapter. Chỉ liên quan nếu add_adapter is True.
adapter_stride (int, tuỳ chọn, mặc định là 2) — Stride của các lớp convolution trong mạng adapter. Chỉ liên quan nếu add_adapter is True.
num_adapter_layers (int, tuỳ chọn, mặc định là 3) — Số lượng lớp tích chập cần được sử dụng trong mạng adapter. Chỉ liên quan nếu add_adapter is True.
output_hidden_size (int, tùy chọn) — Kích thước chiều của lớp đầu ra bộ mã hóa. Nếu không được định nghĩa, giá trị mặc định là hidden-size. Chỉ có liên quan nếu add_adapter is True.
position_embeddings_type (str, tùy chọn, mặc định là "relative") — Có thể được chỉ định là relative hoặc rotary cho tương ứng với vị trí tương đối hoặc vị trí quay. Nếu để None, sẽ không áp dụng nhúng vị trí tương đối.
rotary_embedding_base (int, tuỳ chọn, mặc định là 10000) — Nếu sử dụng nhúng vị trí "rotary", định nghĩa kích thước của cơ sở nhúng.
max_source_positions (int, tùy chọn, mặc định là 5000) — nếu sử dụng position embeddings "relative", định nghĩa vị trí đầu vào nguồn tối đa.
conv_depthwise_kernel_size (int, tùy chọn, mặc định là 31) — Kích thước kernel của lớp convolution depthwise 1D trong các khối Conformer.
conformer_conv_dropout (float, tùy chọn, mặc định là 0.1) — Xác suất dropout cho tất cả các lớp tích chập trong các khối Conformer.

Đây là lớp cấu hình để lưu trữ cấu hình của một Wav2Vec2 ConformerModel. Nó được sử dụng để khởi tạo một mô hình Wav2Vec2 Conformer theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của facebook/wav2vec2-conformer-rel-pos-large

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Ví dụ:

>>> from transformers import Wav2Vec2ConformerConfig, Wav2Vec2ConformerModel

>>> # Initializing a Wav2Vec2Conformer facebook/wav2vec2-conformer-rel-pos-large style configuration
>>> configuration = Wav2Vec2ConformerConfig()

>>> # Initializing a model (with random weights) from the facebook/wav2vec2-conformer-rel-pos-large style configuration
>>> model = Wav2Vec2ConformerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Đầu ra cụ thể của Wav2Vec2Conformer

lớp transformers.models.wav2vec2_conformer.modeling_wav2vec2_conformer.Wav2Vec2ConformerForPreTrainingOutput

< source >

( loss: typing.Optional[torch.Tensor] = Noneprojected_states: typing.Optional[torch.Tensor] = Noneprojected_quantized_states: typing.Optional[torch.Tensor] = Nonecodevector_perplexity: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor] | None = Noneattentions: tuple[torch.Tensor] | None = Nonecontrastive_loss: typing.Optional[torch.Tensor] = Nonediversity_loss: typing.Optional[torch.Tensor] = None )

Tham số

loss (*optional*, returned when sample_negative_indices are passed, torch.Tensor of shape (1,)) — Total loss as the sum of the contrastive loss (L_m) and the diversity loss (L_d) as stated in the official paper.
projected_states (torch.Tensor có hình dạng (batch_size, sequence_length, config.proj_codevector_dim)) — Trạng thái ẩn (hidden-states) của mô hình được chiếu (projected) lên config.proj_codevector_dim, có thể được sử dụng để dự đoán các trạng thái lượng tử hóa (quantized) đã bị che (masked) sau khi chiếu.
projected_quantized_states (torch.Tensor có hình dạng (batch_size, sequence_length, config.proj_codevector_dim)) — Các vector đặc trưng đã trích xuất và lượng tử hóa, được chiếu lên config.proj_codevector_dim, đại diện cho các vector đích dương cho tổn thất tương phản.
codevector_perplexity (torch.Tensor có hình dạng (1,)) — Độ bất ngờ (perplexity) của phân phối codevector, được dùng để đo lường tính đa dạng của codebook.
hidden_states (tuple[torch.Tensor], tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Tuple của torch.Tensor (một cho đầu ra của embeddings, nếu model có lớp embedding, + một cho đầu ra của mỗi lớp) có shape (batch_size, sequence_length, hidden_size).
Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (tuple[torch.Tensor], tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).
Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
contrastive_loss (*optional*, được trả về khi sample_negative_indices được truyền vào, torch.Tensor có hình dạng (1,)) — Mất tương phản (L_m) như được nêu trong bài báo chính thức.
diversity_loss (*optional*, được trả về khi truyền sample_negative_indices, torch.Tensor có hình dạng (1,)) — Mất đa dạng (L_d) như được nêu trong bài báo chính thức.

Loại đầu ra của Wav2Vec2ConformerForPreTraining, có thể bao gồm trạng thái ẩn và chú ý.

Wav2Vec2ConformerModel

lớp transformers.Wav2Vec2ConformerModel

< source >

( config: Wav2Vec2ConformerConfig )

Tham số

config (Wav2Vec2ConformerConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình Wav2Vec2 Conformer cơ bản, xuất ra các hidden-state thô mà không có bất kỳ head cụ thể nào ở phía trên.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< source >

( input_values: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonemask_time_indices: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Wav2Vec2BaseModelOutput or tuple(torch.Tensor)

Tham số

input_values (torch.Tensor có shape (batch_size, sequence_length), tùy chọn) — Các giá trị float của dạng sóng âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh .flac hoặc .wav vào một mảng có kiểu list[float], một numpy.ndarray hoặc một torch.Tensor, chẳng hạn thông qua thư viện torchcodec (pip install torchcodec) hoặc thư viện soundfile (pip install soundfile). Để chuẩn bị mảng thành input_values, cần sử dụng AutoProcessor để đệm (padding) và chuyển đổi thành tensor có kiểu torch.Tensor. Xem Wav2Vec2Processor.call() để biết thêm chi tiết.
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
mask_time_indices (torch.BoolTensor có shape (batch_size, sequence_length), tuỳ chọn) — Các chỉ số để mask các đặc trưng đã trích xuất cho contrastive loss. Khi ở chế độ training, model học cách dự đoán các đặc trưng đã trích xuất bị mask trong không gian config.proj_codevector_dim.

Trả về

Wav2Vec2BaseModelOutput hoặc tuple(torch.Tensor)

Một Wav2Vec2BaseModelOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Wav2Vec2ConformerConfig) và đầu vào.

Phương thức forward của Wav2Vec2ConformerModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
extract_features (torch.Tensor có hình dạng (batch_size, sequence_length, conv_dim[-1])) — Chuỗi các vector đặc trưng đã trích xuất từ lớp tích chập cuối cùng của mô hình.
hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple các torch.Tensor (một cho đầu ra của embeddings + một cho đầu ra của mỗi lớp) có shape (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với đầu ra của lớp nhúng ban đầu.
attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Wav2Vec2ConformerForCTC

lớp transformers.Wav2Vec2ConformerForCTC

< source >

( config: Wav2Vec2ConformerConfigtarget_lang: str | None = None )

Tham số

config (Wav2Vec2ConformerConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
target_lang (str, tùy chọn) — Id của ngôn ngữ cho trọng số adapter. Trọng số adapter được lưu dưới định dạng adapter..safetensors hoặc adapter..bin. Chỉ liên quan khi sử dụng một instance của UniSpeechSatForCTC với adapters. Mặc định sử dụng ‘eng’.

Mô hình Wav2Vec2Conformer với đầu language modeling phía trên cho Connectionist Temporal Classification (CTC).

forward

< source >

( input_values: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutput or tuple(torch.Tensor)

Tham số

input_values (torch.Tensor có shape (batch_size, sequence_length), tùy chọn) — Các giá trị float của dạng sóng âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh .flac hoặc .wav vào một mảng có kiểu list[float], một numpy.ndarray hoặc một torch.Tensor, chẳng hạn thông qua thư viện torchcodec (pip install torchcodec) hoặc thư viện soundfile (pip install soundfile). Để chuẩn bị mảng thành input_values, cần sử dụng AutoProcessor để đệm (padding) và chuyển đổi thành tensor có kiểu torch.Tensor. Xem Wav2Vec2Processor.call() để biết thêm chi tiết.
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
labels (torch.LongTensor có shape (batch_size, target_length), tùy chọn) — Nhãn cho phân loại thời gian kết nối (connectionist temporal classification). Lưu ý rằng target_length phải nhỏ hơn hoặc bằng chiều dài chuỗi của logits đầu ra. Các chỉ số được chọn trong [-100, 0, ..., config.vocab_size - 1]. Tất cả các nhãn được đặt thành -100 sẽ bị bỏ qua (masked), loss chỉ được tính cho các nhãn trong [0, ..., config.vocab_size - 1].

Trả về

CausalLMOutput hoặc tuple(torch.Tensor)

Một CausalLMOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Wav2Vec2ConformerConfig) và đầu vào.

Phương thức forward của Wav2Vec2ConformerForCTC ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

loss (torch.Tensor có shape (1,), tùy chọn, được trả về khi labels được cung cấp) — Loss của language modeling (cho next-token prediction).
logits (torch.Tensor có hình dạng (batch_size, sequence_length, config.vocab_size)) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token trong từ vựng trước SoftMax).
hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

>>> from transformers import AutoProcessor, Wav2Vec2ConformerForCTC
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForCTC.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...

Wav2Vec2ConformerForSequenceClassification

lớp transformers.Wav2Vec2ConformerForSequenceClassification

< source >

( config: Wav2Vec2ConformerConfig )

Tham số

config (Wav2Vec2ConformerConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình Wav2Vec2Conformer với một đầu phân loại chuỗi phía trên (một lớp tuyến tính trên đầu ra đã được gộp) cho các tác vụ như SUPERB Keyword Spotting.

forward

< source >

Tham số

input_values (torch.Tensor có shape (batch_size, sequence_length)) — Các giá trị float của waveform âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh .flac hoặc .wav vào một mảng có kiểu list[float], một numpy.ndarray hoặc một torch.Tensor, chẳng hạn thông qua thư viện torchcodec (pip install torchcodec) hoặc thư viện soundfile (pip install soundfile). Để chuẩn bị mảng thành input_values, cần sử dụng AutoProcessor để padding và chuyển đổi thành tensor có kiểu torch.Tensor. Xem Wav2Vec2ConformerProcessor.__call__ để biết chi tiết.
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
labels (torch.LongTensor có shape (batch_size,), tùy chọn) — Nhãn để tính loss cho phân loại/hồi quy chuỗi. Chỉ số phải nằm trong [0, ..., config.num_labels - 1]. Nếu config.num_labels == 1, loss hồi quy sẽ được tính (Mean-Square loss). Nếu config.num_labels > 1, loss phân loại sẽ được tính (Cross-Entropy).

Trả về

SequenceClassifierOutput hoặc tuple(torch.Tensor)

Một SequenceClassifierOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Wav2Vec2ConformerConfig) và đầu vào.

Phương thức forward của Wav2Vec2ConformerForSequenceClassification ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

loss (torch.Tensor có shape (1,), optional, được trả về khi labels được cung cấp) — Loss phân loại (hoặc hồi quy nếu config.num_labels==1).
logits (torch.Tensor có hình dạng (batch_size, config.num_labels)) — Điểm phân loại (hoặc hồi quy nếu config.num_labels==1) (trước SoftMax).
hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ về phân loại nhãn đơn:

>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2ConformerForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForSequenceClassification.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2ConformerForSequenceClassification.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...

Ví dụ về phân loại đa nhãn:

>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2ConformerForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForSequenceClassification.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2ConformerForSequenceClassification.from_pretrained(
...     "facebook/wav2vec2-conformer-rel-pos-large", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss

Wav2Vec2ConformerForAudioFrameClassification

lớp transformers.Wav2Vec2ConformerForAudioFrameClassification

< source >

( config: Wav2Vec2ConformerConfig )

Tham số

config (Wav2Vec2ConformerConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình Wav2Vec2 Conformer với một đầu phân loại khung (frame classification head) ở trên cùng cho các tác vụ như Speaker Diarization.

forward

< source >

Tham số

input_values (torch.Tensor có shape (batch_size, sequence_length)) — Các giá trị float của waveform âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh .flac hoặc .wav vào một mảng có kiểu list[float], một numpy.ndarray hoặc một torch.Tensor, chẳng hạn thông qua thư viện torchcodec (pip install torchcodec) hoặc thư viện soundfile (pip install soundfile). Để chuẩn bị mảng thành input_values, cần sử dụng AutoProcessor để padding và chuyển đổi thành tensor có kiểu torch.Tensor. Xem Wav2Vec2ConformerProcessor.__call__ để biết chi tiết.
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
labels (torch.LongTensor có shape (batch_size,), tùy chọn) — Nhãn để tính loss cho phân loại/hồi quy chuỗi. Chỉ số phải nằm trong [0, ..., config.num_labels - 1]. Nếu config.num_labels == 1, loss hồi quy sẽ được tính (Mean-Square loss). Nếu config.num_labels > 1, loss phân loại sẽ được tính (Cross-Entropy).

Trả về

TokenClassifierOutput hoặc tuple(torch.Tensor)

Một TokenClassifierOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Wav2Vec2ConformerConfig) và đầu vào.

Phương thức forward của Wav2Vec2ConformerForAudioFrameClassification ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

loss (torch.Tensor có shape (1,), tuỳ chọn, được trả về khi labels được cung cấp) — Loss phân loại.
logits (torch.Tensor có hình dạng (batch_size, sequence_length, config.num_labels)) — Điểm phân loại (trước SoftMax).
hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

>>> from transformers import AutoFeatureExtractor, Wav2Vec2ConformerForAudioFrameClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForAudioFrameClassification.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate)
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> probabilities = torch.sigmoid(logits[0])
>>> # labels is a one-hot array of shape (num_frames, num_speakers)
>>> labels = (probabilities > 0.5).long()
>>> labels[0].tolist()
...

Wav2Vec2ConformerForXVector

lớp transformers.Wav2Vec2ConformerForXVector

< source >

( config: Wav2Vec2ConformerConfig )

Tham số

config (Wav2Vec2ConformerConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình Wav2Vec2Conformer với đầu trích xuất đặc trưng XVector phía trên cho các tác vụ như Xác minh người nói.

forward

< source >

Tham số

input_values (torch.Tensor có shape (batch_size, sequence_length)) — Các giá trị float của waveform âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh .flac hoặc .wav vào một mảng có kiểu list[float], một numpy.ndarray hoặc một torch.Tensor, chẳng hạn thông qua thư viện torchcodec (pip install torchcodec) hoặc thư viện soundfile (pip install soundfile). Để chuẩn bị mảng thành input_values, cần sử dụng AutoProcessor để padding và chuyển đổi thành tensor có kiểu torch.Tensor. Xem Wav2Vec2ConformerProcessor.__call__ để biết chi tiết.
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
labels (torch.LongTensor có shape (batch_size,), tùy chọn) — Nhãn để tính loss cho phân loại/hồi quy chuỗi. Chỉ số phải nằm trong [0, ..., config.num_labels - 1]. Nếu config.num_labels == 1, loss hồi quy sẽ được tính (Mean-Square loss). Nếu config.num_labels > 1, loss phân loại sẽ được tính (Cross-Entropy).

Trả về

XVectorOutput hoặc tuple(torch.Tensor)

Một XVectorOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Wav2Vec2ConformerConfig) và đầu vào.

Phương thức forward của Wav2Vec2ConformerForXVector ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

loss (torch.Tensor có shape (1,), tuỳ chọn, được trả về khi labels được cung cấp) — Loss phân loại.
logits (torch.Tensor có hình dạng (batch_size, config.xvector_output_dim)) — Trạng thái ẩn phân loại trước AMSoftmax.
embeddings (torch.Tensor có hình dạng (batch_size, config.xvector_output_dim)) — Các embedding của câu nói được sử dụng cho việc truy xuất dựa trên độ tương tự vector.
hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple các torch.Tensor (một cho đầu ra của embeddings + một cho đầu ra của mỗi lớp) có shape (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với đầu ra của lớp nhúng ban đầu.
attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

>>> from transformers import AutoFeatureExtractor, Wav2Vec2ConformerForXVector
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")
>>> model = Wav2Vec2ConformerForXVector.from_pretrained("facebook/wav2vec2-conformer-rel-pos-large")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(
...     [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True
... )
>>> with torch.no_grad():
...     embeddings = model(**inputs).embeddings

>>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu()

>>> # the resulting embeddings can be used for cosine similarity-based retrieval
>>> cosine_sim = torch.nn.CosineSimilarity(dim=-1)
>>> similarity = cosine_sim(embeddings[0], embeddings[1])
>>> threshold = 0.7  # the optimal threshold is dataset-dependent
>>> if similarity < threshold:
...     print("Speakers are not the same!")
>>> round(similarity.item(), 2)
...

Wav2Vec2ConformerForPreTraining

lớp transformers.Wav2Vec2ConformerForPreTraining

< source >

( config: Wav2Vec2ConformerConfig )

Tham số

config (Wav2Vec2ConformerConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình Wav2Vec2Conformer với một bộ lượng tử hóa và đầu VQ phía trên.

forward

< source >

( input_values: typing.Optional[torch.Tensor]attention_mask: typing.Optional[torch.Tensor] = Nonemask_time_indices: typing.Optional[torch.BoolTensor] = Nonesampled_negative_indices: typing.Optional[torch.BoolTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Wav2Vec2ConformerForPreTrainingOutput or tuple(torch.Tensor)

Tham số

input_values (torch.Tensor có shape (batch_size, sequence_length), tùy chọn) — Các giá trị float của dạng sóng âm thanh thô đầu vào. Các giá trị này có thể được lấy bằng cách nạp tệp âm thanh .flac hoặc .wav vào một mảng có kiểu list[float], một numpy.ndarray hoặc một torch.Tensor, chẳng hạn thông qua thư viện torchcodec (pip install torchcodec) hoặc thư viện soundfile (pip install soundfile). Để chuẩn bị mảng thành input_values, cần sử dụng AutoProcessor để đệm (padding) và chuyển đổi thành tensor có kiểu torch.Tensor. Xem Wav2Vec2Processor.call() để biết thêm chi tiết.
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
mask_time_indices (torch.BoolTensor có shape (batch_size, sequence_length), tuỳ chọn) — Các chỉ số để mask các đặc trưng đã trích xuất cho contrastive loss. Khi ở chế độ training, model học cách dự đoán các đặc trưng đã trích xuất bị mask trong không gian config.proj_codevector_dim.
sampled_negative_indices (torch.BoolTensor có hình dạng (batch_size, sequence_length, num_negatives), tùy chọn) — Các chỉ số cho biết vector đích đã lượng tử hóa nào được sử dụng làm vector âm được lấy mẫu trong tổn thất tương phản. Là đầu vào bắt buộc cho quá trình tiền huấn luyện.

Trả về

Wav2Vec2ConformerForPreTrainingOutput hoặc tuple(torch.Tensor)

Một Wav2Vec2ConformerForPreTrainingOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (Wav2Vec2ConformerConfig) và đầu vào.

Phương thức forward của Wav2Vec2ConformerForPreTraining ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

loss (*optional*, được trả về khi sample_negative_indices được truyền vào, torch.Tensor có hình dạng (1,)) — Tổng loss là tổng của contrastive loss (L_m) và diversity loss (L_d) như đã nêu trong bài báo chính thức.
projected_states (torch.Tensor có hình dạng (batch_size, sequence_length, config.proj_codevector_dim)) — Các hidden-states của mô hình được chiếu lên config.proj_codevector_dim, có thể được sử dụng để dự đoán các trạng thái lượng tử hóa bị che khuất đã được chiếu.
projected_quantized_states (torch.Tensor có hình dạng (batch_size, sequence_length, config.proj_codevector_dim)) — Các vector đặc trưng trích xuất đã lượng tử hóa, được chiếu lên config.proj_codevector_dim, đại diện cho các vector đích dương cho tổn thất tương phản.
codevector_perplexity (torch.Tensor có hình dạng (1,)) — Độ perplexity của phân phối codevector, được sử dụng để đo lường tính đa dạng của codebook.
hidden_states (tuple[torch.Tensor], tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (tuple[torch.Tensor], tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
contrastive_loss (*optional*, được trả về khi truyền sample_negative_indices, torch.Tensor có hình dạng (1,)) — Mất tương phản (L_m) như được nêu trong bài báo chính thức.
diversity_loss (*optional*, được trả về khi truyền sample_negative_indices, torch.Tensor có hình dạng (1,)) — Mất đa dạng (L_d) như được nêu trong bài báo chính thức.

Ví dụ:

>>> import torch
>>> from transformers import AutoFeatureExtractor, Wav2Vec2ConformerForPreTraining
>>> from transformers.models.wav2vec2_conformer.modeling_wav2vec2_conformer import _compute_mask_indices, _sample_negative_indices
>>> from datasets import load_dataset

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2_conformer-base")
>>> model = Wav2Vec2ConformerForPreTraining.from_pretrained("facebook/wav2vec2_conformer-base")

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> input_values = feature_extractor(ds[0]["audio"]["array"], return_tensors="pt").input_values  # Batch size 1

>>> # compute masked indices
>>> batch_size, raw_sequence_length = input_values.shape
>>> sequence_length = model._get_feat_extract_output_lengths(raw_sequence_length).item()
>>> mask_time_indices = _compute_mask_indices(
...     shape=(batch_size, sequence_length), mask_prob=0.2, mask_length=2
... )
>>> sampled_negative_indices = _sample_negative_indices(
...     features_shape=(batch_size, sequence_length),
...     num_negatives=model.config.num_negatives,
...     mask_time_indices=mask_time_indices,
... )
>>> mask_time_indices = torch.tensor(data=mask_time_indices, device=input_values.device, dtype=torch.long)
>>> sampled_negative_indices = torch.tensor(
...     data=sampled_negative_indices, device=input_values.device, dtype=torch.long
... )

>>> with torch.no_grad():
...     outputs = model(input_values, mask_time_indices=mask_time_indices)

>>> # compute cosine similarity between predicted (=projected_states) and target (=projected_quantized_states)
>>> cosine_sim = torch.cosine_similarity(outputs.projected_states, outputs.projected_quantized_states, dim=-1)

>>> # show that cosine similarity is much higher than random
>>> cosine_sim[mask_time_indices.to(torch.bool)].mean() > 0.5
tensor(True)

>>> # for contrastive loss training model should be put into train mode
>>> model = model.train()
>>> loss = model(
...     input_values, mask_time_indices=mask_time_indices, sampled_negative_indices=sampled_negative_indices
... ).loss

Update on GitHub

←Wav2Vec2-BERT Wav2Vec2Phoneme→