에코프로.AI

지난 몇 섹션에서는 대부분의 작업을 수작업으로 수행하는 방법으로 실습을 진행했습니다.  tokenizers 의 작동 방식을 살펴보고 토큰화( tokenization ), input IDs 로의 변환, 패딩( padding ), 잘림( truncation )및 주의 마스크( attention masks )에 대해 살펴봤습니다. 그러나 섹션 2에서 살펴본 것처럼 🤗 트랜스포머 API는 이 모든 것을 높은 수준의 함수를 통해 처리할 수 있으며, 여기서 자세히 살펴볼 것입니다. 문장에서 토큰화 도구를 직접 호출하면 모델을 통과할 준비가 된 입력을 반환받습니다:from transformers import AutoTokenizercheckpoint = "distilbert-base-uncased-finetuned..

이전 섹션에서는 가장 간단한 사용 사례인 짧은 길이의 단일 시퀀스에 대해 추론을 수행하는 방법을 살펴보았습니다. 하지만 이미 몇 가지 의문이 생겼습니다:여러 개의 시퀀스를 어떻게 처리하나요?길이가 다른 여러 시퀀스를 어떻게 처리하나요 ?어휘 색인이 모델이 잘 작동하는 데 필요한 유일한 입력일까요?시퀀스가 너무 길다는 게 있을까?이러한 질문이 어떤 종류의 문제를 제기하는지 살펴보고, 🤗 Transformers API를 사용하여 이러한 문제를 어떻게 해결할 수 있는지 알아보겠습니다. 모델은 일괄 입력을 예상합니다.이전 연습에서 시퀀스가 ​​숫자 목록으로 변환되는 방식을 살펴보았습니다. 이 숫자 목록을 텐서로 변환하여 모델로 보내 보겠습니다.import torchfrom transformers import ..

Tokenizers 는 NLP 파이프라인의 핵심 구성 요소 중 하나입니다. Tokenizers 는 텍스트를 모델에서 처리할 수 있는 데이터로 변환하는 한 가지 용도로 사용됩니다. 모델은 숫자만 처리할 수 있으므로 Tokenizers 는 텍스트 입력을 숫자 데이터로 변환해야 합니다. 이 섹션에서는 토큰화 파이프라인에서 정확히 어떤 일이 일어나는지 살펴보겠습니다. NLP 작업에서 일반적으로 처리되는 데이터는 원시 텍스트입니다. 다음은 이러한 텍스트의 예입니다:Jim Henson was a puppeteer 하지만 모델은 숫자만 처리할 수 있으므로 원시 텍스트를 숫자로 변환하는 방법을 찾아야 합니다. 이것이 바로 토큰화 도구가 하는 일이며, 이를 수행하는 방법에는 여러 가지가 있습니다. 목표는 가장 의미 있는..

이 섹션에서는 모델을 만들고 사용하는 방법을 자세히 살펴보겠습니다. 체크포인트에서 모델을 인스턴스화할 때 유용한 AutoModel 클래스를 사용하겠습니다. AutoModel 클래스와 그 모든 관계된 클래스는 사실 라이브러리에서 사용할 수 있는 다양한 모델에 대한 간단한 래퍼입니다. 체크포인트에 적합한 모델 아키텍처를 자동으로 추측한 다음 이 아키텍처로 모델을 인스턴스화할 수 있으므로 영리한 래퍼입니다.그러나 사용하려는 모델 유형을 알고 있다면 해당 아키텍처를 정의하는 클래스를 직접 사용할 수 있습니다. BERT 모델에서 이것이 어떻게 작동하는지 살펴보겠습니다.구현환경IDE : vscodeLanguage : Python가상환경 생성라이브러리 설치 (torch 를 사용하는, transformers 라이브러리..

HuggingFace의 pipeline() 함수를 실행 시, 내부적으로 어떤 절차로 처리가 되는지 확인 합니다. 전체 예제부터 시작하여 다음 코드를 실행했을 때 백그라운드에서 어떤 일이 발생했는지 살펴보겠습니다.from transformers import pipelineclassifier = pipeline("sentiment-analysis")classifier( [ "I've been waiting for a HuggingFace course my whole life.", "I hate this so much!", ])처리결과[{'label': 'POSITIVE', 'score': 0.9598047137260437}, {'label': 'NEGATIVE', 'sco..