에코프로.AI

https://notebooklm.google/ 1. 노트북 LM(Notebook LM)이란?노트북 LM은 Google DeepMind가 만든 AI 기반 지식 보조 도구야.LM은 "Language Model"의 약자고, 여기서 "노트북"이라는 이름이 붙은 이유는, 사용자가 정리해 놓은 문서나 자료(노트북처럼 모아놓은) 를 기반으로, AI가 스스로 그 내용을 이해하고 질문에 답하거나 요약을 해주기 때문이야.즉 요약하면:"내가 올린 문서 기반으로 똑똑하게 대화하거나, 정리하거나, 분석을 도와주는 AI"2. 노트북 LM의 주요 특징특징설명문서 기반 학습사용자가 업로드한 문서(텍스트, 논문, 슬라이드 등)를 AI가 읽고 이해해컨텍스트 유지업로드된 자료 전체를 기억하고, 그 문맥 안에서 질문을 이해하고 답변해요약..

https://docs.n8n.io/learning-path/ Learning path | n8n DocsUsing n8n Getting started Learning path This guide outlines a series of tutorials and resources designed to get you started with n8n. It's not necessary to complete all items listed to start using n8n. Use this as a reference to navigate to the most relevadocs.n8n.io https://autotask.kr/category/n8n%20%EC%9D%B4%EC%95%BC%EA%B8%B0 [참고사이트]..

1. CURSOR AI 정의CURSOR AI(커서 AI)는 인공지능(AI) 기술이 통합된 차세대 코드 편집기입니다. Visual Studio Code(VS Code)를 기반으로 개발되었으며, OpenAI의 ChatGPT, Anthropic Claude 등 최신 대형 언어 모델(LLM)을 직접 에디터에 통합해 코드 자동 완성, 자연어 코드 생성, 실시간 오류 감지 및 수정, 코드 리뷰, 문서화 등 개발 전 과정을 AI가 보조하는 혁신적인 개발 도구입니다. 단순한 코드 편집기를 넘어, 개발자의 의도를 이해하고 생산성을 극대화하는 AI 페어 프로그래머 역할을 합니다 2. CURSOR AI 특징주요 특징설명AI 기반 코드 자동완성문맥을 이해해 여러 줄의 코드를 한 번에 자동 완성하고, 반복 코드나 패턴을 빠르게..

실제 세계에서 빅데이터 분석, 데이터 과학 및 머신 러닝(ML) 애플리케이션을 배포하기 위해 분석 튜닝 및 모델 학습은 작업의 약 25%에 불과합니다. 약 50%의 노력은 분석 및 ML을 위해 데이터를 준비하는 데 사용됩니다. 나머지 25%의 노력은 통찰력과 모델 추론을 대규모로 쉽게 사용할 수 있도록 만드는 데 사용됩니다. 빅데이터 파이프라인은 이 모든 것을 하나로 모읍니다.  장기적인 성공은 데이터 파이프라인을 올바르게 만드는 데 달려 있습니다. 데이터 파이프라인의 바람직한 엔지니어링 특성은 다음과 같습니다.접근성: 가설 평가 및 모델 실험을 위해 데이터 과학자가 데이터에 쉽게 접근할 수 있어야 하며, 이는 바람직하게는 쿼리 언어를 통해 가능합니다.확장성: 수집된 데이터 양이 늘어나도 그에 맞춰 확장..

데이터 파이프라인(Data Pipeline) 이란?데이터 파이프라인은 데이터를 수집, 가공, 저장, 분석 가능한 형태로 전달하는 과정을 자동화하는 기술적 접근방식입니다. 이 과정은 비즈니스 의사 결정, 머신러닝 모델의 학습, 데이터 제품의 개발 등 다양한 용도로 사용되는 데이터의 질과 가용성을 보장합니다. 따라서, 데이터 엔지니어링과 데이터 파이프라인 구축은 기업이 데이터를 자산으로 전환하여 경쟁력을 높이는 데 필수적인 과정입니다.  데이터 파이프라인 구축의 핵심 원칙데이터 파이프라인을 구축할 때 몇 가지 핵심 원칙을 고려해야 합니다. 왜냐하면 이러한 원칙은 데이터 파이프라인의 효율성과 신뢰도를 높이는 데 도움이 되기 때문입니다. 첫째, 데이터 파이프라인은 가능한 한 자동화되어야 합니다. 자동화는 반복적..

클라우드 컴퓨팅 플랫폼의 빅3클라우드 컴퓨팅은 조직이 디지털 운영을 처리하는 방식에 혁명을 일으켰습니다. Amazon Web Services(AWS), Microsoft Azure, Google Cloud Platform(GCP)은 전 세계 클라우드 시장을 지배하는 3대 클라우드 서비스 제공업체 입니다.대부분의 기업은 온사이트 서버에서 클라우드, 심지어 멀티 클라우드 환경 으로 컴퓨팅을 이전하여 다음과 같은 기능의 이점을 누릴 수 있습니다.CapEx 감소인프라 유지 관리 감소가용성 및 안정성 향상주문형 리소스의 확장성운영 비용 절감원격 액세스 및 원활한 협업다양한 장치 지원속도와 성능을 위한 최적화된 인프라강화된 보안최신 기술에 대한 접근 빅3 클라우드 컴퓨팅 제공업체는 모두 신뢰할 수 있고 기능이 풍부..

2013년부터 인기가 폭발적으로 치솟은 데이터 사이언스 분야는 점차 발전하며 구체적인 역할과 직업으로 세분화되고 있다. 하지만 그 과정에서 직업마다 일관성 없는 역할이 주어졌고, 어쩔 수 없는 혼란을 가져왔다. 예를 들어, 다양한 직업이 똑같은 역할을 수행하는 경우도 있고, 한 직업이 다양한 역할을 수행하는 경우도 있다:1. 데이터 사이언티스트필요 역량데이터 분석에 대한 기본 통계학과 수학적 지식 머신러닝과 딥러닝 모델 개별 경험 데이터 시각화 및 인사이트 발굴 능력추천 기술SQL, 파이썬, R, 머신러닝 알고리즘 업무상세데이터 사이언티스트는 다양한 데이터를 수집, 전처리, 시각화하고 이를 통해 비즈니스에 가치를 창출하는 역할을 수행합니다. 다시 말해, 이들은 비즈니스에서 표면적으로 드러나지 않는 문제를..

A full training 이제 트레이너 클래스를 사용하지 않고 지난 섹션에서 했던 것과 동일한 결과를 얻는 방법을 살펴보겠습니다. 다시 한 번, 섹션 2에서 데이터 처리를 완료했다고 가정합니다. 다음은 필요한 모든 사항을 간략하게 요약한 것입니다.from datasets import load_datasetfrom transformers import AutoTokenizer, DataCollatorWithPaddingraw_datasets = load_dataset("glue", "mrpc")checkpoint = "bert-base-uncased"tokenizer = AutoTokenizer.from_pretrained(checkpoint)def tokenize_function(example): ..

CUDA를 설치하지 않으셨으면 아래의 링크를 통해서 선행 설치해야 진행가능합니다.[CUDA] 1. 소개 및 설치 for windows(Feat. GTX 1650) Check GPUGPU 가용성 확인GPU에 액세스할 수 있는지 확인하는 가장 쉬운 방법은 torch.cuda.is_available()을 호출하는 것입니다. True를 반환하면 시스템에 torch버전에 맞는 CUDA가 올바르게 설치되어 있다는 뜻입니다.import torchtorch.cuda.is_available() 현재 선택한 디바이스의 인덱스를 가져옵니다. torch.cuda.current_device() 사용 가능한 GPU 수를 확인합니다.torch.cuda.device_count() 디바이스 이름을 가져옵니다.torch.cuda.get..

Fine-tuning a model with the Trainer API (Trainer API 로 모델 미세 조정하기) 🤗 트랜스포머는 데이터 세트에 대해 미리 학습된 모델을 미세 조정할 수 있도록 Trainer(트레이너) 클래스를 제공합니다. 마지막 섹션에서 모든 데이터 전처리 작업을 완료했다면 이제 트레이너를 정의하는 몇 단계만 남았습니다. 가장 어려운 부분은 CPU에서 매우 느리게 실행되므로 Trainer.train()을 실행할 환경을 준비하는 것입니다. GPU가 설정되어 있지 않은 경우 Google Colab에서 무료 GPU 또는 TPU에 액세스할 수 있습니다. 아래 코드 예제는 이전 섹션의 예제를 이미 실행한 것으로 가정합니다. 다음은 필요한 사항을 간략하게 요약한 것입니다:from data..