에코프로.AI

라이브러리 임포트import osimport timeimport pandas as pdimport chardet 파일 경로 설정file_path = 'G:/내 드라이브/DataSet/_최종 병합 파일/서울특별시 공공자전거 대여소별 이용정보(시간대별)/서울특별시 공공자전거 대여소별 이용정보(시간대별)_2020.csv' 파일의 Encoding 확인def Get_ExcelEncoding(file_path): with open(file_path, 'rb') as f: result = chardet.detect(f.read(10000)) encoding = result['encoding'] return encoding대용량 Excel - csv파일을 처리하는 방법에는 아래와 같..

데이터 분석관련 - 동일한 데이터가 년별,월별,일별 로 엑셀파일이 나눠져 있는 경우,하나의 파일로 합치는 작업관련하여, 파이썬 코드를 만들었습니다. 라이브러리 임포트import osimport pandas as pd 기본경로 설정path_dateset = 'G:/내 드라이브/DataSet/' 확장자 가져오기 (Ex) .csv, .xlsx- 2개의 확장자(csv, xlsx) 별로 파이썬 호출 함수가 달라서, 구분관련하여 확장자를 가져오는 함수 구현def extract_extension(file_path): _, file_extension = os.path.splitext(file_path) return file_extensionextract_extension('G:/내 드라이브/DataSet/서..

tensorflow의 efficientdet 모델의 "TensorFlow Lite" 버전을 아래의 kaggle 링크에서 다운로드 받습니다.https://www.kaggle.com/models/tensorflow/efficientdet/tfLite colab 마운트from google.colab import drivedrive.mount('/content/drive')# 나의 루트 경로 설정rootdir = '/content/drive/MyDrive/Colab Notebooks/'모델 불러오기import tensorflow as tfm_path = 'pretrained_models/lite-model_efficientdet_lite0_detection_default_1.tflite'interpreter =..

참고자료 : 네이버 영화 리뷰 감성 분류하기참고사이트 : https://wikidocs.net/44249이번에 사용할 데이터는 네이버 영화 리뷰 데이터입니다. 총 200,000개 리뷰로 구성된 데이터로 영화 리뷰에 대한 텍스트와 해당 리뷰가 긍정인 경우 1, 부정인 경우 0을 표시한 레이블로 구성되어져 있습니다. 해당 데이터를 다운로드 받아 감성 분류를 수행하는 모델을 만들어보겠습니다. 데이터 불러오기import pickleimport pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport reimport urllib.request!pip install konlpyfrom konlpy.tag import Oktfrom tqdm import..

텍스트 마이닝(Text Mining) 이란?텍스트 마이닝은 정형 및 비정형 데이터를 자연어 처리방식(Natural Language Processing)과 문서처리방법을 적용하여, 유용한 정보를 추출하여 가공하는 것을 목적으로 하는 기술입니다.텍스트 마이닝은 데이터로부터 유용한 인사이트를 발굴하는 데이터 마이닝(Data Mining), 언어를 정보로 변환하기 위한 자연어처리, 정보검색 등 다양한 분유가 접목되어 발전한 학문, 기술입니다. 텍스트 마이닝 - 사례지식 경영 (Knowledge management)많은 양의 데이터 중, 의미있는 데이터만 뽑아내고 효율적으로 관리할 수 있다.사이버 범죄 예방 (Cybercrime prevention)텍스트 마이닝을 이용한 범죄 예방 어플리케이션 등고객 관리 서비스..

전이학습 이란?전이학습은 한 작업에 대해 훈련된 모델을 사용해 유사한 작업을 수행하는 모델의 기초로 활용하는 딥러닝 접근법입니다. 전이학습을 통해 신경망을 업데이트하고 재훈련시키는 것이 처음부터 신경망을 훈련시키는 것보다 빠르며 쉽습니다.전이학습은 영상분류, 객체검출, 음성인식 및 기타응용사례에서 사용됩니다.이미 대규모 데이터셋으로 훈련된 널리 쓰이는 모델을 재사용함으로써 더 적은 레이블 지정 데이터로 모델을 훈련시킬 수 있습니다.이를 통해 훈련 시간과 연산 리소스를 줄일 수 있습니다.전이 학습을 사용하면 사전 훈련된 모델이 이전 학습을 기반으로 이미 가중치를 학습했기 때문에 신경망 가중치를 처음부터 학습하지 않습니다.GoogLeNet 및 YOLO와 같이 널리 사용되는 아키텍처 등 딥러닝 연구 커뮤니티에..

오토인코더(AutoEncoder) 란?오토인코더는 입력데이터를 주요 특징으로 효율적으로 압축(인코딩) 한 후, 이 압축된 표현에서 원본 입력을 재구성(디코딩) 하도록 설계된 일종의 신경망 아키텍처 입니다.대부분의 오토인코더 유형은 데이터압축, 이미지 노이즈 제거, 이상감지 및 안면인식 과 같은 특징 추출과 관련된 인공지능 작업에 사용됩니다.변이형 오토인코더(VAE) 및 적대적 오토인코더(AAE)와 같은 특정 유형의 오토인코더는 이미지 생성 또는 시계열 데이터 생성과 같은 생성 작업에 사용할 수 있도록 오토인코더 아키텍처를 적용합니다.오토인코더는 레이블이 지정된 훈련 데이터에 의존하지 않기 때문에 지도 학습 방법으로 간주되지 않습니다.레이블이 지정되지 않은 데이터에서 숨겨된 패턴을 발견하도록 훈련됩니다.그..

[머신러닝] RNN(Recurrent Neural Network)RNN 이란?RNN(Recurrent Neural Networks)은 순차적 데이터를 분석하기 위한 딥러닝 모델입니다. DNN(Deep Neural Network)은 은닉층 내 노드간에 연결이 안되어 있지만, RNN은 은닉층 내 노드를 연결하여, 이전 스www.ecopro.ai 구현관련 설명전체 7자리인 "hihello" 문자열의, 앞 6자리를 독립변수(x_data)로 뒤 6자리를 종속변수(y_data)로  RNN 모델링을 하여, 입력한 문자 다음 문자를 예측하는 모델을 구현Ex)입력 → 출력  'h'  →  'i'  'i'   →  'h'  'h'  →  'e'  'e'  →  'l'  'l'   →  'l'  'l'   →  'o'RNN..

Tensorflow의 CNN(Convolution Neural Network) 모델을 이용해서, 강아지,고양이 이미지를 학습 후, 분류하는 모델을 만들어 보겠습니다.기본설정파이썬 기본라이브러리 불러오기import pandas as pdimport numpy as npimport matplotlib.pyplot as plt구글 드라이브 연동colab에서 작성되었으며, 이미지는 구글드라이브에서 가져와서 학습한다.# 구글 드라이브 마운트from google.colab import drivedrive.mount('/content/drive')# 나의 루트 경로 설정rootdir = '/content/drive/MyDrive/Colab Notebooks/ML' 독립변수(x_data), 종속변수(y_data) 불러..

RNN 이란?RNN(Recurrent Neural Networks)은 순차적 데이터를 분석하기 위한 딥러닝 모델입니다. DNN(Deep Neural Network)은 은닉층 내 노드간에 연결이 안되어 있지만, RNN은 은닉층 내 노드를 연결하여, 이전 스텝의 정보를 은닉층 노드에 담을수 있도록 구성했습니다.순서가 있는 순차적 데이터란 문장이나 음성같은 연속적인 데이터를 말하는데, 이러한 데이터는 위치(순서)에 따라 의미가 달라지는 것을 말합니다. 즉 현재 데이터의 의미를 알기 위해서는 이전의 과거 데이터도 알고 있어야 합니다.자연어처리, 음성인식, 기계번역, 주가예측 등의 분야에 많이 사용됩니다.RNN은 은닉층 내의 순환구조를 이용하여, 과거의 데이터를 기억하여 새롭게 입력되는 데이터와 과거 데이터를 연..