에코프로.AI

멜론차트 TOP100 - 크롤링 예제멜론차트 TOP100 리스트 가져오기링크정보 : https://www.melon.com/chart/index.htm사이트 전체 HTML 정보 가져오기import requestsurl = 'https://www.melon.com/chart/index.htm'header = { 'User-Agent' : 'Mozilla/5.0', 'Referer' : url}response = requests.get(url, headers=header)result = response.text BeautifulSoup 객체로 변환from bs4 import BeautifulSoupsoup = BeautifulSoup(result, 'html.parser')print(soup.pr..

다음뉴스다음뉴스의 뉴스리스트 가져오기링크정보 : https://news.daum.net사이트 전체 정보 가져오기import requestsurl = 'https://news.daum.net/'response = requests.get(url)if response.status_code == 200: result = response.text print(result)else: print('Failed : ', response.status_code)BeautifulSoup 객체로 변환from bs4 import BeautifulSoupsoup = BeautifulSoup(result, 'html.parser')print(soup.prettify())뉴스의 리스트 가져오기검색 된 태그 안에 뉴스..

html, css 등 관련 내용을 기 학습 하시려면, 아래의 링크를 클릭하시기 바랍니다.[참고사이트] HTML, CSS, XML, JSON  BeautifulSoup 라이브러리웹 페이지에서 정보를 쉽게 스크래핑하는 라이브러리HTML 뿐만 아니라, XML파일 파싱도 쉽게 수행하는 라이브러리구문 분석 트리를 사용하여, HTML 및 XML 파일을 탐색하고 검색하는 기능 제공공식문서https://www.crummy.com/software/BeautifulSoup/bs4/doc/#quick-start주요 특징HTML / XML 파싱쉽고 직관적인 API다양한 파서 지원 (html.parser, lxml, xml 등)설치 pip install beautifulSoup4 pip install bs4 xml pars..

Requests 라이브러리파이썬에서  HTTP요청을 보내기 위해 널리 사용되는 라이브러리간단하고 직관적인 인터페이스 제공하여, GET, POST, PUT, DELETE  등의 HTTP메소드 사용이 용이함.주요 특징간단한 HTTP요청/응답 처리다양한 HTTP 메소드 지원 (GET / POST / PUT / DELETE 등)요청 매개변수와 헤더 설정JSON 데이터 자동 파싱타임아웃 및 예외처리 기능라이브러리 설치pip install requestsRequests 기본 사용법GET 요청 보내기서버에 데이터를 요청할 때, get() 함수 사용공공데이터 API를 통한 xml 데이터 처리requests 라이브러리 사용 선언import requests공공데이터 실습공공데이터 포털URL : https://www.dat..

Requests 라이브러리파이썬에서  HTTP요청을 보내기 위해 널리 사용되는 라이브러리간단하고 직관적인 인터페이스 제공하여, GET, POST, PUT, DELETE  등의 HTTP메소드 사용이 용이함.주요 특징간단한 HTTP요청/응답 처리다양한 HTTP 메소드 지원 (GET / POST / PUT / DELETE 등)요청 매개변수와 헤더 설정JSON 데이터 자동 파싱타임아웃 및 예외처리 기능라이브러리 설치pip install requestsRequests 기본 사용법GET 요청 보내기서버에 데이터를 요청할 때, get() 함수 사용json 데이터 변환시, json() 함수result = response.json()print(result)DataFrame 생성import pandas as pdissue..

XML 데이터 XML이란?XML(eXtensible Markup Language)는 데이터를 구조화하고 저장하기 위한 마크업 언어데이터 교환에 대한 표준HTML과 유사하지만, 데이터의 표현에 중점을 두고 있음특징유연성사용자 정의 태그를 사용하여 데이터를 표현할 수 있음가독성사람이 읽고 쓸 수 있는 형태로 데이터를 표현데이터 교환다양한 시스템 간에 데이터 교환을 용이하게 함XML의 구조와 문법XML의 주요 요소루트 엘리먼트 : 모든 XML 문서에는 단 하나의 루트 앨리먼트가 있어야 함.자식 엘리먼트 : 루트 엘리먼트 내에 포함된 엘리먼트텍스트 노드 : 엘리먼트 내의 텍스트XML 데이터 읽기/쓰기sample.xml홍길동서울 강남구고길동서울 강북구김길동서울 서초구파이썬 표준 라이브러리 xml 모듈import ..

JSON이란?JavaScrip Object Notation 의 약자데이터를 저장하고 전송하기 위해 사용하는 경량 데이터 교환 포맷텍스트 기반으로 사람이 읽고 쓸수 있으며, 기계가 분석하고 생성할 수 있음JSON의 특징간결성가독성이 좋고, 구조가 간결하여 데이터를 쉽게 이해할 수 있음가독성사람과 기계 모두가 읽고 쓰기 쉽게 설계되어 있음유연성객체와 배열을 사용하여 복잡한 데이터 구조를 쉽게 표현할 수 있음호환성대부분의 프로그래밍 언어에서 JSON을 쉽게 파싱하고 생성할 수 있는 라이브러리를 제공함.JSON의 기본구조키-값 쌍으로 데이터를 표현화며, 중첩된 구조를 가질 수 있음주요 요소JSON 객체중괄호 '{}'로 감싸고, 키-값 쌍으로 구성{ "name" : "John", "age" : 30}JSON ..

GitHub란?분산 버전 관리 툴인 Git을 관리해주는 웹 호스팅 서비스가 바로 GitHub 입니다. 2008년에 설립되어 2018년도에 MS가 인수하였을 만큼 유명하고 범용적으로 사용되는 서비스입니다.일단 GitHub(깃허브)를 이해하려면, Git(깃) 이라는 프로그램을 알아야합니다. Git은 버전관리도구 중 가장 선호도가 높은 프로그램입니다. Git은 로컬저장소(내 컴퓨터)와 원격 저장소(서버 컴퓨터)로 나뉩니다. 내 컴퓨터에서 작성한 프로젝트를 원격 저장소에 저장해두고, 만약 내 컴퓨터의 프로젝트가 손상되거나 다른 컴퓨터에서 코드를 가져오고 싶을 때는 원격저장소에서 바로 가져올 수 있습니다. 이때, 코드 뿐만 아니라 코드의 변경 내역까지 모두 가져올 수 있기 때문에 Git이 "버전관리도구"라고 불립..

KNN(K-최근접 이웃) 소개KNN(K-최근접 이웃)은 거리 기반 모델입니다. 즉 각 데이터 간의 거리를 활용해서 새로운 데이터를 예측하는 모델입니다.이때 가까이에 있는 데이터를 고려하여 예측값이 결정됩니다.K Nearest Neighbors 라는 이름은 이를 잘 반영하고 있는데, K개의 가장 가까운 이웃 데이터에 의해 예측된다는 의미입니다.다중 분류 문제에서 가장 간편히 적용할 수 있는 알고리즘입니다. 물론 최신 알고리즘들도 다중 분류 문제에 사용하나, 데이터가 크지 않고 예측이 까다롭지 않은 상황에서 KNN을 사용하면 신속하고 쉽게 예측 모델을 구현할 수 있습니다.이러 한 특성으로 베이스라인 모델로도 사용합니다.장점수식에 대한 설명이 필요 없을 만큼 직관적이고 간단합니다.선형모델과 다르게 별도의 가정..

PostgreSQL & DBeaver 설치PostgreSQL 다운로드 및 설치PostgreSQL 사이트https://www.postgresql.org/download/windows/PostgreSQL 다운로드 사이트https://www.enterprisedb.com/downloads/postgres-postgresql-downloads아래와 같은 화면에서 os 와 지원 bit(32/64)에 맞는 버전을 다운로드 받으시면 됩니다.다운받으신 exe.파일을 실행하셔서 설치하시면 됩니다.DBeaver 다운로드 및 설치DBeaver 공식 사이트https://dbeaver.io/DBeaver 다운로드 사이트https://dbeaver.io/download/아래와 같은 화면이 표시되며, Windows / Max OS..