[Python] 크롤링 예제 (Feat. 멜론 차트)

---

멜론차트 TOP100 - 크롤링 예제

• 멜론차트 TOP100 리스트 가져오기
• 링크정보 : https://www.melon.com/chart/index.htm

---

• 사이트 전체 HTML 정보 가져오기

import requests

url = 'https://www.melon.com/chart/index.htm'
header = {
    'User-Agent' : 'Mozilla/5.0',
    'Referer' : url
}

response = requests.get(url, headers=header)
result = response.text

 

• BeautifulSoup 객체로 변환

from bs4 import BeautifulSoup

soup = BeautifulSoup(result, 'html.parser')
print(soup.prettify())

 

• 순위 별로 구분되어 있는 <tr> 태그 가져오기
  
  • 검색 된 <tr> 태그 안에 순위의 항목(순위, 노래제목, 가수, 좋아요..) 등의 정보가 들어있음.
    

#items = soup.select("#frm > div > table > tbody > tr")
items = soup.select("tbody > tr")

 

• 각각의 <tr> 태그에서 순위, 노래제목, 가수, 좋아요 정보 분류
  • css_selector 의 내용은 멜론 사이트의 변경에 따라 바뀔 수 있습니다.
    • 크롬 - F12 입력 후, 우측의 'Elements' Selector를 이용하여 태그를 찾으시면 됩니다.

lst = []
for news in items:
    rank = news.select_one('.rank').text.strip()                    # 순위
    title = news.select_one('span > a').text.strip()                # 노래제목
    singer = news.select_one('.ellipsis.rank02 > a').text.strip()   # 가수
    cnt = news.select_one('div > button > span.cnt').text.strip().replace('\t', '')   # 좋아요

    lst.append([rank, title, singer, cnt])

print(lst)

 

 

• Pandas의 DataFrame 으로 변환

df = pd.DataFrame(lst, columns = ['순위', '제목', '가수', '좋아요'])
df

 

 

• .xlsx 엑셀파일로 저장

df.to_excel('meoln.xlsx', index=False)

 

끝~