[Python] 실제 사이트 크롤링을 해보자.

이전 글에서 배웠던 내용을 이용하여 실제 사이트를 크롤링 해보자.

연습을 위해 멜론 사이트에서 크롤링을 테스트 해 볼 것이다.

 

https://www.melon.com/chart/index.htm

Melon

 

멜론 차트를 가지고 와보자.

soup 에 해당 페이지의 정보가 담겨있다.

driver = webdriver.Chrome()
url = 'https://www.melon.com/chart/index.htm'
driver.get(url)                  # URL 에 해당하는 홈페이지 접속
html = driver.page_source        # html 정보 가져오기

driver.quit()                    # driver 종료

soup = BeautifulSoup(html, 'html.parser')

 

chart 는 각 라인별 html 코드가 담겨 있고 거기서 title에 해당하는 노래 제목을 가져 왔다.

charts = soup.select('table > tbody > tr');

for chart in charts:
    title = chart.select('div.ellipsis > span > a')[0].text
    # print(chart)
    print(title)