크롤링 5

[JSP] jsoup 를 이용한 크롤링 및 Oracle 데이터 베이스 저장

.라이브러리 파일을 받아주자.https://mvnrepository.com/artifact/org.jsoup/jsoup/1.18.1 bugs 차트를 가져와서 연습 해 볼 것이다.https://music.bugs.co.kr/chart 나를 위한 플리, 벅스나를 위한 플리, 벅스! 마음을 담은 노래추천 플레이리스트, 그리고 일상을 감성으로 가득 채워줄 essential player까지music.bugs.co.kr 해당 라인을 100개 가져와야 한다. title, artist 를 가져오는 코드이다. a"); Elements artists = doc.select("p.artist > a"); pageContext.setAttribute("titles", titles); pageContext.setAt..

JSP 2024.08.01

[Python] 데이터를 크롤링하여 엑셀로 저장 해 보자.

bugs 페이지에서 데이터를 크롤링하여 엑셀 파일로 저장 해 볼 것이다.https://music.bugs.co.kr/chart 나를 위한 플리, 벅스나를 위한 플리, 벅스! 마음을 담은 노래추천 플레이리스트, 그리고 일상을 감성으로 가득 채워줄 essential player까지music.bugs.co.kr 위의 페이지를 사용하여 연습을 해보자.먼저 라이브러리를 호출 해 준다.from selenium import webdriverfrom bs4 import BeautifulSoupimport pandas as pd 이후 페이지를 가져오자driver = webdriver.Chrome()url = 'https://music.bugs.co.kr/chart'driver.get(url)html = driver.pa..

Python 2024.08.01

[JSP] jsoup 를 이용한 크롤링 및 MYSQL 데이터 베이스 저장

라이브러리 파일을 받아주자.https://mvnrepository.com/artifact/org.jsoup/jsoup/1.18.1 아래 멜론 차트 데이터를 가져와 볼 것이다.https://www.melon.com/chart/index.htm Melon음악이 필요한 순간, 멜론www.melon.com 먼저 데이터를 가져와 보자. 가수의 이름과 곡 제목을 가져와야 한다. 해당 태그를 우측클릭해서 copy 를 보면 다양한 태그 카피가 나오는데  selector 를 카피하여 곡 이름과 가수를 가져와 보자. 곡 이름#lst50 > td:nth-child(6) > div > div > div.ellipsis.rank01 > span > a 가수#lst50 > td:nth-child(6) > div > div > d..

JSP 2024.08.01

[Python] 실제 사이트 크롤링을 해보자.

이전 글에서 배웠던 내용을 이용하여 실제 사이트를 크롤링 해보자.연습을 위해 멜론 사이트에서 크롤링을 테스트 해 볼 것이다. https://www.melon.com/chart/index.htm Melon음악이 필요한 순간, 멜론www.melon.com 멜론 차트를 가지고 와보자.soup 에 해당 페이지의 정보가 담겨있다.driver = webdriver.Chrome()url = 'https://www.melon.com/chart/index.htm'driver.get(url) # URL 에 해당하는 홈페이지 접속html = driver.page_source # html 정보 가져오기driver.quit() # driver 종료so..

Python 2024.07.31

[Python] 크롤링 with selenium (id, class, 태그 명으로 찾기)

먼저 셀레니움을 설치 해 주자.! pip install selenium 아래와 같은 코드들이 나오면서 설치가 완료 될 것이다. 아래 코드를 입력하여 에러가 나지 않으면 설치 및 불러오기가 완료 된 것이다.from selenium import webdriver 드라이버를 선언하고 실행 해 보자. 홈페이지가 실행되면 잘 되는 것이다.(최신 버전은 크롬 드라이버를 따로 받지 않아도 가능하다.)driver = webdriver.Chrome(); 💨 특정 홈페이지에 접속 해 보자.url = 'https://www.naver.com/'driver.get(url) # URL 에 해당하는 홈페이지 접속html = driver.page_source # html 정보 가져오기p..

Python 2024.07.31