250x250

Notice

Recent Posts

Recent Comments

Link

Tags more

Archives

Today

Total

관리 메뉴

흰둥이는 코드를 짤 때 짖어 (왈!왈!왈!왈!왈!왈!왈!왈!왈!왈!왈!)

(Python) 크롤링 본문

파이썬 크롤링

(Python) 크롤링

흰둥아솜사탕 2023. 6. 9. 16:17

728x90

크롤링(Crawling): 인터넷의 데이터를 활용하기 위해 정보들을 분석하고 활용할 수 있도록 수집하는 행위
스크레이핑(Scraping): 크롤링 + 데이터를 추출해서 가공하는 최종 목표

1. Basic English Speaking

In [ ]:

import requests
from bs4 import BeautifulSoup

In [ ]:

site = 'https://basicenglishspeaking.com/daily-english-conversation-topics/'
request = requests.get(site)
print(request)
# print(request.text)

<Response [200]>

In [ ]:

soup = BeautifulSoup(request.text)

In [ ]:

divs = soup.find('div', {'class':'thrv-columns'})
print(divs)

<div class="thrv_wrapper thrv-columns" style="--tcb-col-el-width:792;"><div class="tcb-flex-row tcb--cols--3"><div class="tcb-flex-col"><div class="tcb-col"><div class="thrv_wrapper thrv_text_element"><p>1. <a class="tve-froala" href="https://basicenglishspeaking.com/family/" style="outline: none;">Family</a><br/>2. <a class="tve-froala" href="https://basicenglishspeaking.com/restaurant/" style="outline: none;">Restaurant</a><br/>3. <a href="https://basicenglishspeaking.com/books/">Books</a><br/>4. <a href="https://basicenglishspeaking.com/travel/">Travel</a><br/>5. <a href="https://basicenglishspeaking.com/website/">Website</a><br/>6. <a href="https://basicenglishspeaking.com/accident/">Accident</a><br/>7. <a class="tve-froala" href="https://basicenglishspeaking.com/childhood-memory/" style="outline: none;">Childhood memory</a><br/>8. <a class="tve-froala" href="https://basicenglishspeaking.com/favorite-rooms/" style="outline: none;">Favorite rooms</a><br/>9. <a href="https://basicenglishspeaking.com/presents/">Presents</a><br/>10. <a class="tve-froala" href="https://basicenglishspeaking.com/historical-place/" style="outline: none;">Historical place</a><br/>11. <a class="tve-froala" href="https://basicenglishspeaking.com/newspaper-magazine/" style="outline: none;">Newspaper/ Magazine</a><br/>12. <a href="https://basicenglishspeaking.com/an-event/">A memorable event</a><br/>13. <a href="https://basicenglishspeaking.com/a-subject/">A favorite subject</a><br/>14. <a href="https://basicenglishspeaking.com/a-museum/">A museum</a><br/>15. <a href="https://basicenglishspeaking.com/a-movie/">A favorite movie</a><br/>16. <a href="https://basicenglishspeaking.com/a-foreign-country/">A foreign country</a><br/>17. <a href="https://basicenglishspeaking.com/parties/">Parties</a><br/>18. <a href="https://basicenglishspeaking.com/a-teacher/">A teacher</a><br/>19. <a href="https://basicenglishspeaking.com/a-friend/">A friend</a><br/>20. <a href="https://basicenglishspeaking.com/a-hotel/">A hotel</a><br/>21. <a href="https://basicenglishspeaking.com/a-letter/">A letter</a><br/>22. <a href="https://basicenglishspeaking.com/hobbies/">Hobbies</a><br/>23. <a href="https://basicenglishspeaking.com/music/">Music</a><br/>24. <a href="https://basicenglishspeaking.com/shopping/">Shopping</a><br/>25. <a href="https://basicenglishspeaking.com/holiday/">Holiday</a></p></div></div></div><div class="tcb-flex-col"><div class="tcb-col"><div class="thrv_wrapper thrv_text_element"><p>26. <a class="tve-froala" href="https://basicenglishspeaking.com/animals/" style="outline: none;">Animals</a><br/>27. <a class="tve-froala" href="https://basicenglishspeaking.com/a-practical-skill/" style="outline: none;">A practical skill</a><br/>28. <a href="https://basicenglishspeaking.com/sports/">Sport</a><br/>29. <a href="https://basicenglishspeaking.com/a-school/">A School</a><br/>30. <a href="https://basicenglishspeaking.com/festival/">Festival</a><br/>31. <a href="https://basicenglishspeaking.com/food/">Food</a><br/>32. <a href="https://basicenglishspeaking.com/household-appliance/">Household appliance</a><br/>33. <a href="https://basicenglishspeaking.com/a-music-band/">A music band</a><br/>34. <a href="https://basicenglishspeaking.com/weather/">Weather</a><br/>35. <a href="https://basicenglishspeaking.com/neighbor/">Neighbor</a><br/>36. <a href="https://basicenglishspeaking.com/natural-scenery/">Natural scenery</a><br/>37. <a href="https://basicenglishspeaking.com/outdoor-activities/">Outdoor activities</a><br/>38. <a href="https://basicenglishspeaking.com/law/">Law</a><br/>39. <a href="https://basicenglishspeaking.com/pollution/">Pollution</a><br/>40. <a href="https://basicenglishspeaking.com/traffic-jam/">Traffic jam</a><br/>41. <a href="https://basicenglishspeaking.com/tv-program/">TV program</a><br/>42. <a href="https://basicenglishspeaking.com/architecture-building/">Architect/ Building</a><br/>43. <a href="https://basicenglishspeaking.com/electronic-media/">Electronic Media</a><br/>44. <a href="https://basicenglishspeaking.com/job-career/">Job/ Career</a><br/>45. <a href="https://basicenglishspeaking.com/competition-contest/">Competition/ contest</a><br/>46. <a href="https://basicenglishspeaking.com/a-garden/">A garden</a><br/>47. <a href="https://basicenglishspeaking.com/hometown/">Hometown</a><br/>48. <a href="https://basicenglishspeaking.com/clothing/">Clothing</a><br/>49. <a href="https://basicenglishspeaking.com/an-advertisement/">Advertisement</a><br/>50. <a href="https://basicenglishspeaking.com/a-project/">A project</a></p></div></div></div><div class="tcb-flex-col"><div class="tcb-col"><div class="thrv_wrapper thrv_text_element"><p>51. <a href="https://basicenglishspeaking.com/a-wedding/">A wedding</a><br/>52. <a href="https://basicenglishspeaking.com/a-coffee-shop/">A Coffee shop</a><br/>53. <a href="https://basicenglishspeaking.com/culture/">Culture</a><br/>54. <a href="https://basicenglishspeaking.com/transport/">Transport</a><br/>55. <a href="https://basicenglishspeaking.com/politician/">Politician</a><br/>56. <a href="https://basicenglishspeaking.com/communication/">Communication</a><br/>57. <a href="https://basicenglishspeaking.com/business/">Business</a><br/>58. <a href="https://basicenglishspeaking.com/computer/">Computer</a><br/>59. <a href="https://basicenglishspeaking.com/exercise/">Exercise</a><br/>60. <a href="https://basicenglishspeaking.com/goal-ambition/">Goal/ ambition</a><br/>61. <a href="https://basicenglishspeaking.com/art/">Art</a><br/>62. <a href="https://basicenglishspeaking.com/fashion/">Fashion</a><br/>63. <a href="https://basicenglishspeaking.com/jewelry/">Jewelry</a><br/>64. <a href="https://basicenglishspeaking.com/cosmetic/">Cosmetic</a><br/>65. <a href="https://basicenglishspeaking.com/indoor-game/">Indoor Game</a><br/>66. <a href="https://basicenglishspeaking.com/phone-conversation/">Phone conversation</a><br/>67. <a href="https://basicenglishspeaking.com/learning-second-language/">Learning A Second language</a><br/>68. <a href="https://basicenglishspeaking.com/a-creative-person/">A Creative Person</a><br/>69. <a href="https://basicenglishspeaking.com/a-celebrity/">A celebrity</a><br/>70. <a href="https://basicenglishspeaking.com/a-health-problem/">A Health Problem</a><br/>71. <a href="https://basicenglishspeaking.com/technological-advancements/">Technological advancements</a><br/>72. <a href="https://basicenglishspeaking.com/a-landmark/">A Landmark</a><br/>73. <a href="https://basicenglishspeaking.com/handcraft-items/">Handcraft Items</a><br/>74. <a href="https://basicenglishspeaking.com/plastic-surgery/">Plastic Surgery</a><br/>75. <a href="https://basicenglishspeaking.com/success/">Success</a></p></div></div></div></div></div>

In [ ]:

links = divs.findAll('a')
print(links)

[<a class="tve-froala" href="https://basicenglishspeaking.com/family/" style="outline: none;">Family</a>, <a class="tve-froala" href="https://basicenglishspeaking.com/restaurant/" style="outline: none;">Restaurant</a>, <a href="https://basicenglishspeaking.com/books/">Books</a>, <a href="https://basicenglishspeaking.com/travel/">Travel</a>, <a href="https://basicenglishspeaking.com/website/">Website</a>, <a href="https://basicenglishspeaking.com/accident/">Accident</a>, <a class="tve-froala" href="https://basicenglishspeaking.com/childhood-memory/" style="outline: none;">Childhood memory</a>, <a class="tve-froala" href="https://basicenglishspeaking.com/favorite-rooms/" style="outline: none;">Favorite rooms</a>, <a href="https://basicenglishspeaking.com/presents/">Presents</a>, <a class="tve-froala" href="https://basicenglishspeaking.com/historical-place/" style="outline: none;">Historical place</a>, <a class="tve-froala" href="https://basicenglishspeaking.com/newspaper-magazine/" style="outline: none;">Newspaper/ Magazine</a>, <a href="https://basicenglishspeaking.com/an-event/">A memorable event</a>, <a href="https://basicenglishspeaking.com/a-subject/">A favorite subject</a>, <a href="https://basicenglishspeaking.com/a-museum/">A museum</a>, <a href="https://basicenglishspeaking.com/a-movie/">A favorite movie</a>, <a href="https://basicenglishspeaking.com/a-foreign-country/">A foreign country</a>, <a href="https://basicenglishspeaking.com/parties/">Parties</a>, <a href="https://basicenglishspeaking.com/a-teacher/">A teacher</a>, <a href="https://basicenglishspeaking.com/a-friend/">A friend</a>, <a href="https://basicenglishspeaking.com/a-hotel/">A hotel</a>, <a href="https://basicenglishspeaking.com/a-letter/">A letter</a>, <a href="https://basicenglishspeaking.com/hobbies/">Hobbies</a>, <a href="https://basicenglishspeaking.com/music/">Music</a>, <a href="https://basicenglishspeaking.com/shopping/">Shopping</a>, <a href="https://basicenglishspeaking.com/holiday/">Holiday</a>, <a class="tve-froala" href="https://basicenglishspeaking.com/animals/" style="outline: none;">Animals</a>, <a class="tve-froala" href="https://basicenglishspeaking.com/a-practical-skill/" style="outline: none;">A practical skill</a>, <a href="https://basicenglishspeaking.com/sports/">Sport</a>, <a href="https://basicenglishspeaking.com/a-school/">A School</a>, <a href="https://basicenglishspeaking.com/festival/">Festival</a>, <a href="https://basicenglishspeaking.com/food/">Food</a>, <a href="https://basicenglishspeaking.com/household-appliance/">Household appliance</a>, <a href="https://basicenglishspeaking.com/a-music-band/">A music band</a>, <a href="https://basicenglishspeaking.com/weather/">Weather</a>, <a href="https://basicenglishspeaking.com/neighbor/">Neighbor</a>, <a href="https://basicenglishspeaking.com/natural-scenery/">Natural scenery</a>, <a href="https://basicenglishspeaking.com/outdoor-activities/">Outdoor activities</a>, <a href="https://basicenglishspeaking.com/law/">Law</a>, <a href="https://basicenglishspeaking.com/pollution/">Pollution</a>, <a href="https://basicenglishspeaking.com/traffic-jam/">Traffic jam</a>, <a href="https://basicenglishspeaking.com/tv-program/">TV program</a>, <a href="https://basicenglishspeaking.com/architecture-building/">Architect/ Building</a>, <a href="https://basicenglishspeaking.com/electronic-media/">Electronic Media</a>, <a href="https://basicenglishspeaking.com/job-career/">Job/ Career</a>, <a href="https://basicenglishspeaking.com/competition-contest/">Competition/ contest</a>, <a href="https://basicenglishspeaking.com/a-garden/">A garden</a>, <a href="https://basicenglishspeaking.com/hometown/">Hometown</a>, <a href="https://basicenglishspeaking.com/clothing/">Clothing</a>, <a href="https://basicenglishspeaking.com/an-advertisement/">Advertisement</a>, <a href="https://basicenglishspeaking.com/a-project/">A project</a>, <a href="https://basicenglishspeaking.com/a-wedding/">A wedding</a>, <a href="https://basicenglishspeaking.com/a-coffee-shop/">A Coffee shop</a>, <a href="https://basicenglishspeaking.com/culture/">Culture</a>, <a href="https://basicenglishspeaking.com/transport/">Transport</a>, <a href="https://basicenglishspeaking.com/politician/">Politician</a>, <a href="https://basicenglishspeaking.com/communication/">Communication</a>, <a href="https://basicenglishspeaking.com/business/">Business</a>, <a href="https://basicenglishspeaking.com/computer/">Computer</a>, <a href="https://basicenglishspeaking.com/exercise/">Exercise</a>, <a href="https://basicenglishspeaking.com/goal-ambition/">Goal/ ambition</a>, <a href="https://basicenglishspeaking.com/art/">Art</a>, <a href="https://basicenglishspeaking.com/fashion/">Fashion</a>, <a href="https://basicenglishspeaking.com/jewelry/">Jewelry</a>, <a href="https://basicenglishspeaking.com/cosmetic/">Cosmetic</a>, <a href="https://basicenglishspeaking.com/indoor-game/">Indoor Game</a>, <a href="https://basicenglishspeaking.com/phone-conversation/">Phone conversation</a>, <a href="https://basicenglishspeaking.com/learning-second-language/">Learning A Second language</a>, <a href="https://basicenglishspeaking.com/a-creative-person/">A Creative Person</a>, <a href="https://basicenglishspeaking.com/a-celebrity/">A celebrity</a>, <a href="https://basicenglishspeaking.com/a-health-problem/">A Health Problem</a>, <a href="https://basicenglishspeaking.com/technological-advancements/">Technological advancements</a>, <a href="https://basicenglishspeaking.com/a-landmark/">A Landmark</a>, <a href="https://basicenglishspeaking.com/handcraft-items/">Handcraft Items</a>, <a href="https://basicenglishspeaking.com/plastic-surgery/">Plastic Surgery</a>, <a href="https://basicenglishspeaking.com/success/">Success</a>]

In [ ]:

for link in links:
    print(link.text)

Family
Restaurant
Books
Travel
Website
Accident
Childhood memory
Favorite rooms
Presents
Historical place
Newspaper/ Magazine
A memorable event
A favorite subject
A museum
A favorite movie
A foreign country
Parties
A teacher
A friend
A hotel
A letter
Hobbies
Music
Shopping
Holiday
Animals
A practical skill
Sport
A School
Festival
Food
Household appliance
A music band
Weather
Neighbor
Natural scenery
Outdoor activities
Law
Pollution
Traffic jam
TV program
Architect/ Building
Electronic Media
Job/ Career
Competition/ contest
A garden
Hometown
Clothing
Advertisement
A project
A wedding
A Coffee shop
Culture
Transport
Politician
Communication
Business
Computer
Exercise
Goal/ ambition
Art
Fashion
Jewelry
Cosmetic
Indoor Game
Phone conversation
Learning A Second language
A Creative Person
A celebrity
A Health Problem
Technological advancements
A Landmark
Handcraft Items
Plastic Surgery
Success

In [ ]:

subject = []
for link in links:
    subject.append(link.text)

In [ ]:

len(subject)

Out[ ]:

In [ ]:

print('총', len(subject), '개의 주제를 찾았습니다')
for i in range(len(subject)):
    print('{0:2d}. {1:s}'.format(i+1, subject[i]))

총 75 개의 주제를 찾았습니다
 1. Family
 2. Restaurant
 3. Books
 4. Travel
 5. Website
 6. Accident
 7. Childhood memory
 8. Favorite rooms
 9. Presents
10. Historical place
11. Newspaper/ Magazine
12. A memorable event
13. A favorite subject
14. A museum
15. A favorite movie
16. A foreign country
17. Parties
18. A teacher
19. A friend
20. A hotel
21. A letter
22. Hobbies
23. Music
24. Shopping
25. Holiday
26. Animals
27. A practical skill
28. Sport
29. A School
30. Festival
31. Food
32. Household appliance
33. A music band
34. Weather
35. Neighbor
36. Natural scenery
37. Outdoor activities
38. Law
39. Pollution
40. Traffic jam
41. TV program
42. Architect/ Building
43. Electronic Media
44. Job/ Career
45. Competition/ contest
46. A garden
47. Hometown
48. Clothing
49. Advertisement
50. A project
51. A wedding
52. A Coffee shop
53. Culture
54. Transport
55. Politician
56. Communication
57. Business
58. Computer
59. Exercise
60. Goal/ ambition
61. Art
62. Fashion
63. Jewelry
64. Cosmetic
65. Indoor Game
66. Phone conversation
67. Learning A Second language
68. A Creative Person
69. A celebrity
70. A Health Problem
71. Technological advancements
72. A Landmark
73. Handcraft Items
74. Plastic Surgery
75. Success

2. 다음 뉴스기사

In [ ]:

# https://v.daum.net/v/20230601081058509
# https://v.daum.net/v/20230601072518640

def daum_news_title(new_id):
    url = 'https://v.daum.net/v/{}'.format(new_id)
    request = requests.get(url)
    soup = BeautifulSoup(request.text)
    title = soup.find('h3', {'class':'tit_view'})
    if title:
        return title.text.strip()
    return '제목없음'

In [ ]:

daum_news_title('20230601081058509')

Out[ ]:

'"배달비 비싸져서 안 써요" 줄줄이 떠나자…이젠 인하 전쟁'

In [ ]:

daum_news_title('20230601072518640')

Out[ ]:

"'범죄도시3' 개봉 첫날 74만 동원 1위..122만으로 시작 '압도적 흥행'"

3. 벅스 뮤직 차트

https://music.bugs.co.kr/chart

In [ ]:

request = requests.get('https://music.bugs.co.kr/chart')
soup = BeautifulSoup(request.text)

In [ ]:

titles = soup.findAll('p', {'class':'title'})
# print(titles)
artists = soup.findAll('p', {'class':'artist'})
# print(artists)

In [ ]:

for i in range(len(titles)):
    title = titles[i].text.strip()
    artist = artists[i].text.strip().split('\n')[0]
    print('{0:3d}위 {1} - {2}'.format(i+1, artist, title))

  1위 (여자)아이들 - 퀸카 (Queencard)
  2위 aespa - Spicy
  3위 IVE (아이브) - I AM
  4위 LE SSERAFIM (르세라핌) - UNFORGIVEN (feat. Nile Rodgers)
  5위 IVE (아이브) - Kitsch
  6위 FIFTY FIFTY - Cupid
  7위 세븐틴(SEVENTEEN) - 손오공
  8위 LE SSERAFIM (르세라핌) - 이브, 프시케 그리고 푸른 수염의 아내
  9위 NewJeans - Hype Boy
 10위 NewJeans - Ditto
 11위 지수(JISOO) - 꽃
 12위 aespa - Thirsty
 13위 이채연 - KNOCK
 14위 NewJeans - Attention
 15위 NewJeans - OMG
 16위 Charlie Puth(찰리 푸스) - Dangerously
 17위 STAYC(스테이씨) - Teddy Bear
 18위 IVE (아이브) - After LIKE
 19위 Charlie Puth(찰리 푸스) - I Don’t Think That I Like Her
 20위 IVE (아이브) - LOVE DIVE
 21위 H1-KEY (하이키) - 건물 사이에 피어난 장미 (Rose Blossom)
 22위 (여자)아이들 - Allergy
 23위 LE SSERAFIM (르세라핌) - ANTIFRAGILE
 24위 윤하(Younha/ユンナ) - 사건의 지평선
 25위 DK(디셈버) - 심(心)
 26위 던 (DAWN) - 빛이 나는 너에게
 27위 박재정 - 헤어지자 말해요
 28위 LE SSERAFIM (르세라핌) - FEARLESS
 29위 멜로망스(MeloMance) - 사랑인가 봐
 30위 허각 - 물론
 31위 Christopher(크리스토퍼) - When I Get Old
 32위 DAY6 (데이식스) - 한 페이지가 될 수 있게
 33위 부석순(SEVENTEEN) - 파이팅 해야지 (Feat. 이영지)
 34위 Charlie Puth(찰리 푸스) - That’s Not How This Works (feat. Dan + Shay)
 35위 aespa - Salty & Sweet
 36위 NMIXX - Love Me Like This
 37위 BLACKPINK - Shut Down
 38위 (여자)아이들 - TOMBOY
 39위 IVE (아이브) - ELEVEN
 40위 윤하(Younha/ユンナ) - 오르트구름
 41위 지올팍(Zior Park) - CHRISTIAN
 42위 임재현 - Heaven(2023)
 43위 BLACKPINK - Pink Venom
 44위 FIFTY FIFTY - Cupid (Twin Ver.)
 45위 (여자)아이들 - Nxde
 46위 NCT DREAM - Candy
 47위 볼빨간사춘기 - FRIEND THE END
 48위 The Kid LAROI - STAY
 49위 박재범 - Candy (Feat. Zion.T)
 50위 비투비 - 나의 바람 (Wind And Wish)
 51위 성시경 - 너의 모든 순간
 52위 멜로망스(MeloMance) - 찬란한 하루
 53위 10CM - 그라데이션
 54위 이무진 - 잠깐 시간 될까
 55위 STAYC(스테이씨) - Poppy (Korean Ver.)
 56위 경서예지 - 다정히 내 이름을 부르면
 57위 BIG Naughty (서동현) - 정이라고 하자 (Feat. 10CM)
 58위 임영웅 - 사랑은 늘 도망가
 59위 Charlie Puth(찰리 푸스) - That's Hilarious
 60위 aespa - 도깨비불 (Illusion)
 61위 경서 - 나의 X에게
 62위 폴킴(Paul Kim) - 모든 날, 모든 순간 (Every day, Every Moment)
 63위 김민석 (멜로망스) - 취중고백
 64위 #안녕 - 해요 (2022)
 65위 잔나비 - 주저하는 연인들을 위해
 66위 태연 (TAEYEON) - INVU
 67위 폴킴(Paul Kim) - 한강에서 (Feat. BIG Naughty)
 68위 NewJeans - Cookie
 69위 Justin Bieber(저스틴 비버) - Off My Face
 70위 테이(Tei) - Monologue
 71위 태양 - VIBE (feat. Jimin of BTS)
 72위 Sam Smith(샘 스미스) - Unholy
 73위 NCT 도재정 - Perfume
 74위 WSG워너비 (가야G) - 그때 그 순간 그대로 (그그그)
 75위 Red Velvet (레드벨벳) - Feel My Rhythm
 76위 10CM - 부동의 첫사랑
 77위 아이유(IU) - 드라마
 78위 방탄소년단 - Dynamite
 79위 지아(Zia) - 사랑..그게 뭔데
 80위 주호 - 내가 아니라도
 81위 우디(Woody) - Say I Love You
 82위 BIGBANG (빅뱅) - 봄여름가을겨울 (Still Life)
 83위 BE'O (비오) - LOVE me
 84위 아이유(IU) - strawberry moon
 85위 지코 (ZICO) - 새삥 (Prod. ZICO) (Feat. 호미들)
 86위 aespa - I'm Unhappy
 87위 Crush - Rush Hour (Feat. j-hope of BTS)
 88위 10CM - 딱 10CM만
 89위 카라(Kara) - WHEN I MOVE
 90위 이영지 - NOT SORRY (Feat. pH-1) (Prod. by Slom)
 91위 우디(Woody) - Nostalgia
 92위 태양 - 나의 마음에 (Seed)
 93위 볼빨간사춘기 - Love story
 94위 CIX (씨아이엑스) - Save me, Kill me
 95위 Charlie Puth(찰리 푸스) - Left and Right (Feat. Jung Kook of BTS)
 96위 aespa - Welcome To MY World (Feat. nævis)
 97위 CIX (씨아이엑스) - Color
 98위 주주 시크릿 - 밤이 무서워요 (Lonely Night)
 99위 BE'O (비오) - 자격지심 (Feat. ZICO)
100위 CIX (씨아이엑스) - Curtain Call

In [ ]:

for i, (t, a) in enumerate(zip(titles, artists)):
    title = t.text.strip()
    artist = a.text.strip().split('\n')[0]
    print('{0:3d}위 {1} - {2}'.format(i+1, artist, title))

  1위 (여자)아이들 - 퀸카 (Queencard)
  2위 aespa - Spicy
  3위 IVE (아이브) - I AM
  4위 LE SSERAFIM (르세라핌) - UNFORGIVEN (feat. Nile Rodgers)
  5위 IVE (아이브) - Kitsch
  6위 FIFTY FIFTY - Cupid
  7위 세븐틴(SEVENTEEN) - 손오공
  8위 LE SSERAFIM (르세라핌) - 이브, 프시케 그리고 푸른 수염의 아내
  9위 NewJeans - Hype Boy
 10위 NewJeans - Ditto
 11위 지수(JISOO) - 꽃
 12위 aespa - Thirsty
 13위 이채연 - KNOCK
 14위 NewJeans - Attention
 15위 NewJeans - OMG
 16위 Charlie Puth(찰리 푸스) - Dangerously
 17위 STAYC(스테이씨) - Teddy Bear
 18위 IVE (아이브) - After LIKE
 19위 Charlie Puth(찰리 푸스) - I Don’t Think That I Like Her
 20위 IVE (아이브) - LOVE DIVE
 21위 H1-KEY (하이키) - 건물 사이에 피어난 장미 (Rose Blossom)
 22위 (여자)아이들 - Allergy
 23위 LE SSERAFIM (르세라핌) - ANTIFRAGILE
 24위 윤하(Younha/ユンナ) - 사건의 지평선
 25위 DK(디셈버) - 심(心)
 26위 던 (DAWN) - 빛이 나는 너에게
 27위 박재정 - 헤어지자 말해요
 28위 LE SSERAFIM (르세라핌) - FEARLESS
 29위 멜로망스(MeloMance) - 사랑인가 봐
 30위 허각 - 물론
 31위 Christopher(크리스토퍼) - When I Get Old
 32위 DAY6 (데이식스) - 한 페이지가 될 수 있게
 33위 부석순(SEVENTEEN) - 파이팅 해야지 (Feat. 이영지)
 34위 Charlie Puth(찰리 푸스) - That’s Not How This Works (feat. Dan + Shay)
 35위 aespa - Salty & Sweet
 36위 NMIXX - Love Me Like This
 37위 BLACKPINK - Shut Down
 38위 (여자)아이들 - TOMBOY
 39위 IVE (아이브) - ELEVEN
 40위 윤하(Younha/ユンナ) - 오르트구름
 41위 지올팍(Zior Park) - CHRISTIAN
 42위 임재현 - Heaven(2023)
 43위 BLACKPINK - Pink Venom
 44위 FIFTY FIFTY - Cupid (Twin Ver.)
 45위 (여자)아이들 - Nxde
 46위 NCT DREAM - Candy
 47위 볼빨간사춘기 - FRIEND THE END
 48위 The Kid LAROI - STAY
 49위 박재범 - Candy (Feat. Zion.T)
 50위 비투비 - 나의 바람 (Wind And Wish)
 51위 성시경 - 너의 모든 순간
 52위 멜로망스(MeloMance) - 찬란한 하루
 53위 10CM - 그라데이션
 54위 이무진 - 잠깐 시간 될까
 55위 STAYC(스테이씨) - Poppy (Korean Ver.)
 56위 경서예지 - 다정히 내 이름을 부르면
 57위 BIG Naughty (서동현) - 정이라고 하자 (Feat. 10CM)
 58위 임영웅 - 사랑은 늘 도망가
 59위 Charlie Puth(찰리 푸스) - That's Hilarious
 60위 aespa - 도깨비불 (Illusion)
 61위 경서 - 나의 X에게
 62위 폴킴(Paul Kim) - 모든 날, 모든 순간 (Every day, Every Moment)
 63위 김민석 (멜로망스) - 취중고백
 64위 #안녕 - 해요 (2022)
 65위 잔나비 - 주저하는 연인들을 위해
 66위 태연 (TAEYEON) - INVU
 67위 폴킴(Paul Kim) - 한강에서 (Feat. BIG Naughty)
 68위 NewJeans - Cookie
 69위 Justin Bieber(저스틴 비버) - Off My Face
 70위 테이(Tei) - Monologue
 71위 태양 - VIBE (feat. Jimin of BTS)
 72위 Sam Smith(샘 스미스) - Unholy
 73위 NCT 도재정 - Perfume
 74위 WSG워너비 (가야G) - 그때 그 순간 그대로 (그그그)
 75위 Red Velvet (레드벨벳) - Feel My Rhythm
 76위 10CM - 부동의 첫사랑
 77위 아이유(IU) - 드라마
 78위 방탄소년단 - Dynamite
 79위 지아(Zia) - 사랑..그게 뭔데
 80위 주호 - 내가 아니라도
 81위 우디(Woody) - Say I Love You
 82위 BIGBANG (빅뱅) - 봄여름가을겨울 (Still Life)
 83위 BE'O (비오) - LOVE me
 84위 아이유(IU) - strawberry moon
 85위 지코 (ZICO) - 새삥 (Prod. ZICO) (Feat. 호미들)
 86위 aespa - I'm Unhappy
 87위 Crush - Rush Hour (Feat. j-hope of BTS)
 88위 10CM - 딱 10CM만
 89위 카라(Kara) - WHEN I MOVE
 90위 이영지 - NOT SORRY (Feat. pH-1) (Prod. by Slom)
 91위 우디(Woody) - Nostalgia
 92위 태양 - 나의 마음에 (Seed)
 93위 볼빨간사춘기 - Love story
 94위 CIX (씨아이엑스) - Save me, Kill me
 95위 Charlie Puth(찰리 푸스) - Left and Right (Feat. Jung Kook of BTS)
 96위 aespa - Welcome To MY World (Feat. nævis)
 97위 CIX (씨아이엑스) - Color
 98위 주주 시크릿 - 밤이 무서워요 (Lonely Night)
 99위 BE'O (비오) - 자격지심 (Feat. ZICO)
100위 CIX (씨아이엑스) - Curtain Call

4. 멜론 차트

https://www.melon.com/chart/index.htm
robots.txt: 웹 사이트에 크롤러같은 로봇들의 접근을 제어하기 위한 규약. 권고안이라 꼭 지킬 의무는 없음

In [ ]:

request = requests.get('https://www.melon.com/chart/index.htm')
print(request) # <Response [406]>

<Response [406]>

In [ ]:

# User-Agent:
# Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
request = requests.get('https://www.melon.com/chart/index.htm', headers=header)
print(request)

<Response [200]>

In [ ]:

soup = BeautifulSoup(request.text)
titles = soup.findAll('div', {'class':'ellipsis rank01'})
artists = soup.findAll('div', {'class':'ellipsis rank02'})

In [ ]:

for i, (t, a) in enumerate(zip(titles, artists)):
    title = t.text.strip()
    artist = a.text.strip()
    print('{0:3d}위 {1} - {2}'.format(i+1, artist, title))

  1위 (여자)아이들(여자)아이들 - 퀸카 (Queencard)
  2위 aespaaespa - Spicy
  3위 IVE (아이브)IVE (아이브) - I AM
  4위 LE SSERAFIM (르세라핌)LE SSERAFIM (르세라핌) - UNFORGIVEN (feat. Nile Rodgers)
  5위 IVE (아이브)IVE (아이브) - Kitsch
  6위 세븐틴 (SEVENTEEN)세븐틴 (SEVENTEEN) - 손오공
  7위 지수 (JISOO)지수 (JISOO) - 꽃
  8위 임영웅임영웅 - 사랑은 늘 도망가
  9위 NewJeansNewJeans - Hype boy
 10위 NewJeansNewJeans - Ditto
 11위 임영웅임영웅 - 우리들의 블루스
 12위 FIFTY FIFTYFIFTY FIFTY - Cupid
 13위 허각허각 - 물론
 14위 (여자)아이들(여자)아이들 - Allergy
 15위 임영웅임영웅 - 다시 만날 수 있을까
 16위 임영웅임영웅 - London Boy
 17위 부석순 (SEVENTEEN)부석순 (SEVENTEEN) - 파이팅 해야지 (Feat. 이영지)
 18위 박재정박재정 - 헤어지자 말해요
 19위 지아지아 - 사랑..그게 뭔데
 20위 임영웅임영웅 - Polaroid
 21위 NewJeansNewJeans - OMG
 22위 임영웅임영웅 - 무지개
 23위 임영웅임영웅 - 이제 나만 믿어요
 24위 윤하 (YOUNHA)윤하 (YOUNHA) - 사건의 지평선
 25위 임영웅임영웅 - 아버지
 26위 STAYC(스테이씨)STAYC(스테이씨) - Teddy Bear
 27위 LE SSERAFIM (르세라핌)LE SSERAFIM (르세라핌) - 이브, 프시케 그리고 푸른 수염의 아내
 28위 Charlie PuthCharlie Puth - Dangerously
 29위 DK(디셈버)DK(디셈버) - 심(心)
 30위 Charlie PuthCharlie Puth - I Don't Think That I Like Her
 31위 임영웅임영웅 - A bientot
 32위 이무진이무진 - 잠깐 시간 될까
 33위 aespaaespa - Thirsty
 34위 임영웅임영웅 - 인생찬가
 35위 임영웅임영웅 - 손이 참 곱던 그대
 36위 IVE (아이브)IVE (아이브) - After LIKE
 37위 임영웅임영웅 - 사랑해 진짜
 38위 임영웅임영웅 - 연애편지
 39위 임재현임재현 - Heaven(2023)
 40위 IVE (아이브)IVE (아이브) - LOVE DIVE
 41위 NewJeansNewJeans - Attention
 42위 LE SSERAFIM (르세라핌)LE SSERAFIM (르세라핌) - ANTIFRAGILE
 43위 임영웅임영웅 - 보금자리
 44위 imaseimase - NIGHT DANCER
 45위 비투비비투비 - 나의 바람 (Wind And Wish)
 46위 Agust DAgust D - 사람 Pt.2 (feat. 아이유)
 47위 던 (DAWN)던 (DAWN) - 빛이 나는 너에게
 48위 지민지민 - Like Crazy
 49위 10CM10CM - 부동의 첫사랑
 50위 방탄소년단방탄소년단 - Dynamite
 51위 V.O.SV.O.S - 안녕이라고 말하지마
 52위 멜로망스멜로망스 - 사랑인가 봐
 53위 Zior ParkZior Park - CHRISTIAN
 54위 볼빨간사춘기볼빨간사춘기 - FRIEND THE END
 55위 방탄소년단방탄소년단 - The Planet
 56위 이채연이채연 - KNOCK
 57위 방탄소년단방탄소년단 - 봄날
 58위 성시경성시경 - 너의 모든 순간
 59위 aespaaespa - Salty & Sweet
 60위 NMIXXNMIXX - Love Me Like This
 61위 멜로망스멜로망스 - 찬란한 하루
 62위 방탄소년단방탄소년단 - Butter
 63위 지아지아 - 사랑하기 싫어
 64위 (여자)아이들(여자)아이들 - Nxde
 65위 H1-KEY (하이키)H1-KEY (하이키) - 건물 사이에 피어난 장미 (Rose Blossom)
 66위 지민지민 - Angel Pt. 1 (Feat. Kodak Black, NLE Choppa, JVKE, Muni Long)
 67위 임한별임한별 - 사랑하지 않아서 그랬어
 68위 (여자)아이들(여자)아이들 - TOMBOY
 69위 이홍기 (FT아일랜드)이홍기 (FT아일랜드) - 한사람만 (2023) (여름날 우리 X 이홍기 (FT아일랜드))
 70위 방탄소년단방탄소년단 - Permission to Dance
 71위 Charlie PuthCharlie Puth - That's Hilarious
 72위 #안녕#안녕 - 해요 (2022)
 73위 폴킴폴킴 - 한강에서 (Feat. BIG Naughty)
 74위 테이테이 - Monologue
 75위 NCT DREAMNCT DREAM - Candy
 76위 10CM10CM - 그라데이션
 77위 김민석 (멜로망스)김민석 (멜로망스) - 취중고백
 78위 The Kid LAROI, Justin BieberThe Kid LAROI, Justin Bieber - STAY
 79위 세븐틴 (SEVENTEEN)세븐틴 (SEVENTEEN) - F*ck My Life
 80위 규현 (KYUHYUN), 정은지규현 (KYUHYUN), 정은지 - 우리 사랑 이대로 (여름날 우리 X 규현 (KYUHYUN), 정은지)
 81위 j-hope, J. Colej-hope, J. Cole - on the street (with J. Cole)
 82위 김호중김호중 - 그중에 그대를 만나
 83위 정국, 방탄소년단정국, 방탄소년단 - Dreamers [Music from the FIFA World Cup Qatar 2022 Official Soundtrack] (Feat. FIFA Sound)
 84위 LE SSERAFIM (르세라핌)LE SSERAFIM (르세라핌) - FEARLESS
 85위 BLACKPINKBLACKPINK - Shut Down
 86위 우디 (Woody)우디 (Woody) - Say I Love You
 87위 BIG Naughty (서동현)BIG Naughty (서동현) - 정이라고 하자 (Feat. 10CM)
 88위 IVE (아이브)IVE (아이브) - ELEVEN
 89위 우디 (Woody)우디 (Woody) - Nostalgia
 90위 경서예지, 전건호경서예지, 전건호 - 다정히 내 이름을 부르면
 91위 주호주호 - 내가 아니라도
 92위 DK(디셈버)DK(디셈버) - 발걸음
 93위 BLACKPINKBLACKPINK - Pink Venom
 94위 Charlie PuthCharlie Puth - That’s Not How This Works (feat. Dan + Shay)
 95위 지코 (ZICO)지코 (ZICO) - 새삥 (Prod. ZICO) (Feat. 호미들)
 96위 태양태양 - VIBE (feat. Jimin of BTS)
 97위 경서경서 - 첫 키스에 내 심장은 120BPM
 98위 WSG워너비 (가야G)WSG워너비 (가야G) - 그때 그 순간 그대로 (그그그)
 99위 윤하 (YOUNHA)윤하 (YOUNHA) - 오르트구름
100위 김호중, 송가인김호중, 송가인 - 당신을 만나

5. 네이버 주식

In [ ]:

# https://finance.naver.com/item/main.naver?code=005930
site = 'https://finance.naver.com/item/main.naver?code=005930'
request = requests.get(site)
print(request)

<Response [200]>

In [ ]:

soup = BeautifulSoup(request.text)

In [ ]:

div_today = soup.find('div', {'class':'today'})
print(div_today)

<div class="today">
<p class="no_today">
<em class="no_down">
<span class="blind">71,000</span>
<span class="no7">7</span><span class="no1">1</span><span class="shim">,</span><span class="no0">0</span><span class="no0">0</span><span class="no0">0</span>
</em>
</p>
<p class="no_exday">
<span class="sptxt sp_txt1">전일대비</span>
<em class="no_down">
<span class="ico down">하락</span>
<span class="blind">400</span>
<span class="no4">4</span><span class="no0">0</span><span class="no0">0</span>
</em>
<span class="bar">l</span>
<em class="no_down">
<span class="ico minus">-</span>
<span class="blind">0.56</span>
<span class="no0">0</span><span class="jum">.</span><span class="no5">5</span><span class="no6">6</span>
<span class="per">%</span>
</em>
</p>
</div>

In [ ]:

em = div_today.find('em')
print(em)

<em class="no_down">
<span class="blind">71,000</span>
<span class="no7">7</span><span class="no1">1</span><span class="shim">,</span><span class="no0">0</span><span class="no0">0</span><span class="no0">0</span>
</em>

In [ ]:

price = em.find('span', {'class':'blind'}).text
print(price)

71,000

In [ ]:

wrap_company = soup.find('div', {'class':'wrap_company'})
# print(wrap_company)
name = wrap_company.a.text
print(name)
div_description = wrap_company.find('div', {'class':'description'})
# print(div_description)
code = div_description.span.text
print(code)

삼성전자
005930

In [ ]:

table_no_info = soup.find('table', {'class':'no_info'})
tds = table_no_info.find_all('td')
# print(tds)
volume = tds[2].find('span', {'class':'blind'}).text
print(volume)

9,493,389

In [ ]:

dic = {'price':price, 'name':name, 'code':code, 'volume':volume}
dic

Out[ ]:

{'price': '71,000', 'name': '삼성전자', 'code': '005930', 'volume': '9,493,389'}

In [ ]:

def naver_finance(code):
    site = f'https://finance.naver.com/item/main.naver?code={code}'
    request = requests.get(site)
    soup = BeautifulSoup(request.text)
    div_today = soup.find('div', {'class':'today'})
    em = div_today.find('em')
    price = em.find('span', {'class':'blind'}).text # 가격

    wrap_company = soup.find('div', {'class':'wrap_company'})
    name = wrap_company.a.text
    div_description = wrap_company.find('div', {'class':'description'})
    code = div_description.span.text    # 회사명

    table_no_info = soup.find('table', {'class':'no_info'})
    tds = table_no_info.find_all('td')
    volume = tds[2].find('span', {'class':'blind'}).text    # 코드

    dic = {'price':price, 'name':name, 'code':code, 'volume':volume}
    return dic

In [ ]:

naver_finance('000660')

Out[ ]:

{'price': '109,500', 'name': 'SK하이닉스', 'code': '000660', 'volume': '3,953,174'}

In [ ]:

codes = ['005930', '000660', '005950', '035420', '005490']

In [ ]:

data = []

for code in codes:
    dic = naver_finance(code)
    data.append(dic)

print(data)

[{'price': '71,000', 'name': '삼성전자', 'code': '005930', 'volume': '9,745,030'}, {'price': '109,400', 'name': 'SK하이닉스', 'code': '000660', 'volume': '3,962,640'}, {'price': '30,900', 'name': '이수화학', 'code': '005950', 'volume': '14,895,208'}, {'price': '203,000', 'name': 'NAVER', 'code': '035420', 'volume': '327,100'}, {'price': '360,500', 'name': 'POSCO홀딩스', 'code': '005490', 'volume': '430,808'}]

In [ ]:

import pandas as pd

In [ ]:

df = pd.DataFrame(data)
df

Out[ ]:

	price	name	code	volume
0	71,000	삼성전자	005930	9,745,030
1	109,400	SK하이닉스	000660	3,962,640
2	30,900	이수화학	005950	14,895,208
3	203,000	NAVER	035420	327,100
4	360,500	POSCO홀딩스	005490	430,808

In [ ]:

df.to_excel('naver_finace.xlsx')

In [ ]:

# 지니 차트 200위까지 크롤링
# 반복문을 사용하여 크롤링
# 수집한 데이터를 데이터프레임으로 저장
# 엑셀로 출력
# 과제는 github로 내보내기

In [ ]:

header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
rank = 0
chart = []
for i in range(1, 5):
    site = f'https://www.genie.co.kr/chart/top200?ditc=D&ymd=20230601&hh=14&rtm=Y&pg={i}'
    request = requests.get(site, headers = header)
    soup = BeautifulSoup(request.text)
    titles = soup.findAll('a', {'class':'title ellipsis'})
    artists = soup.findAll('a', {'class':'artist ellipsis'})

    for t, a in zip(titles, artists):
        rank += 1
        title = t.text.strip()
        artist = a.text.strip()
        dic = {'순위': f'{rank}위', '제목':title, '가수':artist}
        chart.append(dic)

chart

Out[ ]:

[{'순위': '1위', '제목': '퀸카 (Queencard)', '가수': '(여자)아이들'},
 {'순위': '2위', '제목': 'I AM', '가수': 'IVE (아이브)'},
 {'순위': '3위', '제목': 'Spicy', '가수': 'aespa'},
 {'순위': '4위', '제목': 'Kitsch', '가수': 'IVE (아이브)'},
 {'순위': '5위',
  '제목': 'UNFORGIVEN (Feat. Nile Rodgers)',
  '가수': 'LE SSERAFIM (르세라핌)'},
 {'순위': '6위', '제목': '꽃', '가수': '(여자)아이들'},
 {'순위': '7위', '제목': 'Hype boy', '가수': 'IVE (아이브)'},
 {'순위': '8위', '제목': 'Ditto', '가수': 'aespa'},
 {'순위': '9위', '제목': '손오공', '가수': 'IVE (아이브)'},
 {'순위': '10위', '제목': '사건의 지평선', '가수': 'LE SSERAFIM (르세라핌)'},
 {'순위': '11위', '제목': '사랑은 늘 도망가', '가수': '지수 (JISOO)'},
 {'순위': '12위', '제목': 'Cupid', '가수': 'NewJeans'},
 {'순위': '13위', '제목': '심 (心)', '가수': 'NewJeans'},
 {'순위': '14위', '제목': 'Teddy Bear', '가수': '세븐틴 (SEVENTEEN)'},
 {'순위': '15위', '제목': '우리들의 블루스', '가수': '윤하 (YOUNHA)'},
 {'순위': '16위', '제목': "I Don't Think That I Like Her", '가수': '임영웅'},
 {'순위': '17위', '제목': 'After LIKE', '가수': 'FIFTY FIFTY'},
 {'순위': '18위', '제목': 'OMG', '가수': 'DK (디셈버)'},
 {'순위': '19위', '제목': 'London Boy', '가수': 'STAYC (스테이씨)'},
 {'순위': '20위', '제목': '이제 나만 믿어요', '가수': '임영웅'},
 {'순위': '21위', '제목': '다시 만날 수 있을까', '가수': 'Charlie Puth'},
 {'순위': '22위', '제목': 'Dangerously', '가수': 'IVE (아이브)'},
 {'순위': '23위', '제목': 'LOVE DIVE', '가수': 'NewJeans'},
 {'순위': '24위', '제목': 'Polaroid', '가수': '임영웅'},
 {'순위': '25위', '제목': '파이팅 해야지 (Feat. 이영지)', '가수': '임영웅'},
 {'순위': '26위', '제목': '무지개', '가수': '임영웅'},
 {'순위': '27위', '제목': 'Attention', '가수': 'Charlie Puth'},
 {'순위': '28위', '제목': 'CHRISTIAN', '가수': 'IVE (아이브)'},
 {'순위': '29위', '제목': '헤어지자 말해요', '가수': '임영웅'},
 {'순위': '30위', '제목': '아버지', '가수': '부석순 (SEVENTEEN)'},
 {'순위': '31위', '제목': 'ANTIFRAGILE', '가수': '임영웅'},
 {'순위': '32위', '제목': '물론', '가수': 'NewJeans'},
 {'순위': '33위', '제목': '그라데이션', '가수': 'Zior Park'},
 {'순위': '34위', '제목': '건물 사이에 피어난 장미', '가수': '박재정'},
 {'순위': '35위', '제목': 'A bientot', '가수': '임영웅'},
 {'순위': '36위', '제목': '손이 참 곱던 그대', '가수': 'LE SSERAFIM (르세라핌)'},
 {'순위': '37위', '제목': '사랑해 진짜', '가수': '허각'},
 {'순위': '38위', '제목': '연애편지', '가수': '10CM'},
 {'순위': '39위', '제목': '이브, 프시케 그리고 푸른 수염의 아내', '가수': 'H1-KEY (하이키)'},
 {'순위': '40위', '제목': '인생찬가', '가수': '임영웅'},
 {'순위': '41위', '제목': '사랑인가 봐', '가수': '임영웅'},
 {'순위': '42위', '제목': '보금자리', '가수': '임영웅'},
 {'순위': '43위', '제목': 'NIGHT DANCER', '가수': '임영웅'},
 {'순위': '44위', '제목': 'TOMBOY', '가수': 'LE SSERAFIM (르세라핌)'},
 {'순위': '45위', '제목': '사랑하기 싫어', '가수': '임영웅'},
 {'순위': '46위', '제목': "That's Hilarious", '가수': '멜로망스 (MeloMance)'},
 {'순위': '47위', '제목': 'Nxde', '가수': '임영웅'},
 {'순위': '48위', '제목': '빛이 나는 너에게', '가수': 'imase'},
 {'순위': '49위', '제목': '취중고백', '가수': '(여자)아이들'},
 {'순위': '50위', '제목': 'The Drum', '가수': '지아 (Zia)'},
 {'순위': '51위', '제목': 'Shut Down', '가수': '(여자)아이들'},
 {'순위': '52위', '제목': '다정히 내 이름을 부르면', '가수': 'IVE (아이브)'},
 {'순위': '53위', '제목': 'ELEVEN', '가수': 'aespa'},
 {'순위': '54위', '제목': 'Allergy', '가수': 'IVE (아이브)'},
 {'순위': '55위', '제목': 'Heaven (2023)', '가수': 'LE SSERAFIM (르세라핌)'},
 {'순위': '56위', '제목': 'KNOCK', '가수': 'BLACKPINK'},
 {'순위': '57위', '제목': '그때 그 순간 그대로 (그그그)', '가수': '경서예지 & 전건호'},
 {'순위': '58위', '제목': 'Dynamite', '가수': 'IVE (아이브)'},
 {'순위': '59위', '제목': 'Monologue', '가수': '(여자)아이들'},
 {'순위': '60위', '제목': '새삥 (Prod. by ZICO) (Feat. 호미들)', '가수': '임재현'},
 {'순위': '61위', '제목': 'Stay', '가수': '이채연'},
 {'순위': '62위', '제목': '나의 X에게', '가수': 'WSG워너비 (가야G)'},
 {'순위': '63위', '제목': '너의 모든 순간', '가수': '방탄소년단'},
 {'순위': '64위', '제목': '사랑..그게 뭔데', '가수': '테이 (Tei)'},
 {'순위': '65위', '제목': 'When I Get Old', '가수': '지코 (ZICO)'},
 {'순위': '66위',
  '제목': '나의 바람 (Wind And Wish)',
  '가수': 'The Kid LAROI & Justin Bieber'},
 {'순위': '67위', '제목': '내가 아니라도', '가수': '경서'},
 {'순위': '68위', '제목': '해요 (2022)', '가수': '성시경'},
 {'순위': '69위', '제목': '찬란한 하루', '가수': '지아 (Zia)'},
 {'순위': '70위',
  '제목': 'Loving You Girl (Feat. Hkeem)',
  '가수': 'Christopher & 청하'},
 {'순위': '71위', '제목': '오르트구름', '가수': '비투비'},
 {'순위': '72위',
  '제목': 'Dreamers (Music from the FIFA World Cup Qatar 2022 Official Soundtrack) (Feat. FIFA Sound)',
  '가수': '주호'},
 {'순위': '73위', '제목': 'Pink Venom', '가수': '#안녕'},
 {'순위': '74위', '제목': '주저하는 연인들을 위해', '가수': '멜로망스 (MeloMance)'},
 {'순위': '75위', '제목': 'FEARLESS', '가수': 'Peder Elias'},
 {'순위': '76위', '제목': '2002', '가수': '윤하 (YOUNHA)'},
 {'순위': '77위', '제목': 'Every Second', '가수': '정국 & 방탄소년단'},
 {'순위': '78위', '제목': '에잇 (Prod. & Feat. SUGA of BTS)', '가수': 'BLACKPINK'},
 {'순위': '79위', '제목': 'Thirsty', '가수': '잔나비'},
 {'순위': '80위', '제목': '정이라고 하자 (Feat. 10CM)', '가수': 'LE SSERAFIM (르세라핌)'},
 {'순위': '81위', '제목': 'Cookie', '가수': 'Anne-Marie'},
 {'순위': '82위', '제목': '헤픈 우연', '가수': 'Mina Okabe'},
 {'순위': '83위', '제목': 'Butter', '가수': '아이유 (IU)'},
 {'순위': '84위', '제목': '신호등', '가수': 'aespa'},
 {'순위': '85위', '제목': '그중에 그대를 만나', '가수': 'BIG Naughty (서동현)'},
 {'순위': '86위', '제목': '첫 키스에 내 심장은 120BPM', '가수': 'NewJeans'},
 {'순위': '87위', '제목': 'VIBE (Feat. Jimin of BTS)', '가수': '헤이즈 (Heize)'},
 {'순위': '88위', '제목': '봄날', '가수': '방탄소년단'},
 {'순위': '89위', '제목': '보고싶었어', '가수': '이무진'},
 {'순위': '90위', '제목': '잠깐 시간 될까', '가수': '김호중'},
 {'순위': '91위', '제목': 'Celebrity', '가수': '경서'},
 {'순위': '92위', '제목': 'At My Worst', '가수': '태양'},
 {'순위': '93위', '제목': 'Off My Face', '가수': '방탄소년단'},
 {'순위': '94위', '제목': '밤하늘의 별을 (2020)', '가수': 'WSG워너비 (4FIRE)'},
 {'순위': '95위', '제목': '모든 날, 모든 순간 (Every day, Every Moment)', '가수': '이무진'},
 {'순위': '96위', '제목': 'Say I Love You', '가수': '아이유 (IU)'},
 {'순위': '97위', '제목': 'Love Me Like This', '가수': 'Pink Sweat$'},
 {'순위': '98위', '제목': '희재', '가수': 'Justin Bieber'},
 {'순위': '99위', '제목': '나의 목소리로', '가수': '경서'},
 {'순위': '100위', '제목': '봄여름가을겨울 (Still Life)', '가수': '폴킴'},
 {'순위': '101위', '제목': 'Unholy', '가수': '(여자)아이들'},
 {'순위': '102위',
  '제목': 'NOT SORRY (Feat. pH-1) (Prod. by Slom)',
  '가수': 'IVE (아이브)'},
 {'순위': '103위', '제목': 'Ai Wo Tsutaetaidatoka', '가수': 'aespa'},
 {'순위': '104위', '제목': '상록수', '가수': 'IVE (아이브)'},
 {'순위': '105위',
  '제목': "That's Not How This Works (Feat. Dan ＋ Shay)",
  '가수': 'LE SSERAFIM (르세라핌)'},
 {'순위': '106위',
  '제목': '밤이 무서워요 (Lonely Night)',
  '가수': 'Sam Smith & Kim Petras'},
 {'순위': '107위', '제목': 'INVU', '가수': '이영지'},
 {'순위': '108위', '제목': '한사람만 (2023) (여름날 우리 X 이홍기 (FT아일랜드))', '가수': 'Aimyon'},
 {'순위': '109위', '제목': 'Candy', '가수': '이우'},
 {'순위': '110위', '제목': 'Bad Habits', '가수': 'Charlie Puth'},
 {'순위': '111위', '제목': '흔들리는 꽃들 속에서 네 샴푸향이 느껴진거야', '가수': '주주 시크릿'},
 {'순위': '112위', '제목': '빙글빙글 (Prod. by R.Tee)', '가수': '태연 (TAEYEON)'},
 {'순위': '113위', '제목': '딱 10CM만', '가수': '이홍기 (FT아일랜드)'},
 {'순위': '114위', '제목': 'Blueming', '가수': 'NCT DREAM'},
 {'순위': '115위', '제목': '안녕이라고 말하지마', '가수': 'Ed Sheeran'},
 {'순위': '116위', '제목': 'LOVE me', '가수': '장범준'},
 {'순위': '117위', '제목': '만개 (Prod. 신지후)', '가수': '헤이즈 (Heize)'},
 {'순위': '118위', '제목': 'Nostalgia', '가수': '10CM & BIG Naughty (서동현)'},
 {'순위': '119위',
  '제목': 'That That (Prod. & Feat. SUGA of BTS)',
  '가수': '아이유 (IU)'},
 {'순위': '120위', '제목': 'Rush Hour (Feat. j-hope of BTS)', '가수': 'V.O.S'},
 {'순위': '121위', '제목': '인생은 뷰티풀', '가수': "BE'O (비오)"},
 {'순위': '122위', '제목': '떠나보낼 준비해 둘걸 그랬어', '가수': '김호중'},
 {'순위': '123위', '제목': '고백', '가수': '우디 (Woody)'},
 {'순위': '124위', '제목': '자격지심 (Feat. ZICO)', '가수': '싸이 (Psy)'},
 {'순위': '125위', '제목': '슬픈등', '가수': 'Crush'},
 {'순위': '126위', '제목': '이 새벽에 전화하는 건', '가수': '김호중'},
 {'순위': '127위', '제목': '10,000 Hours', '가수': '임한별'},
 {'순위': '128위', '제목': '당신을 만나', '가수': '멜로망스 (MeloMance)'},
 {'순위': '129위', '제목': 'FRIEND THE END', '가수': "BE'O (비오)"},
 {'순위': '130위', '제목': '사랑하지 않아서 그랬어', '가수': '김호중'},
 {'순위': '131위', '제목': '내 기쁨은 너가 벤틀리를 끄는 거야', '가수': '황인욱'},
 {'순위': '132위', '제목': "I Ain't Worried", '가수': 'Dan ＋ Shay & Justin Bieber'},
 {'순위': '133위', '제목': 'Like Crazy', '가수': '김호중 & 송가인'},
 {'순위': '134위', '제목': 'Weekend', '가수': '볼빨간사춘기'},
 {'순위': '135위', '제목': '오늘도 빛나는 너에게 (To You My Light) (Feat.이라온)', '가수': '임한별'},
 {'순위': '136위', '제목': '한강에서 (Feat. BIG Naughty)', '가수': '김승민'},
 {'순위': '137위', '제목': 'Next Level', '가수': 'OneRepublic'},
 {'순위': '138위', '제목': 'Bad', '가수': '지민'},
 {'순위': '139위', '제목': 'Permission to Dance', '가수': '태연 (TAEYEON)'},
 {'순위': '140위', '제목': 'Love story', '가수': '마크툽 (Maktub)'},
 {'순위': '141위', '제목': "Stronger (What Doesn't Kill You)", '가수': '폴킴'},
 {'순위': '142위',
  '제목': 'Left and Right (Feat. Jung Kook of BTS)',
  '가수': 'aespa'},
 {'순위': '143위', '제목': '발걸음', '가수': 'Christopher'},
 {'순위': '144위', '제목': '나보다 더 사랑해요', '가수': '방탄소년단'},
 {'순위': '145위', '제목': '부동의 첫사랑', '가수': '볼빨간사춘기'},
 {'순위': '146위', '제목': 'Fall In Love Alone', '가수': 'Kelly Clarkson'},
 {'순위': '147위', '제목': 'Feel My Rhythm', '가수': 'Charlie Puth & 정국 & 방탄소년단'},
 {'순위': '148위', '제목': '주마등', '가수': 'DK (디셈버)'},
 {'순위': '149위', '제목': 'strawberry moon', '가수': '김호중'},
 {'순위': '150위', '제목': 'OHAYO MY NIGHT', '가수': '10CM'},
 {'순위': '151위', '제목': '어떻게 이별까지 사랑하겠어, 널 사랑하는 거지', '가수': '(여자)아이들'},
 {'순위': '152위', '제목': '사람 Pt.2 (Feat. 아이유)', '가수': 'IVE (아이브)'},
 {'순위': '153위', '제목': '내 손을 잡아', '가수': 'aespa'},
 {'순위': '154위', '제목': 'Made You Look', '가수': 'IVE (아이브)'},
 {'순위': '155위',
  '제목': '찰나가 영원이 될 때 (The Eternal Moment)',
  '가수': 'LE SSERAFIM (르세라핌)'},
 {'순위': '156위', '제목': '노래방에서', '가수': 'AKMU (악뮤)'},
 {'순위': '157위', '제목': '다시 사랑한다면 (니글니글 버터플라이)', '가수': 'Agust D'},
 {'순위': '158위',
  '제목': 'Angel Pt. 1 (Feat. JVKE & Muni Long) (FAST X Soundtrack)',
  '가수': '아이유 (IU)'},
 {'순위': '159위', '제목': '빛이 나는 사람', '가수': 'Meghan Trainor'},
 {'순위': '160위', '제목': 'Tiny Riot', '가수': '마크툽 (Maktub)'},
 {'순위': '161위', '제목': 'All I Wanna Do (K) (Feat. Hoody & Loco)', '가수': '장범준'},
 {'순위': '162위', '제목': 'F*ck My Life', '가수': '김필'},
 {'순위': '163위', '제목': '바라만 본다', '가수': '지민'},
 {'순위': '164위', '제목': '첫눈처럼 너에게 가겠다', '가수': '김호중'},
 {'순위': '165위', '제목': '뜨거운 여름밤은 가고 남은 건 볼품없지만', '가수': 'Sam Ryder'},
 {'순위': '166위', '제목': '예뻤어', '가수': '박재범'},
 {'순위': '167위', '제목': 'Yet To Come', '가수': '세븐틴 (SEVENTEEN)'},
 {'순위': '168위', '제목': '우주를 줄게', '가수': 'MSG워너비 (M.O.M)'},
 {'순위': '169위', '제목': '한 페이지가 될 수 있게', '가수': '에일리 (Ailee)'},
 {'순위': '170위', '제목': '12 : 45 (Stripped)', '가수': '잔나비'},
 {'순위': '171위', '제목': '우린 그렇게 사랑해서', '가수': 'DAY6 (데이식스)'},
 {'순위': '172위', '제목': '약속 (約束)', '가수': '방탄소년단'},
 {'순위': '173위', '제목': '라일락', '가수': '볼빨간사춘기'},
 {'순위': '174위', '제목': '그리움의 계절', '가수': 'DAY6 (데이식스)'},
 {'순위': '175위', '제목': '있잖아', '가수': 'etham'},
 {'순위': '176위', '제목': '아로하', '가수': '강민경 (다비치) & 잔나비 최정훈'},
 {'순위': '177위', '제목': '그리워하다', '가수': '김호중'},
 {'순위': '178위', '제목': 'Il Mare Calmo Della Sera', '가수': '아이유 (IU)'},
 {'순위': '179위', '제목': 'Shape Of You', '가수': '김호중'},
 {'순위': '180위', '제목': '새벽에 걸려온 너의 전화는', '가수': '폴킴'},
 {'순위': '181위', '제목': '오래된 노래', '가수': '조정석'},
 {'순위': '182위', '제목': '이 세상 끝까지', '가수': '비투비'},
 {'순위': '183위', '제목': '잘가요', '가수': '김호중'},
 {'순위': '184위', '제목': 'Memories', '가수': 'Ed Sheeran'},
 {'순위': '185위', '제목': 'Salty & Sweet', '가수': '한동근'},
 {'순위': '186위', '제목': '풍등', '가수': 'Standing Egg (스탠딩 에그)'},
 {'순위': '187위', '제목': 'GHOST TOWN', '가수': '먼데이 키즈 (Monday Kiz) & #안녕'},
 {'순위': '188위', '제목': '팡파레', '가수': '주호'},
 {'순위': '189위', '제목': 'I (Feat. 버벌진트)', '가수': 'Maroon 5'},
 {'순위': '190위', '제목': '한여름밤의 꿀', '가수': 'aespa'},
 {'순위': '191위', '제목': '도깨비불 (Illusion)', '가수': '이찬원'},
 {'순위': '192위', '제목': '그대를 알고', '가수': 'Benson Boone'},
 {'순위': '193위', '제목': 'Fine', '가수': '다비치'},
 {'순위': '194위', '제목': '자니 (Feat. DYNAMICDUO)', '가수': '태연 (TAEYEON)'},
 {'순위': '195위', '제목': 'Touch My Body', '가수': 'San E (산이) & 레이나'},
 {'순위': '196위', '제목': '하루 끝', '가수': 'aespa'},
 {'순위': '197위', '제목': 'SHAKE IT', '가수': '송하예'},
 {'순위': '198위', '제목': '커피한잔할래요', '가수': '태연 (TAEYEON)'},
 {'순위': '199위', '제목': '제주도의 푸른 밤', '가수': '프라이머리'},
 {'순위': '200위', '제목': '사랑했나봐', '가수': '씨스타 (Sistar)'}]

In [ ]:

df_chart = pd.DataFrame(chart)
df_chart

Out[ ]:

	순위	제목	가수
0	1위	퀸카 (Queencard)	(여자)아이들
1	2위	I AM	IVE (아이브)
2	3위	Spicy	aespa
3	4위	Kitsch	IVE (아이브)
4	5위	UNFORGIVEN (Feat. Nile Rodgers)	LE SSERAFIM (르세라핌)
...	...	...	...
195	196위	하루 끝	aespa
196	197위	SHAKE IT	송하예
197	198위	커피한잔할래요	태연 (TAEYEON)
198	199위	제주도의 푸른 밤	프라이머리
199	200위	사랑했나봐	씨스타 (Sistar)

200 rows × 3 columns

In [ ]:

df_chart.to_excel('genie_chart.xlsx')

728x90

'파이썬 크롤링' 카테고리의 다른 글

(Python) 픽사베이 이미지 크롤링 (0)	2023.06.09
(Python) 인스타그램 크롤링 (0)	2023.06.09
(Python) 셀레니옴 (1)	2023.06.09

'파이썬 크롤링' Related Articles

Comments

« 2025/04 »
일	월	화	수	목	금	토
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30

흰둥이는 코드를 짤 때 짖어 (왈!왈!왈!왈!왈!왈!왈!왈!왈!왈!왈!)

(Python) 크롤링 본문

(Python) 크롤링

1. Basic English Speaking

2. 다음 뉴스기사

3. 벅스 뮤직 차트

4. 멜론 차트

5. 네이버 주식

'파이썬 크롤링' 카테고리의 다른 글

티스토리툴바