爬虫实例之获取豆瓣前250名电影名称

爬虫实例之获取豆瓣前250名电影名称

代码：

import requests from bs4 import BeautifulSoup import time#程序开始时时间stat stat = time.time() #请求头信息，检查目标网页即可获取 headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36", 'Host': 'movie.douban.com' } #目标地址 url = 'https://movie.douban.com/top250' #创建列表 movie_list = [] #循环十页 for i in range(0,10):#拼接出目标地址link = url+'?'+'start='+str(i*25)#检查拼接结果print(link)# 发起请求，得到响应r，timeout=10十秒不响应就继续执行res = requests.get(link,headers=headers,timeout=10)#输出响应状态print(res.status_code)soup = BeautifulSoup(res.text,'html.parser')#获取标题divdiv_hd = soup.find_all('div',class_='hd')#获取导演div_bd = soup.find_all('div', class_='bd')#遍历标题div,找到所需信息for each in div_hd:#获取div下的a下的spantest_list = each.a.find_all('span',class_='title')test_title = ''for j in range(len(test_list)):test_title += test_list[j].text.strip()movie_list.append(test_title)# 休息3秒，避免爬的太快封iptime.sleep(3)#解决gbk中文乱码 with open('豆瓣250.txt',"a+",encoding="utf-8") as f:for i in range(len(movie_list)):#替换 字符串movie_list[i] = movie_list[i].replace(' ','')f.write(movie_list[i]+'\n') end = time.time() print('总时间是',end-stat)

结果：

肖申克的救赎/The Shawshank Redemption 霸王别姬 阿甘正传/Forrest Gump 这个杀手不太冷/Léon 泰坦尼克号/Titanic 美丽人生/La vita è bella 千与千寻/千と千尋の神隠し 辛德勒的名单/Schindler's List 盗梦空间/Inception 忠犬八公的故事/Hachi: A Dog's Tale 星际穿越/Interstellar 楚门的世界/The Truman Show 海上钢琴师/La leggenda del pianista sull'oceano 三傻大闹宝莱坞/3 Idiots 机器人总动员/WALL·E 放牛班的春天/Les choristes 无间道/無間道 疯狂动物城/Zootopia 大话西游之大圣娶亲/西遊記大結局之仙履奇緣 熔炉/도가니 教父/The Godfather 当幸福来敲门/The Pursuit of Happyness 龙猫/となりのトトロ 怦然心动/Flipped 控方证人/Witness for the Prosecution 触不可及/Intouchables 末代皇帝/The Last Emperor 蝙蝠侠：黑暗骑士/The Dark Knight 寻梦环游记/Coco 活着 指环王3：王者无敌/The Lord of the Rings: The Return of the King 哈利·波特与魔法石/Harry Potter and the Sorcerer's Stone 乱世佳人/Gone with the Wind 何以为家/كفرناحوم 飞屋环游记/Up 素媛/소원 摔跤吧！爸爸/Dangal 十二怒汉/12 Angry Men 少年派的奇幻漂流/Life of Pi 哈尔的移动城堡/ハウルの動く城 鬼子来了 我不是药神 大话西游之月光宝盒/西遊記第壹佰零壹回之月光寶盒 天空之城/天空の城ラピュタ 天堂电影院/Nuovo Cinema Paradiso 闻香识女人/Scent of a Woman 指环王2：双塔奇兵/The Lord of the Rings: The Two Towers 罗马假日/Roman Holiday 猫鼠游戏/Catch Me If You Can 辩护人/변호인 指环王1：护戒使者/The Lord of the Rings: The Fellowship of the Ring 钢琴家/The Pianist 大闹天宫 让子弹飞 教父2/The Godfather: Part Ⅱ 狮子王/The Lion King 死亡诗社/Dead Poets Society 搏击俱乐部/Fight Club 黑客帝国/The Matrix 海蒂和爷爷/Heidi 绿皮书/Green Book 饮食男女/飲食男女 美丽心灵/A Beautiful Mind 窃听风暴/Das Leben der Anderen 本杰明·巴顿奇事/The Curious Case of Benjamin Button 两杆大烟枪/Lock, Stock and Two Smoking Barrels 情书/Love Letter 穿条纹睡衣的男孩/The Boy in the Striped Pajamas 看不见的客人/Contratiempo 西西里的美丽传说/Malèna 飞越疯人院/One Flew Over the Cuckoo's Nest 拯救大兵瑞恩/Saving Private Ryan 音乐之声/The Sound of Music 小鞋子/بچه‌های آسمان 阿凡达/Avatar 海豚湾/The Cove 致命魔术/The Prestige 美国往事/Once Upon a Time in America 沉默的羔羊/The Silence of the Lambs 禁闭岛/Shutter Island 蝴蝶效应/The Butterfly Effect 低俗小说/Pulp Fiction 心灵捕手/Good Will Hunting 布达佩斯大饭店/The Grand Budapest Hotel 哈利·波特与死亡圣器(下)/Harry Potter and the Deathly Hallows: Part 2 春光乍泄/春光乍洩 七宗罪/Se7en 摩登时代/Modern Times 喜剧之王/喜劇之王 被嫌弃的松子的一生/嫌われ松子の一生 致命ID/Identity 杀人回忆/살인의 추억 加勒比海盗/Pirates of the Caribbean: The Curse of the Black Pearl 剪刀手爱德华/Edward Scissorhands 狩猎/Jagten 勇敢的心/Braveheart 请以你的名字呼唤我/Call Me by Your Name 红辣椒/パプリカ 7号房的礼物/7번방의 선물 断背山/Brokeback Mountain 天使爱美丽/Le fabuleux destin d'Amélie Poulain 功夫 超脱/Detachment 幽灵公主/もののけ姫 小森林 夏秋篇/リトル・フォレスト 夏・秋 第六感/The Sixth Sense 唐伯虎点秋香/唐伯虎點秋香 重庆森林/重慶森林 阳光灿烂的日子 爱在黎明破晓前/Before Sunrise 人生果实/人生フルーツ 一一 菊次郎的夏天/菊次郎の夏 蝙蝠侠：黑暗骑士崛起/The Dark Knight Rises 哈利·波特与阿兹卡班的囚徒/Harry Potter and the Prisoner of Azkaban 小森林 冬春篇/リトル・フォレスト 冬・春 消失的爱人/Gone Girl 无人知晓/誰も知らない 入殓师/おくりびと 超能陆战队/Big Hero 6 倩女幽魂 侧耳倾听/耳をすませば 完美的世界/A Perfect World 借东西的小人阿莉埃蒂/借りぐらしのアリエッティ 甜蜜蜜 爱在日落黄昏时/Before Sunset 萤火之森/蛍火の杜へ 驯龙高手/How to Train Your Dragon 玛丽和马克思/Mary and Max 幸福终点站/The Terminal 哈利·波特与密室/Harry Potter and the Chamber of Secrets 天书奇谭 大鱼/Big Fish 告白 阳光姐妹淘/써니 射雕英雄传之东成西就/射鵰英雄傳之東成西就 怪兽电力公司/Monsters, Inc. 时空恋旅人/About Time 恐怖直播/더 테러 라이브 神偷奶爸/Despicable Me 玩具总动员3/Toy Story 3 傲慢与偏见/Pride & Prejudice 教父3/The Godfather: Part III 釜山行/부산행 一个叫欧维的男人决定去死/En man som heter Ove 哪吒闹海 血战钢锯岭/Hacksaw Ridge 被解救的姜戈/Django Unchained 未麻的部屋/Perfect Blue 七武士/七人の侍 我是山姆/I Am Sam 头号玩家/Ready Player One 喜宴/囍宴 电锯惊魂/Saw 风之谷/風の谷のナウシカ 上帝之城/Cidade de Deus 新世界/신세계 卢旺达饭店/Hotel Rwanda 三块广告牌/Three Billboards Outside Ebbing, Missouri 英雄本色 疯狂原始人/The Croods 模仿游戏/The Imitation Game 谍影重重3/The Bourne Ultimatum 花样年华/花樣年華 黑客帝国3：矩阵革命/The Matrix Revolutions 寄生虫/기생충 纵横四海/緃横四海 达拉斯买家俱乐部/Dallas Buyers Club 头脑特工队/Inside Out 心迷宫 你的名字。/君の名は。 岁月神偷/歲月神偷 记忆碎片/Memento 忠犬八公物语/ハチ公物語 海街日记/海街diary 荒蛮故事/Relatos salvajes 哈利·波特与火焰杯/Harry Potter and the Goblet of Fire 惊魂记/Psycho 爆裂鼓手/Whiplash 真爱至上/Love Actually 贫民窟的百万富翁/Slumdog Millionaire 东邪西毒/東邪西毒 萤火虫之墓/火垂るの墓 小偷家族/万引き家族 绿里奇迹/The Green Mile 黑天鹅/Black Swan 无敌破坏王/Wreck-It Ralph 九品芝麻官 你看起来好像很好吃/おまえうまそうだな 爱在午夜降临前/Before Midnight 冰川时代/Ice Age 疯狂的石头 雨人/Rain Man 恋恋笔记本/The Notebook 恐怖游轮/Triangle 雨中曲/Singin' in the Rain 魔女宅急便/魔女の宅急便 色，戒 2001太空漫游/2001: A Space Odyssey 虎口脱险/La grande vadrouille 奇迹男孩/Wonder 城市之光/City Lights 海边的曼彻斯特/Manchester by the Sea 可可西里 人工智能/Artificial Intelligence: AI 初恋这件小事/สิ่งเล็กเล็กที่เรียกว่า...รัก 罗生门/羅生門 房间/Room 终结者2：审判日/Terminator 2: Judgment Day 大佛普拉斯 二十二 遗愿清单/The Bucket List 牯岭街少年杀人事件/牯嶺街少年殺人事件 源代码/Source Code 波西米亚狂想曲/Bohemian Rhapsody 青蛇 新龙门客栈/新龍門客棧 魂断蓝桥/Waterloo Bridge 疯狂的麦克斯4：狂暴之路/Mad Max: Fury Road 无耻混蛋/Inglourious Basterds 东京教父/東京ゴッドファーザーズ 步履不停/歩いても 歩いても 无间道2/無間道II 血钻/Blood Diamond 燃情岁月/Legends of the Fall 海洋/Océans 彗星来的那一夜/Coherence 谍影重重2/The Bourne Supremacy 战争之王/Lord of War 穿越时空的少女/時をかける少女 阿飞正传/阿飛正傳 千钧一发/Gattaca 地球上的星星/Taare Zameen Par 完美陌生人/Perfetti sconosciuti 黑客帝国2：重装上阵/The Matrix Reloaded 谍影重重/The Bourne Identity 东京物语/東京物語 崖上的波妞/崖の上のポニョ 香水/Perfume: The Story of a Murderer 我爱你/그대를 사랑합니다 茶馆 再次出发之纽约遇见你/Begin Again 朗读者/The Reader 聚焦/Spotlight 驴得水 浪潮/Die Welle 猜火车/Trainspotting 爱乐之城/La La Land 小萝莉的猴神大叔/Bajrangi Bhaijaan 背靠背，脸对脸

总结

以上是生活随笔为你收集整理的爬虫实例之获取豆瓣前250名电影名称的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。