网站首页 > 精选教程 正文
《大数据和人工智能交流》头条号向广大初学者新增C 、Java 、Python 、Scala、javascript 等目前流行的计算机、大数据编程语言,希望大家以后关注本头条号更多的内容。
使用python编写3个线程同时采集商品“新品上架”的信息:
一、页面参考信息
页面部分代码如下:
- 大牌狂降价,三折直送
- 大学老师开网店
- 黑眼圈推荐,美白不停
- 瘦身狂潮风,修形之选
- 大牌狂降价,三折直送
- 大学老师开网店
- 黑眼圈推荐,美白不停
- 瘦身狂潮风,修形之选
- 大牌狂降价,三折直送
- 大学要求老师开网店
- 黑眼圈推荐,美白不停
- 瘦身狂潮风,修形之选
- 大牌狂降价,三折直送
- 大学老师开网店
- 黑眼圈推荐,美白不停
- 瘦身狂潮风,修形之选
- 黑眼圈推荐,美白不停
- 瘦身狂潮风,修形之选
- 大牌狂降价,三折直送
二、参考代码
from bs4 import BeautifulSoup
import threading # 导入线程库
import time
# 打开文件
with open('index.html', encoding="GB2312") as data:
content = data.read()
soup = BeautifulSoup(content, 'html.parser')
# 得到数据
datas = soup.find_all('div', attrs={'id': 'dome1'})
labels = datas[0].find_all('dl')
# 爬取数据
def print_label(threadName, labels):
for label in labels:
time.sleep(i // 10)
info = label.find_all('dd')
print("线程%d获取到数据:=====%s\n"%(threadName,info[0].get_text()))
threads = []
# 创建线程对象
for i in range(3):
split = int(len(labels) / 3)
if i == 2:
# 创建新线程并添加到线程列表
threads.append(threading.Thread(target=print_label, args=(i, labels[split * i:])))
else:
threads.append(threading.Thread(target=print_label, args=(i, labels[split * i:split * (i + 1)])))
# 运行线程
for th in threads:
th.start()
# 等待线程退出
for th in threads:
th.join()
print("finished")
猜你喜欢
- 2025-03-28 Python入门系列20-Python内置数据结构之字典
- 2025-03-28 从0教你用Python写网络爬虫,内容详细代码清晰,适合入门学习
- 2025-03-28 静态网页爬虫①(静态网页爬取实验报告)
- 2025-03-28 大数据采集系统架构方案(大数据平台数据采集系统)
- 2025-03-28 LPL比赛数据可视化,完成这个项目,用尽了我的所有Python知识
- 2025-03-28 网络爬虫开源框架(爬虫框架scrapy)
- 2025-03-28 python爬虫常用工具库总结(python爬虫工具下载)
- 2025-03-28 教您使用DynamicGecco抓取JD全部商品信息
- 2025-03-28 大数据公司发家第一步的爬虫技术,今天就来调试个开源爬虫项目
- 2025-03-28 「爬虫教程」第一章:python爬虫基础教程
你 发表评论:
欢迎- 05-16原来汇编中的循环是这么玩儿的
- 05-16什么?Java 中的锁还有状态?
- 05-161.4、Java流程控制语句详解
- 05-16Java基础-循环语句
- 05-16Java虚拟机和Dalvik虚拟机有哪些区别和不同?
- 05-16Java、Python、C语言?5大热门编程语言,我该怎么选?
- 05-16java的就业方向有哪些
- 05-16java好学吗?java是不是最难学的语言?
- 最近发表
- 标签列表
-
- nginx反向代理 (57)
- nginx日志 (56)
- nginx限制ip访问 (62)
- mac安装nginx (55)
- java和mysql (59)
- java中final (62)
- win10安装java (72)
- java启动参数 (64)
- java链表反转 (64)
- 字符串反转java (72)
- java逻辑运算符 (59)
- java 请求url (65)
- java信号量 (57)
- java定义枚举 (59)
- java字符串压缩 (56)
- java中的反射 (59)
- java 三维数组 (55)
- java插入排序 (68)
- java线程的状态 (62)
- java异步调用 (55)
- java中的异常处理 (62)
- java锁机制 (54)
- java静态内部类 (55)
- java怎么添加图片 (60)
- java 权限框架 (55)
本文暂时没有评论,来添加一个吧(●'◡'●)