使用pymongo对某一字段进行sort时出现了致命错误 报错内容 $ pipenv run python spiders/weibo.py Traceback (most recent call last): File "spiders/weibo.py", line 241,...
程序开发
程序开发
程序开发
python爬虫避免重复爬取网页
在使用爬虫爬取网页信息的时候，如果只爬取固定的网页还好，但是如果从一个网页的源码中解析出其他的链接，爬虫爬取到其他的网页，这样就会出现一个问题，如何确定这个网页我爬取过，如何设置爬取的网页不再爬取。本文地址 本篇文章实现避免重复爬取的思路是：将爬取过的网页的链接和该网页的信息以键值对的形式保存到数据...
程序开发
python3使用pymongo出现的错误
在使用python3连接mongodb时出现的错误 在程序中连接数据库，出现以下错误 pymongo.errors.ServerSelectionTimeoutError: localhost:27017: Connection refused 错误是mongodb数据库没有启动，无法连接到数据库，...
数据管理
MongoDB数据的导出、导入、备份、恢复
mongodb数据库是一种非关系性的数据库，在日常的工作中用到的也是很多的，接下来介绍一下mongodb数据的导出、导入、备份、恢复，掌握这些技能避免数据丢失 使用的工具主要有 - mongoexport数据导出 - mongoimport数据导入 - mongodump数据备份 - mongore...
