使用pipenv工具时出现的问题 程序开发

使用pipenv工具时出现的问题

使用pipenv管理python的包,并且把虚拟环境也集成到工具中,我们可以很方便的启动python运行的虚拟环境,减少因包的版本不同出现的问题。 以下内容是作者在日常工作中使用pipenv出现的问题 报错内容 Traceback (most recent call last): File &quo...
阅读全文
python爬虫避免重复爬取网页 程序开发

python爬虫避免重复爬取网页

在使用爬虫爬取网页信息的时候,如果只爬取固定的网页还好,但是如果从一个网页的源码中解析出其他的链接,爬虫爬取到其他的网页,这样就会出现一个问题,如何确定这个网页我爬取过,如何设置爬取的网页不再爬取。本文地址 本篇文章实现避免重复爬取的思路是:将爬取过的网页的链接和该网页的信息以键值对的形式保存到数据...
阅读全文
python新手使用Beautiful Soup4常见错误 程序开发

python新手使用Beautiful Soup4常见错误

使用Beautiful Soup4的get_text方法出现的错误 作为一名pyhton新手,入手一个款html解析框架Beautiful Soup4,在使用的过程中确实非常的方便,比起自己写正则匹配要爽的多,不过在使用的过程中也遇到了一些坑,不踩一踩这些坑都不好意思说自己是一名新手。 在提取页面中...
阅读全文
python使用BeautifulSoup出现内容乱码 程序开发

python使用BeautifulSoup出现内容乱码

Beautiful Soup在爬取页面的时候,返回的内容出现乱码,Beautiful Soup默认使用的是utf-8的编码格式,为请求设置编码 内容乱码 一开始的时候使用这样的方式去抓取数据,发现返回的数据内容中文出现乱码 req = requests.get(url, headers=header...
阅读全文
python学习资源 程序开发

python学习资源

资源列表 环境管理 管理 Python 版本和环境的工具 p:非常简单的交互式 python 版本管理工具。官网 pyenv:简单的 Python 版本管理工具。官网 Vex:可以在虚拟环境中执行命令。官网 virtualenv:创建独立 Python 环境的工具。官网 virtualenvwrap...
阅读全文