Python栏目-阿沛IT博客

Python

python 多线程 + DBUtils连接池操作数据库（附python之GIL）

发布时间:2020-03-06 14:08

import os,threading from DBUtils.PooledDB import PooledDB import pymysql,random,time from queue i

Python

Python数据可视化（一） matplotlib,seaborn,pandas绘制折线图和饼图

发布时间:2020-01-06 16:57

1.绘制饼图# coding=utf-8 import matplotlib.pyplot as plt import seaborn as sns import pandas as pd plt.

Python

python+selenium模拟百度搜索并点击链接

发布时间:2020-01-04 10:23

本文使用python+selenium模拟百度搜索关键词,并根据需要点击自己想要的链接（会自动翻页）。废话不多说，直接上代码# coding=utf-8 from selenium import we

Python

Python数据分析基础（十） Numpy数组操作

发布时间:2020-01-03 20:31

本节介绍有关Python数值运算的numpy模块，进而为后面章节的统计运算和机器学习打下基础,具体内容有：数组的创建与操作；数组的基本数学运算；常用数学和统计函数；线性代数的求解；伪随机数的

Python

爬虫进阶之Scrapy（七）使用selenium模拟浏览器动态爬取

发布时间:2019-12-26 16:50

续上一章 scrapy中的反反爬虫技术使用selenium模块进行动态爬取有一些网站的内容是通过js动态加载的,例如使用ajax请求,这样动态加载的内容无法出现在源代码中,我们就无法获取到这

Python

爬虫进阶之Scrapy（六） scrapy中的反反爬虫技术

发布时间:2019-12-26 15:56

所谓反爬虫就是被爬取的网站通过一定的技术手段如判断User-Agent或者限制IP等方式防止爬虫爬取,而反反爬虫则是有针对性的通过技术手段突破这些限制,依旧爬取到想获取的信息。本文主要介绍几个实用的反

Python

爬虫进阶之Scrapy（五）爬取jobbole伯乐网文章

发布时间:2019-12-26 14:39

本文通过爬取jobbole伯乐网讲解scrapy爬虫的三个使用小技巧,包括如何编写脚本执行爬虫,在pipeline使用twisted异步数据入库以及在item容器中预处理爬取到的字段。爬取的域名是：b

Python

Python数据分析小案例——红楼梦文本分析（三） KMeans聚类

发布时间:2019-12-23 10:25

文本聚类分析：使用红楼梦每章分词的结果对红楼梦的章节进行聚类分析，也就是将章节分成几类，内容主题相似的章节分成一类。聚类分析使用的数据是文本的TF-IDF矩阵。TF-IDF是词频逆文档频率，即如果某个

Python

Python数据分析小案例——红楼梦文本分析（二）文本分词

发布时间:2019-12-23 10:09

本文续上一篇文章,对红楼梦文本进行全文分词和每一章节分词,对分词进行统计以及根据分词频率绘制全文的词云图和每一章节的词云图   废话不多说,我们直接上代码这里说明一下,

Python

Python数据分析小案例——红楼梦文本分析（一）文本预处理

发布时间:2019-12-20 15:59

本文开始介绍一个简单的数据分析案例,分析红楼梦文本,本文主要内容是将红楼梦文本按照章节获取每一回的标题,字数,段落数并保存到csv中方便后续数据分析   红楼梦小说文本可以在这里

Python

Python：使用jieba分词和wordcloud实现词云

发布时间:2019-12-17 14:21

词云是对网络文本中出现频率较高的关键词予以视觉上的突出。安装结巴库和词云库pip install jiebapip install wordcloudjieba是分词工具，下面是其使用jieba.cu

Python

python图像处理基础之PIL和opencv

发布时间:2019-12-16 14:49

python图像处理基础pip install pillow 安装PIL库1.读取图片from PIL import Image import numpy as np #打开图片 img =

Python

Python数据分析基础（九）使用Seaborn绘制图像

发布时间:2019-12-16 14:25

Seaborn是基于matplotlib的Python可视化库。它提供了一个高级界面来绘制有吸引力的统计图形。可以使得数据可视化更加的方便，美观。关于Seaborn的学习，推荐去官网，里边有详细的教程

Python

Python数据分析基础（八）使用Matplotlib实现数据可视化

发布时间:2019-12-12 14:56

Python数据可视化是将数据以图形或者表格的形式展示这里会使用到matplotlib这个库   1.点图和线图 plt.plot(x,y,format_string,

Python

Python数据分析基础之Pandas（七）简单数据分析

发布时间:2019-12-11 15:16

这节介绍如何使用pandas做简单的数据分析,内容包括基本统计分析、分组分析、分布分析、交叉分析（透视表）、结构分析和相关性分析以下实例数据文件,可以从该站内链接获取 Python数据分

Python

爬虫进阶之Scrapy（四） scrapy爬取豆瓣图书Top250下所有图书

发布时间:2019-12-10 14:57

本节通过使用scrapy爬取豆瓣图书top250下所有图书来介绍如何使用scrapy爬取多列表页的内容,以及介绍更多scrapy的用法如图所示:豆瓣图书列表页豆瓣图书详情页上图所示打了红色框框的就是要

Python

Python数据分析基础之Pandas（六）数据计算

发布时间:2019-12-10 14:22

本节继续介绍pandas的数据操作,这里介绍数据计算,包括数据的简单计算、数据标准化以及pandas中对日期的处理。最后做一个小实例为pandas做一个综合总结。这里提供练习的文件：链接：https:

Python

Python数据分析基础之Pandas（五）数据抽取，索引，排序，合并

发布时间:2019-12-09 17:19

数据抽取就是从原始数据集中根据某些条件抽取出一小段所需的数据如随机抽取、按照索引抽取，此外本节还会介绍其他的DataFrame的操作包括排序，重置索引，交换行或列等   1.字段

Python

Python数据分析基础之Pandas（四）数据处理之数据清洗

发布时间:2019-12-09 16:27

数据清洗就是处理缺失数据以及清除无意义的信息,如删除原始数据集中的无关数据,重复数据,平滑噪声数据,筛选掉与分析主题无关的数据,处理缺失值和异常值等1.重复值处理先用Pandas 的 duplicat

Python

爬虫进阶之Scrapy（三）使用scrapy某新闻网并存到数据库

发布时间:2019-12-06 16:31

本节我们通过爬取一个新闻网站的新闻来介绍scrapy的pipeline,以及如何在pipeline中将爬取到的数据写入到数据库中。首先是我们要爬取的内容是https://www.chinanews.c