很多小伙伴在使用python爬虫抓取数据下来之后会对数据进行清洗等处理,但是清洗完成后的数据输出完在关闭程序后就会销毁,那怎么将这个程序中产生的数据保存下来呢。下文会介绍保存python程序数据的方法,往下看看吧。
一、文本数据
如果全是字符串或者是数字类型的文本数据的话可以将其保存在txt文件之中,但是txt文件中的数据不会按照行列的格式排序的,虽然可以手动设置但是非常麻烦,保存在文本文件里的示例如下:
# 使用open()函数创建一个txt文件 with open('D:/PythonWorkSpace/TestData/pinglun.txt','w',encoding='utf-8') as f: # 使用循环去逐行的将数据保存到txt文件之中并换行 for i in comments: print(i) f.write(i+'') # 使用with就不用去关闭这个文件了
二、表格数据
(1)在很多时候整理完成后的数据是以一行一列的表格形式保存在对象之中,想要保存这个数据在文件中的话需要使用pandas库保存在csv文件,也就是以纯文本形式存储表格数据,示例如下:
# 导入模块 import pandas as pd # 创建一个随机的表格 df = pd.DataFrame(np.random.randn(10,4)) # 保存文件到csv文件中 df.to_csv('D:/Python/Data/PandasNumpy.csv')
(2)还有一个方法就是将数据保存在数据库之中,下面以mysql数据库为例子:
# 导入mysql数据库模块 import pymysql.cursors # 创建数据库连接对象,这里的参数要根据自己的数据库信息更改 connection=pymysql.connect(host='localhost',user='root',password='123456',db='wikiurl',charset='utf8') # 创建数据库添加语句并执行 sql = "insert into urls values(list) cursor.execute(sql)
以上就是python保存程序产生数据的几种方法了,希望对你有所帮助。