本文目录一览：
python读取mysql数据写入ES总结
准备工作： mysql库的安装。
python中mysql库用的是mysql-connector，安装执行如下命令：
第一步： 连接mysql，读取数据。
通过执行sql语句，读取mysql数据。
至此，获得mysql的原始数据raw_data 。接下来对数据进行预处理，按日期进行分组聚合，然后重命名行和列名，得到dataFrame格式的数据。
第二步： 连接ES。
这步没有太多的可解释的地方，就是配置信息。
第三步： ES主键加密。
这步的目的是为了保持主键唯一性，防止重复写入。用的方法是md5加密。
第四步： 写入ES
至此，一切的准备工作都做好了，数据也有了，主键加密也做了，就开始写入了。
用main方法执行以上方法：
最后查看一下ES写的是否成功，用查询方法
如果返回以下信息，说明ES里成功插入了数据。
另外，ES删除索引的操作：
python 读取文本数据
两种方法
1、python读取文件后，解析value中的id，存储到list中，再读另一个文件时，去list里判断是否已存在
2、python读取另一个文件后，解析values中的id，脚本直接去数据库判断是否存在
其实数据库可以设计id未主键，这样你直接insert即可，出错的话，数据库会容错
python 怎么从excel中读取数据
#导入包
import xlrd
#设置路径
path=’C:\\Users\\jyjh\\Desktop\\datap.xlsx’
#打开文件
data=xlrd.open_workbook(path)
#查询工作表
sheets=data.sheets()
sheets
可以通过函数、索引、名称获得工作表。
sheet_1_by_function=data.sheets()[0]
sheet_1_by_index=data.sheet_by_index(0)
sheet_1_by_name=data.sheet_by_name(u’Sheet1′)
可以通过方法获得某一列或者某一行的数值。
sheet_1_by_name.row_values(1)
sheet_1_by_name.col_values(1)
通过工作表的属性获得行数和列数。
n_of_rows=sheet_1_by_name.nrows
n_of_cols=sheet_1_by_name.ncols
也可以用一个循环来遍历一次文件。
for i in range(n_of_rows):
print sheet_1_by_name.row_values(i)
可以通过以下的任意一种方式访问单元格的数值。
cell_A1=sheet_1_by_name.cell(0,0).value
cell_A1=sheet_1_by_name.row(0)[0].value
cell_A1=sheet_1_by_name.col(0)[0].value
最后通过以下的方法对单元格的数值进行修改。
row=0
col=0
#ctype 0:empty,1:string,2:number,3:date,4:boolean,5:error
cell_type=1
value=’Hello,Excel’
cell_A1=sheet_1_by_name.cell(0,0).value
format=0
sheet_1_by_name.put_cell(row,col,cell_type,value,format)
cell_A1=sheet_1_by_name.cell(0,0).value
Python[1] （英国发音：/ˈpaɪθən/ 美国发音：/ˈpaɪθɑːn/）, 是一种面向对象的解释型计算机程序设计语言，由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。
Python是纯粹的自由软件， 源代码和解释器CPython遵循 GPL(GNU General Public License)协议。Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。
Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。
7月20日，IEEE发布2017年编程语言排行榜：Python高居首位。
python可以读取数据库里文档吗
python读取文件内容的方法：
一.最方便的方法是一次性读取文件中的所有内容并放置到一个大字符串中：
all_the_text = open(‘thefile.txt’).read( )
# 文本文件中的所有文本
all_the_data = open(‘abinfile’,’rb’).read( )
# 二进制文件中的所有数据
为了安全起见，最好还是给打开的文件对象指定一个名字，这样在完成操作之后可以迅速关闭文件，防止一些无用的文件对象占用内存。举个例子，对文本文件读取：
file_object = open(‘thefile.txt’)
try:
all_the_text = file_object.read( )
finally:
file_object.close( )
不一定要在这里用Try/finally语句，但是用了效果更好，因为它可以保证文件对象被关闭，即使在读取中发生了严重错误。
二.最简单、最快，也最具Python风格的方法是逐行读取文本文件内容，并将读取的数据放置到一个字符串列表中：
list_of_all_the_lines = file_object.readlines( )
这样读出的每行文本末尾都带有”\n”符号；如果你不想这样，还有另一个替代的办法，比如：
list_of_all_the_lines = file_object.read( ).splitlines( )
list_of_all_the_lines = file_object.read( ).split(‘\n’)
list_of_all_the_lines = [L.rstrip(‘\n’) for L in file_object]
最简单最快的逐行处理文本文件的方法是，用一个简单的for循环语句：
for line in file_object:
process line
这种方法同样会在每行末尾留下”\n”符号；可以在for循环的主体部分加一句：
lineline = line.rstrip(‘\n’)
或者，你想去除每行的末尾的空白符（不只是’\n’\），常见的办法是：
lineline = line.rstrip( )
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/284899.html
微信扫一扫 
支付宝扫一扫 