关于爬取妹子图到mysql数据库的信息

• 1、怎么把爬取的数据放到mysql数据库里
• 2、如何将图片储存在MySQL数据库里？
• 3、python爬虫爬下来的数据怎么导入到MySQL

根据爬取到的数据的字段分类，设计mysql表进行存错，文本太长建议设置成text类型，就是普通的jdbc操作。。

解决方法一般有两种：

1、将图片保存的路径存储到数据库；

2、将图片以二进制数据流的形式直接写入数据库字段中。

以下为具体方法：

一、保存图片的上传路径到数据库：

string

uppath=””;//用于保存图片上传路径

//获取上传图片的文件名

string fileFullname =

this.FileUpload1.FileName;

//获取图片上传的时间，以时间作为图片的名字可以防止图片重名

string

dataName =

DateTime.Now.ToString(“yyyyMMddhhmmss”);

//获取图片的文件名（不含扩展名）

string

fileName = fileFullname.Substring(fileFullname.LastIndexOf(“\\”) +

1);

//获取图片扩展名

string type =

fileFullname.Substring(fileFullname.LastIndexOf(“.”) +

1);

//判断是否为要求的格式

if (type == “bmp” || type == “jpg” || type == “jpeg”

|| type == “gif” || type == “JPG” || type == “JPEG” || type == “BMP” || type ==

“GIF”)

{

//将图片上传到指定路径的文件夹

this.FileUpload1.SaveAs(Server.MapPath(“~/upload”)

+ “\\” + dataName + “.” +

type);

//将路径保存到变量，将该变量的值保存到数据库相应字段即可

uppath

= “~/upload/” + dataName + “.” +

type;

}

二、将图片以二进制数据流直接保存到数据库：

引用如下命名空间：

using

System.Drawing;

using System.IO;

using

System.Data.SqlClient;

设计数据库时，表中相应的字段类型为iamge

保存：

//图片路径

string

strPath = this.FileUpload1.PostedFile.FileName.ToString

();

//读取图片

FileStream fs = new System.IO.FileStream(strPath,

FileMode.Open, FileAccess.Read);

BinaryReader br = new

BinaryReader(fs);

byte[] photo =

br.ReadBytes((int)fs.Length);

br.Close();

fs.Close();

//存入

SqlConnection

myConn = new SqlConnection(“Data Source=.;Initial Catalog=stumanage;User

ID=sa;Password=123″);

string strComm = ” INSERT INTO

stuInfo(stuid,stuimage) VALUES(107,@photoBinary

)”;//操作数据库语句根据需要修改

SqlCommand myComm = new SqlCommand(strComm,

myConn);

myComm.Parameters.Add(“@photoBinary”, SqlDbType.Binary,

photo.Length);

myComm.Parameters[“@photoBinary”].Value =

photo;

myConn.Open();

if (myComm.ExecuteNonQuery()

0)

{

this.Label1.Text =

“ok”;

}

myConn.Close();

读取：

…连接数据库字符串省略

mycon.Open();

SqlCommand

command = new

SqlCommand(“select stuimage from stuInfo where stuid=107”,

mycon);//查询语句根据需要修改

byte[] image = (byte[])command.ExecuteScalar

();

//指定从数据库读取出来的图片的保存路径及名字

string strPath =

“~/Upload/zhangsan.JPG”;

string strPhotoPath =

Server.MapPath(strPath);

//按上面的路径与名字保存图片文件

BinaryWriter bw = new

BinaryWriter(File.Open(strPhotoPath,FileMode.OpenOrCreate));

bw.Write(image);

bw.Close();

//显示图片

this.Image1.ImageUrl

= strPath;

采用这两种方式可以根据实际需求灵活选择。

下载mysql.connector库

然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的

import mysql.connector

conn = mysql.connector.connect(

    user=’root’,

    password=’root’,

    host=’127.0.0.1′,

    port=’3306′,

    database=’test_demo’

)

cursor = conn.cursor()

cursor.execute(“INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)”,[id, user_name, user_level])

cursor.execute(“INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)”,[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])

print(‘************** %s  %s 数据保存成功 **************’%(user_rank,user_name))

conn.commit()

cursor.close()

插进入就这样的