轻量应用服务器TDSQLMYSQL数

腾讯云轻量应用服务器+TDSQL-MYSQL数据库+PYTHON做爬虫

实现目标:轻量应用服务器上运行Python爬虫,把数据写到TDSQL-MYSQL数据库中。

最近双十一,趁着这一波福利,在腾讯云购买了一个轻量应用服务器和TDSQL-MYSQL版的数据库。买来之后,想做点什么,在网上找了很多主题,最后还是决定做个爬虫练练手。

后面按照这个顺序介绍

腾讯云轻量应用服务器的连接TDSQL-MYSQL数据库连接轻量应用服务器与数据库之间的连接编写爬虫虚拟环境配置

一、腾讯云轻量应用服务器

(一)确认服务器系统版本

点开服务器实例的管理,我的环境用了宝塔linux面板,如果要更换系统,在实例“概要”页面中部有“镜像”,点击重装系统,可以更换系统,非常快。

(二)确认防火墙打开

在服务器实例概要界面,点击顶部菜单防火墙,查看Llinux登陆22号端口是否是打开的状态。

(三)创建服务器登录的密钥

点击左侧轻量应用服务器左边栏“密钥”,新建一个密钥,创建密钥时,选择服务器所在的地域,名个英文名,下载到本地电脑妥善保存。然后绑定实例(绑定轻量云应用服务器那个实例)

下载的密钥后缀名为*.pem。

(四)使用xshell连接服务器

在XSHELL中新建会话,就填写一个主机(服务器的外网IP),然后切换“用户身份验证”页面,方法选择PublicKey,用户密钥点击浏览,将刚才下载的pem文件倒入进来,以后连接时直接选择这个密钥即可登陆。

会话创建完毕后,连接该项服务器。

直接点击确定,没有密码。出现下图的样式,就是连接完成了。

二、TDSQLC-MYSQL数据库

(一)使用Navicat连接数据库

购买该项数据库后,系统自动会产生一个实例。

选择你购买的实例进去,在集群详情页面底部,需要打开外网读写地址,不然navicat没有地方连接。

在Navicat上新建一个连接,选择“腾讯云-腾讯云数据库mysql版。

主机就是在刚才打开的数据库外网访问地址。

账号密码可以在下面图片的位置创建或者重置root用户密码

三、轻量应用服务器与数据库之间的连接

轻量应用服务器与云数据库天生无法互联互通,需要在轻量应用服务器一端建立“内网互联”的功能。在这里建立申请一个。

在这个位置,关联实例。

申请可能需要十几分钟,当状态为已连接,说明服务器和数据库在同一网络里面了。

四、写个爬虫

用python3+quests+beautifulsoup4+pymsql来做个爬虫。

直接上代码。并把代码上传到代码仓库当中。

(一)爬虫主体

importrandomimportquestsfrombs4importBeautifulSoupimportfromtdmysqlimportmysqlconnfromdatetimeimportdatetimeimporttime#初始网页url="


转载请注明:http://www.aierlanlan.com/rzgz/4736.html

  • 上一篇文章:
  •   
  • 下一篇文章: