一是在互联网上有自己的一亩三分地挺好的scrapy客户端通信，给自己生活留点纪念。二是社交网站限制太多scrapy客户端通信，动不动就删帖或者说内容敏感。三是社交网站变迁太大，过几年说不定就停服了。
关于选择什么云比较好，个人推荐阿里云，毕竟是国内排行第一。点击下面可以有优惠哦，几杯奶茶就可以拥有一年的服务器，简直是白piao，美滋滋。
https://www.aliyun.com/minisite/goods?userCode=yos4xyvp作为自己的爬虫主机。这个配合自动拨号切换IP的主机更佳。
搭建自己的爬虫展示网站。爬取网文把常看的小说连载、图片壁纸等给爬取下来，保存到数据库中，搭建网站展示出来。
不过由于版权限制，需要进行脱敏处理。比如有敏感版权的限定自己浏览。
另外大数据的爬虫展示，用Vue+fastAPI自己搭建网络展示网络爬虫成果，就是常见的全景云平台。
爬虫选用什么框架和模块。简单来说，如果是很小的项目，几千个页面以内，用Python大概几十行就完事的，推荐requests。如果是很大的项目，几十万页以上的，还是用Scrapy。具体可以看我的回答。《想要用 python 做爬虫， 是使用 scrapy框架还是用 requests, bs4 等库》
搭建自己的私人云盘有一些敏感的照片和视频和文件毕竟不能传到公共网盘上去。毕竟各种泄露分分钟的事情。
作为内网的反向代理。利用云服务器提供一个固定的IP，通过Frp等软件进行反向代理，进行内网传统。这个得跟NAS搭配一起使用配合更佳。
通过在具有公网 IP 的节点上部署 frp 服务端，可以轻松地将内网服务穿透到公网，同时提供诸多专业的功能特性，这包括：客户端服务端通信支持 TCP、KCP 以及 Websocket 等多种协议。采用 TCP 连接流式复用，在单个连接间承载更多请求，节省连接建立时间。代理组间的负载均衡。端口复用，多个服务通过同一个服务端端口暴露。多个原生支持的客户端插件（静态文件查看，HTTP、SOCK5 代理等），便于独立使用 frp 客户端完成某些工作。高度扩展性的服务端插件系统，方便结合自身需求进行功能扩展。服务端和客户端 UI 页面。
噔噔噔，还有一些白piao的小技巧。
某个网站每日打卡签到可以领几块钱。这个网站注册要求需要个人网站认证。买了服务器之后，搭建一个网站，把认证文件上传到服务器之后，就可以每日签到打卡领几块钱，相当于服务器的费用就自动报销了。相当于白piao一台服务器，美滋滋。
另外买服务器点击下面有优惠哦，几杯奶茶就可以拥有一年的服务器，还可以白piao，美滋滋。
标签： scrapy客户端通信