SharpG.的博客

  • 首页
SharpG.的博客
专注Linux运维与开发|Focus on Linux ops&dev
Web爬虫

你想收到hostloc每日热帖的邮件么?

碎碎念 掐指一算,混loc的日子应该也快一年了,刚开始还几乎每天都上论坛上翻翻帖子,可后来到现在越来越少上了,但也还会隔一段时间猛刷上个把小时,今天闲来无事写了个小爬虫用来每日推送loc的热帖。 代码 如何使用和部署请参考本站的这篇文章,注意上述代码在pip安装依赖的时候只需要安装beautifulsoup4就行了,其它的就不用安装了。

2020-03-26 7条评论 336点热度 0人点赞 sharp097 阅读全文
Web爬虫

你想第一时间得知垠神是否发表了新博客么?

背景 今天给大家分享一个python爬虫 ,其实很早之前就在这写过一个类似的,只不过这个是用于部署在vps上用的,因为这个爬虫每次运行的时候都要检测上次爬虫生成的一个文本文件中的内容来判断是否发表了新博客。 可现在本站所分享的python脚本都由腾讯云的云函数来托管了,因为云函数是severless化的,不可能用每次检测上次爬虫生成的一个文本文件中的内容来判断是否发表了新博客。 腾讯云官方推荐用其自家的对象存储COS来实现,我觉得比较麻烦,后来我又想到可以把临时生成的文件放到免费的ftp空间上,每次比较的时候再取回…

2020-03-26 2条评论 211点热度 0人点赞 sharp097 阅读全文
Python编程

你想收到Solidot,IT之家,抽屉·挨踢1024和Linux中国的每日文章汇总邮件么

今天来给大家分享4个python脚本,分别是定时抓取Solidot,IT之家,Linux中国和抽屉·挨踢1024这四个媒体的rss链接然后定时发送汇总邮件。 注意事项: 部署采用腾讯云函数,部署方式具体参考本站这篇文章 在采用腾讯云函数部署设置定时触发器时,solidot建议设置在22点左右,因为它一般晚上九点多久不更新了;IT之家建议设置在23:59因为之家基本全天24小时都在更新,这样设置的话即使早睡也可以在第二天早上起来查看邮件;Linux中国也可以设置在22点左右,因为他一般下午三四点更新三五篇文章;抽屉·…

2020-03-19 0条评论 286点热度 0人点赞 sharp097 阅读全文
Django框架

如何解决pycharm启动django时报必须定义DJANGO_SETTINGS_MODULE

背景 今天把原先一个在Linux系统运行的django项目搬到Mac下用pycharm启动时报了下面的错误: django.core.exceptions.ImproperlyConfigured: Requested setting DEBUG, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() be…

2020-03-16 0条评论 400点热度 0人点赞 sharp097 阅读全文
Linux运维

实战腾讯云云函数最简单部署包含第三方依赖的python项目

前言 首先发表一个感想: 信息不对称真可怕呀,最近刚了解到腾讯云和阿里云都早已推出了自家的函数计算服务,拿python来说,可以轻松的解决第三方库依赖,尤其是腾讯云的云函数,这两天体验下来全程无痛苦十分方便,话说回来,我本来还想在django学精后推出一个叫pycron.com的网站用来托管各种python脚本,现在看来似乎没有这个必要了。 实战 实战开始之前先说一下这应该是一个最简单实践,而不是官方推荐的最佳实践。 扫码进入到腾讯云云函数的控制台后,点击函数服务->新建,然后在打开的页面上先填上一个任意的函…

2020-03-15 0条评论 594点热度 0人点赞 sharp097 阅读全文
Web爬虫

为什么用BeautifulSoup提取xml的link标签中的url总为空呢

废话少说 闲言少叙,直接上代码:   假如上述代码保存在了一个名为solidot.py 的py文件中,然后运行python3 solidot.py,结果会如下: 这时候你该好奇了明明提取了下面的xml源码中的link标签,为什么紧随着title后面却啥也没有呢   解决方法 经过各种尝试,鄙人终于找到了解决方法,也明白了为什么会出现这种情况,全拜一篇国外的文章所赐, 下面的内容为收费内容,会直接给出解决方案和简单描述原因,以及我所参考的那篇国外的文章链接, 本人保证解决方案切实有效,无效的话可以…

2020-03-14 0条评论 209点热度 0人点赞 sharp097 阅读全文
Python编程

你想收到V2ex新评论的即时邮件通知么

背景 混V站好几年了,从上图可以看到我是14年入的国军(大雾->V站),经常在发完一个主题后迫不及待的想知道有没有人评论我,于是就一个劲儿的刷新v站,不得不说这样子实在浪费时间,而且感觉有点傻。 然后我就想到了一些v站的第三方客户端是否有通知功能,去Google play搜索了一下最终找到了一个叫V2ex+的客户端有通知功能,其实还有一种方法就是装一个叫feedly的安卓app,由于v站提供了评论的atom协议的feed流,添加一个订阅并设置一个小时刷新一下就行了, 以上两种方法呢都需要有个app在后台常驻才…

2020-03-13 0条评论 172点热度 0人点赞 sharp097 阅读全文
Python编程

你想每天收到一封V2EX的今日热议主题的邮件么?

背景 之前写过一个类似的获取V2EX今日热议话题的脚本,只不过那个脚本是为cron job优化过的脚本,用来每隔一段时间获取一下当前的最热主题并发送邮件,但是现在我想每天只在指定的时间点收到一封邮件,比如说每天稍微晚一点的时间23:00收到一封汇总的邮件,之前的脚本就不适用了,于是就花了几分钟重写了一份,这次引入了高级的python第三方定时任务库apscheduler,摆脱了对Linux系统自带的cron工具的依赖(实际原因是,在我习惯用的Ubuntu server上cron一直工作不正常,各种调试都搞不定,遂弃…

2020-03-05 0条评论 207点热度 0人点赞 sharp097 阅读全文
未分类

Vmware修改完.vmx文件后虚拟机网络却断开不能上网了怎么办

吐槽 最近这几天Win10一直提醒要更新,我每次都是点击延迟一小时,可昨天弹出更新提醒时没注意点到了哪里,反正提醒框没了,过了一会正在用着电脑呢,系统突然重启开始自动更新了,这时候vmware里面的虚拟机还运行着呢,结果更新完了再打开虚拟机的时候就报了下面的错误:   以前刷微博经常刷到一些地铁,新闻直播什么的突然出现windows的更新系统界面,还不以为然,这次可倒好被我碰到了。 然后 紧接着谷歌了一下 ‘无法获得 VMCI 驱动程序的版本: 句柄无效’这个关键词,搜索出了下面的一批文章: 这里不得不说…

2020-03-03 0条评论 288点热度 0人点赞 sharp097 阅读全文
未分类

全网真正能解决hexo报TypeError [ERR_INVALID_URL]错误的方法

写在前面 先给出一个这个错误的高亮截图大家欣赏一下吧,如下:   原因 如何解决 写在最后 相信大家看完上面的付费内容后会觉得这么简单的解决方案真不值这点钱,这就让我想起小时候看的那个故事了,想必大家也都知道, 就是一个工程师在一个电机上画了一条白线解决了一个工程难题的故事。 用粉笔画一条线1美元,知道在哪里画这条线9999美元=1万美元  

2020-03-03 0条评论 706点热度 0人点赞 sharp097 阅读全文
最近评论
sharp097 发布于 3 周前(09月02日) 今天发布了新版本了,用新版本再试一下哈~
sharp097 发布于 3 周前(09月02日) 今天发布了新版本了,用新版本再试一下哈~
sharp097 发布于 3 周前(09月02日) 今天发布了新版本了,用新版本再试一下哈~
sharp097 发布于 3 周前(09月02日) 今天发布了新版本了,用新版本再试一下哈~
sharp097 发布于 3 周前(09月02日) 今天发布了新版本了,用新版本再试一下哈~
最新 热点 随机
最新 热点 随机
实战使用HandBrake批量压缩视频 全网首发正规途径解决k8s api server报匿名用户无权限错误 使用Python对Zabbix告警动作进行审计 实战利用trivy对Linux系统进行漏洞扫描 2023年五月最新老虎证券出金到银行卡保姆级攻略 2023年五一维港旺角一日行,0元开香港银行卡攻略
全网首发正规途径解决k8s api server报匿名用户无权限错误实战使用HandBrake批量压缩视频
分别用requests和selenium实现了拉勾的爬虫 访问saltstack REST api报401 Unauthorized错误,折腾了一个通宵竟是因为... 由return语句和异常捕获之间的一个小细节来看Python的execution flow 全网首发如何把Pycharm远程解释器设置为WSL2 CentOS里面的python 实战使用HandBrake批量压缩视频 实战腾讯云云函数最简单部署包含第三方依赖的python项目
搜索
归档
  • 2023年9月
  • 2023年8月
  • 2023年5月
  • 2023年4月
  • 2023年3月
  • 2023年2月
  • 2023年1月
  • 2022年12月
  • 2022年10月
  • 2022年9月
  • 2022年8月
  • 2022年7月
  • 2022年6月
  • 2022年5月
  • 2022年4月
  • 2022年3月
  • 2022年2月
  • 2021年11月
  • 2021年9月
  • 2021年8月
  • 2021年5月
  • 2021年4月
  • 2021年3月
  • 2021年2月
  • 2021年1月
  • 2020年12月
  • 2020年11月
  • 2020年10月
  • 2020年9月
  • 2020年8月
  • 2020年6月
  • 2020年5月
  • 2020年4月
  • 2020年3月
  • 2020年1月
  • 2019年12月
  • 2019年11月
  • 2019年10月
  • 2019年9月
  • 2019年8月
  • 2019年1月
  • 2018年12月
分类
  • Django框架 / 10篇
  • ELK运维 / 8篇
  • Linux运维 / 22篇
  • Mac系统 / 5篇
  • Python编程 / 21篇
  • Web爬虫 / 8篇
  • Wordpress运维 / 6篇
  • Zabbix运维开发 / 8篇
  • 未分类 / 18篇
  • 杂谈 / 6篇
标签聚合
hostloc filebeat wordpress zabbix django python脚本 python 腾讯云
友情链接
  • 子舒博客 子舒博客
  • 憧憬点滴记忆 憧憬点滴记忆

COPYRIGHT © 2018-2023 SharpG.的博客 萌ICP备20230078号
本站由 Hetzner 提供计算服务, 由 Cloudflare 提供全站加速服务。

myssl.com-MySSL安全签章

Theme Kratos Made By Seaton Jiang