背景 关于获取Hostloc的每日热帖推送的话题，本站已经写了两篇博客阐述了，分别是你想收到hostloc每日热帖的邮件么？以及如何越过Hostloc的防CC攻击机制获取其每日热帖，虽然这两个都是Python脚本，但是前者仅仅是一个简单的Python脚本，无法应对后来新增的防CC机制，而后者中的脚本很好的解决了这个问题，但是本篇博客用一种全新的思路来解决这个问题，具体就是用了一个把chrome的cdp协议封装成golang对象的库chromedp来调用无头的chrome浏览器来访问loc站点。 依赖 下面的脚本依赖…
背景 很早之前写过一篇叫 你想收到hostloc每日热帖的邮件么？的博客，但是没过多久这个就失效了，因为hostloc站点加了防CC攻击的机制，导致无法直接获取其网页源码了，下面分享一个可以越过防CC攻击的脚本，注意本脚本仅用来自用推送loc的热帖给自己，请不要用于其它用途。 依赖 代码 说明 如果需要发邮件给自己需要自行替换脚本中的如下变量： 敏感词过滤请自行替换以下函数的replace_mapping列表值：
背景 本站现在用了知12提供的wordpress付费阅读插件，但是他们没有把插件发布到wordpress的插件商店，从而也就无法得知新版本的更新，导致上个月有个用户微信上和我反馈我的博客在付费完之后不会自动跳转然后显示隐藏内容了，需要手动验证，最主要的是要多次重复验证最后才成功，体验十分不好，当时我一看我的知12提供的paywall插件还是一个beta版本的，官网上已经在这之后又更新了好几版了，当机立断，我马上花几分钟用filezilla把插件更新到了官网最新的版本，然后找之前反馈问题的网友又测试了一下，他说一切都…
碎碎念 掐指一算，混loc的日子应该也快一年了，刚开始还几乎每天都上论坛上翻翻帖子，可后来到现在越来越少上了，但也还会隔一段时间猛刷上个把小时，今天闲来无事写了个小爬虫用来每日推送loc的热帖。 代码 如何使用和部署请参考本站的这篇文章，注意上述代码在pip安装依赖的时候只需要安装beautifulsoup4就行了，其它的就不用安装了。
背景 今天给大家分享一个python爬虫 ，其实很早之前就在这写过一个类似的，只不过这个是用于部署在vps上用的，因为这个爬虫每次运行的时候都要检测上次爬虫生成的一个文本文件中的内容来判断是否发表了新博客。 可现在本站所分享的python脚本都由腾讯云的云函数来托管了，因为云函数是severless化的，不可能用每次检测上次爬虫生成的一个文本文件中的内容来判断是否发表了新博客。 腾讯云官方推荐用其自家的对象存储COS来实现，我觉得比较麻烦，后来我又想到可以把临时生成的文件放到免费的ftp空间上，每次比较的时候再取回…
废话少说 闲言少叙，直接上代码： 假如上述代码保存在了一个名为solidot.py 的py文件中，然后运行python3 solidot.py,结果会如下： 这时候你该好奇了明明提取了下面的xml源码中的link标签，为什么紧随着title后面却啥也没有呢 解决方法 经过各种尝试，鄙人终于找到了解决方法，也明白了为什么会出现这种情况，全拜一篇国外的文章所赐， 下面的内容为收费内容，会直接给出解决方案和简单描述原因，以及我所参考的那篇国外的文章链接， 本人保证解决方案切实有效，无效的话可以…
背景 因为下周一要去腾讯面试写代码，面试官说会考爬虫和数据处理，我就寻思着写个爬虫练练手，因为 最近几天一直都在拉勾上找工作就用拉勾拿来练手了。 环境 OSX 10.14.6 on Macbook pro 2017 Selenium==3.11.0 Python3.64 Chromedriver 70.0.3538.97 Github仓库 https://github.com/supersu097/mycrawler/tree/master/lagou 实现参考 Request版本：http://eunsetee.…
环境 Mac 10.13.6 Python 3.6.4 Scrapy 1.5.0 现象 爬虫运行几秒钟就自动停止并报如下错误信息： 原因 这其中的原因是在后来再次啃官方文档到 这里时发现的。 原因其实很简单，但我印象中这个问题卡了两天左右，所以就在这里记录一下。 主要是我在执行命令scrapy genspider hnzj 时额外指定了网站域名为hnzj.com也即是scrapy genspider hnzj hnzj.com,于是生成的默认爬虫代码中多了一行 allowed_domains = ['hnz…
子舒博客