Baidu on 搁浅St的blog

解决 Github Pages 禁止百度爬虫的方法2--从gitcafe迁移到coding.net

Sun, 06 Mar 2016 15:50:46 +0000

上一篇文章解决 Github Pages 禁止百度爬虫的方法,提到了解决百度爬虫被github禁用掉的方法. 把博客同时发布到github pages和gitcafe pages.然后使用dnspod设置域名解析,国内线路解析到gitcafe,国外线路解析到github. 然后今天去上gitcafe,偶然看到这个额(⊙o⊙)…,holly shit.不过没办法,人家都被收购了,我们只能改变策略了. 话说,两家都是做代码托管的,这也是顺(bao)应(tuan)潮(qu)流(nuan)咩?

思路跟原来差不多,就是我们把其中的gitcafe内容替换成coding.net就好,以下简称coding. 把博客同时发布到github pages和coding pages.然后使用dnspod设置域名解析,国内线路解析到coding.net,国外线路解析到github.

注册coding账号
新建一个项目,名字与你的用户名相同,比如我的名字是Jackroyal,新建一个项目名为Jackroyal
添加ssh公钥
新建coding-pages分支
开启pages服务
修改hexo配置
修改dns设置

1 注册coding账号

这个很简单不必说,注册需要填写用户名,邮箱和密码,比如我的用户名就是Jackroyal

2 新建和用户名同名的项目

在注册好账号以后,我们就去新建一个项目,方法和gitcafe不同和gihub类似,就是和用户名同名,一模一样的就行.我的项目名是Jackroyal,项目属性公开

3 添加`ssh`公钥

首先,我们提交代码库有两种方式,一种是https,一种是ssh,两种方式都可以,但是因为我们使用hexo来发布博客的时候是没有地方输入密码的,所以我们才考虑使用ssh方式,不过也不一定,我们还是可以使用https方式来提交hexo的.

3.1 使用ssh方式发布博客

我们只需要找到本地的ssh公钥,然后上传到coding上去就行,点击这里设置.查看本地ssh公钥的方法和上篇博客一样. 复制那一段,然后在coding上添加上去就行

3.2 使用https方式发布

如果非要使用https方式,也是可以的,核心思路就是在本地做一次push操作就行.

我们先git clone命令,我的项目就是git clone https://git.coding.net/Jackroyal/Jackroyal.git得到coding上刚才新建的项目.
克隆完成后,接着我们进到项目目录,我们新建一个文件或者修改一个文件
git add .,把修改提交到暂存区
git commit -m "测试提交",将修改提交到本地仓库
git push,将修改提交到远程仓库
接下来,会让你输入用户名和密码,你输入
然后项目就会提交,因为这个状态会保留下来,你下次在提交就可以不用输入用户名和密码了,这样为我们使用hexo发布代码提供条件 ps:这种方式,可能过一段时间又不行了,报错could not read Username for 'https://git.coding.net': Invalid argument,你再做一次上面的操作就行

4 新建coding-pages分支

当我们可以提交代码的时候,我们先来新建分支,和gitcafe差不多,它需要一个特别的分支名字,而不是像github默认的master分支,名字是coding-pages,如下图所示我们把它设为默认分支

5 开启pages服务

接下来我们需要手动去开启pages服务.在项目主页的pages选项卡,点击开启服务,同时我们,添加域名绑定域名绑定我们还要去修改dns解析,我们先用它分配给我们的域名去访问http://jackroyal.coding.me/,看看能不能正常访问

5 修改hexo配置

前面的准备工作做得差不多,我们修改博客的配置信息,打开博客根目录的_config.yml文件,格式和之前github的差不多:

deploy:
- type: git
  repo: 'https://github.com/Jackroyal/Jackroyal.github.io.git'
  branch: master
- type: git
  repo: 'https://git.coding.net/Jackroyal/Jackroyal.git'
  branch: coding-pages

尤其注意在配置的时候注意留空格,这种键值对,比如type: git,其中的冒号后面到git,有个空格的,不然配置文件就会读取错误. 还要注意branch名称,分支必须是coding-pages **PS:如上面所说,我选择的是https方式发布,所以我的repo是https的,如果你选择ssh方式去认证,那么你的地址应该是类似这样的git@git.coding.net:Jackroyal/Jackroyal.git **

7 修改dns设置

就像第5步页面提示的,我们要绑定自己的域名,需要去修改dns解析记录,只需要添加一条CNAME指向你的jackroyal.coding.me即可. 注意后面加个点,也就是正确的填法是jackroyal.coding.me.,如下图所示.修改完成后大概等几分钟才能生效

8 从gitcafe迁移

如果我们选择从gitcafe迁移的话,他会把我们原来的博客迁移过来.为了适应coding,你只需要从上面第二步开始就好,尤其注意的是,新建coding-pages分支,新建coding-pages分支,新建coding-pages分支,重要的事情说三遍,因为你迁移过来的分支名称是gitcafe-pages. 也就是核心问题,必须有个和用户名同名的项目,项目必须有个分支是coding-pages

其他没提的事情和上一篇是一样的. 最后执行hexo d -g,打完收工

解决 Github Pages 禁止百度爬虫的方法

Wed, 25 Nov 2015 11:06:50 +0000

update:因为gitcafe在5月31号就关闭了,所以要将文章中的gitcafe换掉,我重新写了一篇,在这里解决 Github Pages 禁止百度爬虫的方法2–从gitcafe迁移到coding.net

最近,我的github student package里面送的一个namecheap域名终于下来了.That is to say:我终于有自己的域名了,这就是我的域名http://bblove.me,欢迎来访.

有域名以后,就在想办法解决百度爬虫的问题.

Hi Jackroyal,

We are currently blocking the Baidu user agent from crawling GitHub Pages
sites in response to this user agent being responsible for an excessive amount
of requests, which was causing availability issues for other GitHub customers.
This is unlikely to change any time soon, so if you need the Baidu user agent
to be able to crawl your site you will need to host it elsewhere.

Cheers,
Scott

这是我之前跟github反映百度spider无法抓取我的github pages,他们给我的回复邮件.也就是说他们把百度spider给禁掉了,桑不起. 直接说解决方法: 把博客同时发布到github pages和gitcafe pages.然后使用dnspod设置域名解析,国内线路解析到gitcafe,国外线路解析到github.

实现方法

1 准备条件

一共需要一下这几个东西:

一个github账户
一个gitcafe账户
一个dnspod账号
一个域名
github for windows(或者git客户端也行) 没了,就这么多就行.

2 初始操作

我们在github和gitcafe上面把自己的博客搭建起来,首先要建仓库. github: 首先登录你的github,然后新建一个公共仓库,仓库名是你的用户名加上yourname.github.io,如下图所示,我的用户名是Jackroyal

gitcafe: 操作方法差不多,不过有点区别是,gitcafe新建的公开项目,是和用户名一致的,比如我的用户名是Jackroyal,那我新建的仓库名就是Jackroyal

仓库新建成功后,你获取到的链接应该是类似下面的

https://github.com/Jackroyal/Jackroyal.github.io.git
https://gitcafe.com/Jackroyal/Jackroyal.git

这就是你的两个page对应的仓库.

3 搭建博客

3.1 搭建github pages

当你的仓库建好了,我们就开始搭建博客,因为之前的博客有写,具体过程就不赘述安装和配置hexo 3.0.

按照上面的教程一步一步,就能搭建好博客,然后你就可以访问你的gihub pages了,访问链接就是http://yourname.github.io,比如我的即使http://jackroyal.github.io. 现在我们开始搭建gitcafe上面的pages了.由于hexo现在已经支持多发布,所以很简单,我们只需要配置deploy的信息,修改_config.yml.添加gitcafe的仓库信息.我的修改结果如下,

deploy:
- type: git
  repo: 'https://github.com/Jackroyal/Jackroyal.github.io.git'
  branch: master
- type: git
  repo: 'https://gitcafe.com/Jackroyal/Jackroyal.git'
  branch: gitcafe-pages

尤其需要注意的是,两个的branch是不同的,github默认分支是master,gitcafe默认分支是gitcafe-pages.

3.2 添加gitcafe的ssh公钥

由于我使用的是github for windows的终端界面,也就是github官方提供的客户端,他的好处是,我使用github的时候,不需要配置ssh公钥,密钥之类的东西.如果你用的不是这个,用的是git的客户端,那就需要配置ssh公钥,参考这里github配置公钥. 对的,你猜到了,我们现在需要配置gitcafe的ssh公钥,因为github for windows会自动帮我们上传公钥,gitcafe就只能手动了.

3.2.1 查看本地公钥

我们打开你使用的git终端,首先切回用户目录,然后进入.ssh目录,里面就有公钥和私钥,如下图所示我们就是要读取后缀是.pub的那个文件,比如我的读取命令就是cat github_rsa.pub,执行结果如下

3.2.2 添加公钥到gitcafe

我们在这里来设置gitcafe的公钥. PS:需要注意的是,公钥后面的chen@chen-pc是不需要的,我的带上以后,gitcafe说是公钥非法,不过不怕,gitcafe会帮你正确格式化 反正就是把公钥加上去,就ok了

3.4 同步博客到gitcafe

上面的配置好了以后,我们就可以把博客内容同步到gitcafe了,方法很简单,执行

hexo d -g

然后就可以啦.

4 配置域名

首先你得有个域名,像我一样,哈哈.

4.1 修改域名注册的解析服务器

我们在要把域名解析服务,设置到dnspod,因为他是国内的,而且服务很好.我们登录自己的域名管理后台,选择对应的域名进行管理,然后找到nameservers的设置,如图所示修改的值是

 f1g1ns1.dnspod.net
 f1g1ns2.dnspod.net

常见的域名注册商修改到dnspod,官方提供了教程,看这里- 改完以后可能要等一段时间才能生效,最多72小时 ok,改完以后,这边就完了,我们登录dnspod

4.2 修改dnspod解析记录

我们登录dnspod,然后添加域名如果4.1中的设置生效了,你的域名就会添加成功了,我们直接进行下一步,修改解析记录,上图我们一共添加了5条记录,其中一条泛解析和www解析是针对国内的,所以执行gitcafe;2条泛解析和www解析是针对国外的,所以指向github. 就是添加

@       A      默认  192.30.252.153
@       A      默认  192.30.252.154
@       CNAME  国内  gitcafe.io.
www     CNAME  默认  jackroyal.github.io.
www     CNAME  国内  gitcafe.io.

其他设置项目默认就行了,上面的配置完了,如果你走国外ip访问你的域名的话,会出现404,因为我们还差一步.走国内线路访问一样会出错,都是没绑定的结果.

4.3 添加github的CNAME文件,添加gitcafe自定义域名

现在只差最后一步了,我们先来配置github的CNAME文件,官网有个教程配置CNAME文件.说白了,就是在你的网站根目录,添加一个名为CNAME的文件,里面的内容就是你的域名

bblove.me

没有任何多余的信息,如下图上面的配置现在访问没问题,但是你一重新发布博客,就需要重新手动添加CNAME文件,太麻烦. 一劳永逸的方法,在你的hexo目录下的source目录中,新建一个CNAME文件夹,然后他每次在你发布博客的时候,都会在你的网站根目录生成一个CNAME文件. 现在github的配置彻底结束.

接下来配置gitcafe: 1 我们在gitcafe的项目主页,点击项目设置,如下图(之所以截图,是因为我找半天才看到…) 2 然后我们点击pages服务标签,然后添加自己的域名,这些域名是我们之前在dnspod中设置了解析的

彻底打完收工了

5 总结

总算写完了,写到这里,我一共写了,141行了,写了个把小时.这次主要参考了下面的几篇文章,都写在友情链接里面了.参考了他们的思路,因为他们的方法里面需要自己单独购买vps或者购买CDN,共同的问题是增加了开销,买vps会导致你每次写博客都需要单独发布一次到vps上太麻烦.我后来在网上看到gitcafe也有gitcafe pages服务,如果用这个来处理的话,一来,不会增加多余的开销,他们都是免费的;二来,由于hexo对于多部署的支持,多部署很简单,一次配置,以后就可以不用理会了. ok,收工

友情链接

1 解决 Github Pages 禁止百度爬虫的方法与可行性分析 2 利用 CDN 解决百度爬虫被 Github Pages 拒绝的问题 3 gitcafe官方文档–pages服务 4 gitcafe官方文档–配置ssh公钥