搁浅St的blog

xiaodu bridge 使用说明：把 Home Assistant 设备接进小度

Mon, 31 Aug 2026 23:40:00 +0800

xiaodu_bridge 是一个 Home Assistant 自定义集成。它把 HA 里已经接好的设备重新组织成 DuerOS 语义设备，再交给小度音箱和小度 App 发现、查询和控制。商店里的名字是 xiaodu bridge，集成 domain 是 xiaodu_bridge。

它不是把 HA 实体一对一转成小度设备，而是有一个桥接层：一台浴霸可以把照明、取暖、换气等多个 HA 实体聚合成一台浴霸；一个房间也能从 HA 区域同步成小度房间分组。小度发来的控制请求先进入这个桥接层，再由它调用 HA 的实体服务。

整体链路是：

flowchart TB
  subgraph home["家里"]
    direction TB
    devices["米家 / Zigbee / 蓝牙 / Matter"]
    ha["Home Assistant<br/>实体 + 区域 + 能力"]
    bridge["xiaodu bridge<br/>DuerOS 语义设备模型"]
    entry["公网入口<br/>域名 / DDNS / NGINX"]
  end
  cloud["小度云端"]
  speaker["小度音箱"]
  app["小度 App"]

  devices -->|"标准化实体"| ha
  ha -->|"选中设备"| bridge
  cloud -->|"OAuth / 控制请求"| entry
  entry --> bridge
  bridge -->|"发现 / 控制 / 查询"| ha
  bridge -->|"Change Report"| cloud
  cloud --> speaker
  cloud --> app

整套配置从 HA 侧往小度侧推，一次走完大致是：

flowchart TD
  a["设备接进 HA<br/>改名字 / 分区域"]
  b["安装 xiaodu bridge<br/>HACS 或手动"]
  c["配置公网 HTTPS 入口<br/>DDNS + 证书 + 反向代理"]
  d["小度后台创建智能家居技能"]
  e["HA 里配置 Client / botId / Callback"]
  f["选择暴露设备和能力<br/>开启 sync_areas"]
  g["小度发现设备<br/>模拟测试 + 语音测试"]

  a --> b --> c --> d --> e --> f --> g

仓库地址：https://github.com/Jackroyal/xiaodu-bridge

准备设备

装桥接之前，先把设备名字和房间理好。

小度侧的设备名就是 HA 实体名，房间就是 HA 区域。switch.switch_1 这种名字说不出来，小度也就没法控制了。改名字只做两件事：

1. 名字改成适合说话的：客厅吸顶灯、卧室空调、书房插座。
2. 房间分对：客厅就是客厅，卧室就是卧室。

改名字最省事的位置是源头：小米的设备名和房间从米家 App 直接同步到 HA，HA 再同步给小度，一路下来不用重复修改，源头设置好后续链路可以自动同步。

米家、蓝牙、美的空调等设备都有各自的接入方式，Xiaomi Home、Sonoff、Midea Smart Home 这些集成我都在用，大家根据各自设备按需选择自己对应的集成，善用大模型或搜索。

安装集成

要求 Home Assistant 2025.1.0 或更高版本。本文按 xiaodu bridge v0.9.17 写。

HACS 安装（推荐）

xiaodu bridge 已经进了 HACS 默认商店，不用再加自定义仓库：

HACS → Integrations，搜索 xiaodu bridge，下载。
重启 Home Assistant。

HACS 下载只是把文件装到位。重启后还要去 设置 → 设备与服务 → 添加集成，搜 xiaodu bridge 添加一次——填 OAuth 凭证、botId、公网地址就在这一步。只下载不添加，集成不会生效。

手动安装

不想用 HACS 就手动复制：

git clone https://github.com/Jackroyal/xiaodu-bridge.git
cp -R xiaodu-bridge/custom_components/xiaodu_bridge /config/custom_components/

复制完检查路径，别多套一层：

正确：/config/custom_components/xiaodu_bridge/manifest.json
错误：/config/custom_components/xiaodu_bridge/xiaodu_bridge/manifest.json

确认没套错后重启：

ha core restart

手动和 HACS 两条路到这里都只是「文件装好了」，最后一步是一样的：去 设置 → 设备与服务 → 添加集成里搜 xiaodu bridge 添加。

添加完成后，集成列表里就能看到它：

点进详情页，会看到版本号、一个「小度中枢」设备，以及右上角的齿轮（配置）和三个点（菜单）按钮（截图停在 0.9.13，之后的版本界面没变）：

配置公网访问

正式接入时，小度云端会回调 xiaodu bridge 提供的三个 HTTPS 接口（必须按这个填写，写死的path）：

/api/xiaodu/oauth/authorize
/api/xiaodu/oauth/token
/api/xiaodu/service

所以纯内网地址完成不了正式接入，小度云端必须能从外面访问到 HA 的这几个路径。推荐结构：

小度云端
  → 公网域名
  → 路由器端口转发
  → HAOS 反向代理
  → HA Core 8123
  → xiaodu bridge

我家里是电信光纤，有公网 IPv4，主路由是华硕路由器。华硕自带 DDNS，但它内置的服务商里只有花生壳这类要实名的，我常用的 cloudflare / dnspod 都不在里面。

所以我在局域网的软路由上装了 iStoreOS，用它来做域名解析更新：软路由是长期开机的，在上面跑一个 ddns 插件，公网 IP 一变就调 cloudflare / dnspod 的 API 把 A 记录改掉。华硕路由器该干嘛干嘛，DDNS 这件事交给软路由，和 HAOS 在哪台机器上没关系。

1. 确认真的有公网 IPv4

路由器 WAN IP 和手机流量看到的出口 IP 一致才算数。WAN IP 是 100.x.x.x、10.x.x.x、172.16.x.x、192.168.x.x 这些，就是运营商套了一层，说明你没有公网ip，别折腾端口转发了。

2. 域名和 DDNS

先准备一个域名，比如 ha.example.com，在你使用的域名解析后台（cloudflare/dnspod/aliyun之类的）加一条 A 记录指向公网 IP。IP 会变就配 DDNS，公网 IP 一变，域名跟着变。

我用的是 ddns-go。在 iStoreOS 的应用商店里搜「ddns-go」装上，装完它会起一个 Web 配置页，浏览器打开 软路由IP:9876 就能看到面板，填完配置它会以服务形式常驻，公网 IP 一变就自动更新解析。

面板上要填的就几项：

配置项	填什么
`DNS服务商`	顶部单选，支持阿里云 / DnsPod / Cloudflare / 华为云等二十来家
`Token`	对应服务商的 API 凭据（截图里 Cloudflare 就一个 Token 输入框，面板上还带生成令牌的指引链接）
`TTL`	域名解析的缓存时间，默认「自动」即可；测试阶段可以设短一点，便于改动快速生效
`域名`	要更新的那条记录，比如 `ha.example.com`
`IP 获取方式`	默认「通过接口获取」就行——软路由自己不持有公网 IP 时，靠本地网卡读不到真实出口地址，让它去外部接口查更准

配完在面板上点「测试」或等一个更新周期，然后在电脑上用 nslookup ha.example.com 或 dig 看一眼解析结果对不对。DNS 记录用“仅 DNS”模式。

平常用多个服务商的话，面板顶部有「配置切换」，可以建多套配置（比如一套 cloudflare、一套 dnspod），点「添加」新建、切换下拉选择，互不影响。大致的原理，其实就是起个脚本监听ip变化，如果发生变化则调用cloudflare或者dnspod等的api接口更新一下域名对应的ip，变更肯定会有一定延迟，但够用了。

这里的 API Token 后面配证书还要用——HAOS 的 Let’s Encrypt add-on 走 DNS 校验，连的就是同一个 provider。

3. 端口转发

家宽对 80 和 443 的入站管控挺常见，可以用 8443 这种非标端口：

外部协议：TCP
外部端口：8443
内部目标：HAOS 主机 IP，例如 192.168.1.10
内部端口：443

里面的 443 给 HAOS 反向代理监听。HA 的 8123 端口不要直接暴露，公网统一走 HTTPS，由反向代理转 8123。

为了安全起见不建议使用DMZ开放过多内容，使用端口转发只开放一个端口，相对更安全。

华硕路由器自身远程控制用的是8443（使用华硕的子域名，我要使用自定义域名，所以不复用8443），所以我使用的是8663端口。

4. 证书和反向代理

HAOS 可以直接用 Let’s Encrypt 和 NGINX SSL proxy 这两个 add-on。跑 Docker / Core 或其他安装方式的，这两个 add-on 用不了，需要在宿主机或容器旁边准备等价方案（Caddy、NGINX 或带 DNS 模块的 Caddy）。

HAOS 上这两个 add-on 的证书走 DNS 校验，不依赖 80 端口，证书目录和文件名默认就是配套的，装完不用手动挪证书。

Cloudflare DNS 的例子：

challenge: dns
dns:
  provider: dns-cloudflare
  cloudflare_api_token: <你的Cloudflare API Token>
domains:
  - ha.example.com
email: <你的邮箱>

NGINX SSL proxy 只需要配域名和其他选项：

domain: ha.example.com
hsts: max-age=31536000; includeSubDomains
client_max_body_size_megabytes: 1
cloudflare: false

反向代理只放行小度需要的那三个路径（前面列过），其他公网请求返回 404。

别为了省事把整个 HA 管理页面开放到公网。

然后到 HA 的设置 → 系统 → 网络，外部地址填：

https://ha.example.com:8443

外网请求返回 400、日志里出现 forwarded 或 trusted proxy 相关内容，多半是反向代理网段没进 trusted_proxies。把 NGINX 所在网段加进去，并开启 use_x_forwarded_for。

在小度后台建技能

登录小度开发者平台，创建智能家居技能。技能的「配置服务」里要填的东西，来自两个地方：

小度后台基础信息页：
  botId          技能 ID，后面要填回 HA 集成里

HA 集成确认页给出的三个地址（这里用它们）：
  授权地址        Authorize，HA 公网地址 + /api/xiaodu/oauth/authorize
  Token地址       HA 公网地址 + /api/xiaodu/oauth/token
  WebService      HA 公网地址 + /api/xiaodu/service

自己定义、两边配一致：
  Client_Id
  ClientSecret

假设公网地址是 https://ha.example.com:8443，三个地址就是把上面的路径拼在它后面，比如 https://ha.example.com:8443/api/xiaodu/oauth/authorize。

后台「配置服务」页填起来就长这样（授权地址 / Client_Id / 回调地址 / Token 地址 / ClientSecret / WebService）：

授权和设备发现的过程是：

sequenceDiagram
  autonumber
  participant U as 用户 / 浏览器
  participant D as 小度云端
  participant X as 公网入口 / xiaodu bridge
  participant H as Home Assistant

  U->>D: 开始绑定账号
  D->>U: 打开 Authorize URL
  U->>X: 访问授权页并同意
  X-->>D: 返回到小度 Callback
  D->>X: 请求 Token URL
  X-->>D: 下发私有 Access / Refresh Token
  D->>X: 调用 WebService 发现设备
  X->>H: 读取已选实体、区域和能力
  H-->>X: 返回实体状态
  X-->>D: 返回 DuerOS 语义设备
  D-->>U: 展示可控制设备

两个容易搞混的点：

1. Client_Id 和 ClientSecret 是自己定义的，不是百度分配的，两边配一致就行。
   Secret 用长随机串，别用 123456 这种。
2. 回调地址不是你的 HA 地址，是小度平台生成的那个，填回 HA 集成里时要原样照抄。

填写 OAuth 配置

重启 HA 后打开：

设置 → 设备与服务 → 添加集成 → xiaodu bridge

按下面填（界面是中文标签，括号里是它的含义）：

界面字段	填什么	示例
`Client_Id`	自定义客户端 ID	`dueros_xxx`
`ClientSecret`	自定义随机密钥	一段长随机串
`小度技能ID（botId）`	小度后台技能 ID	`12345678`
`回调地址`	小度平台生成的地址，不可修改	`https://xiaodu.baidu.com/...`
`公网访问地址（HTTPS）`	HA 公网基础地址	`https://ha.example.com:8443`

保存后确认页会把授权地址、Token地址、WebService 三个地址直接列出来，照着填到小度后台就行，不用自己拼。Client_Id / ClientSecret 两边保持一致即可——它们是你自己定义的，不是百度分配的。

回调地址不用操心调试环境：集成自动兼容小度的正式环境（xiaodu.baidu.com）与调试环境（xiaodu-dbp.baidu.com），后台只用填平台生成的那一个。

填错了想改，打开集成条目右上角 ⋮ →「重新配置」（OAuth 配置）就能重填，不用删掉集成。

OAuth token 这块集成自己管：Access Token 有效期 7 天，Refresh Token 30 天，到期用 refresh_token 续。这个 token 是桥接层自己的私有不透明串，只能打小度桥接的接口，碰不到 HA 的 API。

选择要暴露给小度的设备

添加成功后，打开集成条目 →「配置」，进入「小度中枢」页：

注意：从 v0.9.15 起，设备暴露改成按需选择。全新安装、或者从没保存过设备选项的实例，默认不会向小度发送任何设备，必须在这里选好并保存。

建议别一次全选，先拿两三台练手：

点「添加 / 移除设备」。
选择要暴露的 HA 设备（列表按「房间 · 设备名」展示，重名的实体也能分清）。

点进某台设备，先选「设备能力」勾选能力；需要时再进「高级配置」限制能力、隐藏实体、绑定语义角色或改小度侧的展示名。
保存后让小度重新发现。

已选设备可以在「已选设备」列表里逐台检查：

设备默认暴露全部可用能力，想省事可以直接用默认；想精细控制再一台台进能力编辑。控制类设备的开关能力是强制的，温湿度这种只读能力按需勾。底部那个「同步 HA 房间到小度」开关打开后，HA 的区域会同步成小度的房间分组。

暴露得越精准，后面误触发越少，不需要把 HA 里每个实体都丢给小度。

测试

按这个顺序来：

小度开发者后台触发设备发现。
看设备有没有出现在小度侧。
查询一个温湿度传感器。
打开一个灯或插座，再关掉。
手动动一下设备状态，看小度 App 是否同步。
用音箱和 App 试真实语音。

HAOS 上看日志：

ha core logs -f | grep --line-buffered "Xiaodu access"

成功的发现请求里能看到这样一段（实际是一行）：

kind=dueros namespace=DuerOS.ConnectedHome.Discovery \
name=DiscoverAppliancesRequest result=DiscoverAppliancesResponse status=200

这里连请求都没有，就别急着改 HA 配置，先查域名、端口转发、证书和反向代理。

语音可以试这些：

小度小度，打开客厅灯。
小度小度，把卧室空调调到 26 度。
小度小度，客厅温度是多少？
小度小度，明天早上八点打开书房插座。

几个值得说的特性

这几个特性单独拎出来说。

主动状态上报

可控设备状态一变，集成会主动推 Change Report 给小度，小度 App 里的状态会跟着刷新。纯只读传感器不上报，这类本来也没有“被控制”的状态可推。小度云端偶尔会拒绝一次（开机那波最常见），集成会在 60 秒窗口后补发一次，不会无限重试。

房间分组

HA 区域同步成小度房间分组后，“打开客厅的灯”这类指令小度能自己圈范围，不用每台设备都指名道姓。前提还是第一步：房间得分对。

定时开关

支持小度侧的 timingTurnOn 和 timingTurnOff。定时信息存在 HA Storage 里，HA 重启后任务仍然保留。

语义设备模型

这是桥接层最核心的设计。它不是把 HA 实体一对一递给小度，而是先在桥接层把设备组装成 DuerOS 语义设备：浴霸就是一台浴霸，照明取暖换气都在它身上；洗衣机、晾衣杆、扫地机同理。小度协议定义了六十多种设备类型，这个集成实现了常用的十几种：灯、开关、插座、空调、窗帘、风扇、传感器、媒体播放器，外加浴霸、晾衣杆、扫地机、洗衣机四个专用档案。

晾衣杆的语义按小度的实际模型处理：开关控制的是照明，升降走上升 / 下降动作；没有灯实体的机型回退为控制杆子本身。

常见排查

集成搜索不到

先看目录有没有多套一层，再看 manifest.json 是否存在，然后重启 HA。HACS 里搜不到的话，先把 HACS 更新到最新版并刷新商店列表；还是没有就改用手动安装。

HA 里正常，小度发现不到

按顺序查：

1. 小度后台 WebService 地址对不对。
2. 地址里的端口有没有少。
3. 公网能不能访问 HA。
4. 反向代理有没有放行 /api/xiaodu。
5. HA 集成里有没有选中设备。
6. HA 日志里有没有 Xiaodu access。

如果小度云端访问不到 HA，音箱和后台都会持续失败，先把公网链路查完。

授权页打不开也是同一类问题，从外面测一下入口通不通：

curl -I https://ha.example.com:8443/api/xiaodu/service

能拿到 HTTP 状态码说明入口至少通了；TLS 都失败的话，先解决证书、DNS 和端口转发。

米家设备状态不准

问题多半不在桥接层。先回 Xiaomi Home 或米家集成里看：HA 页面能不能控制，状态会不会变，实体有没有被禁用。HA 侧不稳，桥接写得再好也没办法。

控制失败但发现成功

能力没勾全，或设备类型映射不对。空调要有温度、模式、风速这些能力；窗帘要有打开、关闭能力。回集成选项里改完，再让小度重新发现。

状态不同步

先确认这台设备是可控设备，只读传感器本来就不主动上报。再手动动一下设备，看日志里有没有状态推送的记录。

最后

这套方案的核心是让 HA 当统一中间层。桥接层把 HA 设备按 DuerOS 的语义组装好交给小度，状态变化也主动往小度推。小度 App 能拿到较新的状态，浴霸这类多实体设备也能当成一台设备控制。

设备命名和房间分好，语音体验会顺很多。先暴露少量设备测试，稳定后再慢慢加。

xiaodu bridge 折腾记：把米家和其他 HA 设备接进小度

Fri, 28 Aug 2026 01:00:00 +0800

最近在整理家里的设备，米家有一部分，Zigbee有一部分，空调、窗帘、传感器又散在不同集成里。Home Assistant这边倒是能统一看，自动化也好写，但小度这边一直不够听话：有些设备发现不了，有些能力不全，状态还经常对不上。

后来我把 HA 当中间层来用，做了一个自定义集成 xiaodu bridge（domain xiaodu_bridge）。简单说，它把 HA 里的设备映射成 DuerOS 认识的设备，再交给小度发现和控制。这个集成早先叫 ha-xiaodu，后来改名并换了仓库，下面统一用新名字。链路大概是：

米家 / Zigbee / 蓝牙 / Matter / 其他 HA 集成
        ↓
Home Assistant 实体和房间
        ↓
xiaodu bridge
        ↓
小度云端
        ↓
小度音箱 / 小度 App

xiaodu bridge 的仓库在这里：https://github.com/Jackroyal/xiaodu-bridge，已经收录进 HACS 默认商店。

我建议不要一上来就改小度配置，先把 HA 里的设备搞稳，再装桥接层，最后解决小度云端访问 HA 的问题。公网入口这篇用 DDNS 举例；内网穿透后面有空再补。

第一步：先把设备接进 HA

这一步比后面所有配置都重要。xiaodu bridge 暴露的是 HA 里已有的实体。如果 HA 里点不开、状态不动、实体名乱七八糟，小度那边只会更乱。

接米家

我这里用 HA 的 Xiaomi Home 集成接米家。流程不复杂：

在 HACS 里安装 Xiaomi Home。
打开 设置 -> 设备与服务 -> 添加集成。
搜索 Xiaomi Home，登录米家账号。
选择家庭，等设备同步进来。
先在 HA 页面里手动开几次灯、空调、插座，确认状态能变。

接完别急着下一步，先在 HA 设备页里看一遍。Xiaomi Home 可以直接把米家里的设备名称和房间同步过来，所以大部分设备不用在 HA 里重新起名。要确认的主要是两件事：

1. 名字改成适合说话的。
   比如：客厅吸顶灯、卧室空调、书房插座。

2. 房间分配。
   客厅就是客厅，卧室就是卧室。
   后面开小度房间同步会省很多事。

如果发现某个设备没带上米家名称，或者变成了 switch.switch_1 这种不好念的名字，再回米家 App 里改名，或者直接在 HA 里调整。这种名字直接丢给小度，语音体验会很差。

其他设备怎么接

Zigbee2MQTT、ZHA、Matter、品牌集成都行，关键是它们最后要变成 HA 能控制的标准实体。

常见对应关系大概这样：

light          -> 开关、亮度、色温、颜色
switch         -> 开关
climate        -> 空调开关、温度、模式、风速
cover          -> 窗帘打开、关闭、位置
fan            -> 风扇开关、风速、模式
sensor         -> 温度、湿度
vacuum         -> 扫地机启动、暂停、回充
media_player   -> 播放、暂停、音量

有些设备没有现成的小度能力，比如某个自定义场景或私有协议设备。能包装成 switch 的，就先在 HA 里做成一个开关实体，再让小度控制这个开关。不能包装的，就别硬塞进去。

安装 xiaodu bridge

装法有两种。用 HACS 方便一点，手动复制更适合调试。

HACS 安装

xiaodu bridge 已经进了 HACS 默认商店，不用再加自定义仓库（本文按 v0.9.17 写）：

HACS → Integrations，搜索 xiaodu bridge，下载。
重启 HA。

手动安装

先把仓库拉下来，然后把 custom_components/xiaodu_bridge 整个目录复制到 HA 的 custom_components 下面：

git clone https://github.com/Jackroyal/xiaodu-bridge.git
cp -R xiaodu-bridge/custom_components/xiaodu_bridge /config/custom_components/

用 HAOS 的 Terminal and SSH 时，也可以直接从电脑传：

scp -r custom_components/xiaodu_bridge root@192.168.1.10:/config/custom_components/

这里面的 192.168.1.10 是我举的例子，换成你自己的 HAOS 内网地址。

复制完检查一下路径：

正确：/config/custom_components/xiaodu_bridge/manifest.json
错误：/config/custom_components/xiaodu_bridge/xiaodu_bridge/manifest.json

多套一层是老问题。确认没套错后重启：

ha core restart

小度为什么必须能访问 HA

正式接入时，DuerOS 云端会回调 xiaodu bridge 提供的几个 HTTPS 接口：

/api/xiaodu/oauth/authorize
/api/xiaodu/oauth/token
/api/xiaodu/service

所以纯内网地址不能完成正式接入。小度云端不是运行在你家局域网里的，它必须能从外面访问到你 HA 里的这些路径。

我的结构是这样：

小度云端
  -> 公网域名
  -> 路由器端口转发
  -> HAOS 反向代理
  -> HA Core 8123
  -> xiaodu bridge

用 DDNS 暴露公网入口

我这次走的是「有公网 IPv4 + DDNS」的路线。它不是唯一方案，只是对我来说最直接。没有公网 IP 的话可以看内网穿透，这部分这篇先不写。

1. 确认真的有公网 IPv4

去路由器看 WAN IP，再用手机流量查一下出口 IP。两边一致才算比较靠谱。

如果路由器 WAN IP 是 100.x.x.x、10.x.x.x、172.16.x.x 或者 192.168.x.x，基本就是运营商侧又套了一层，不是能直接入站的公网 IP。这种就先别折腾端口转发了。

2. 配域名和 DDNS

准备一个自己的域名，比如 ha.example.com。DNS 里加一条 A 记录：

ha.example.com.    A    你的公网IP

公网 IP 会变的话，就配 DDNS。路由器自带 DDNS、NAS 上的脚本、Cloudflare API 更新都可以，关键是 IP 变了以后域名要跟着变。

测试阶段建议 DNS 用“仅 DNS”，别急着套 CDN，不然证书和回源问题会混在一起，排错会麻烦很多。

3. 端口转发

国内家宽对 80 和 443 的入站管控挺常见，有的地区直接拦，有的时好时坏。所以我没把公网入口放在 443，用的是 8443 这种非标端口：

外部协议：TCP
外部端口：8443
内部目标：HAOS 主机 IP，例如 192.168.1.10
内部端口：443

外面的 8443 是给公网访问用的；里面的 443 还是给 HAOS 反向代理监听。你的反向代理如果也能改成其他监听端口，也可以自己调整，但公网那一段尽量别用 443。

另外，不要把 HA 的 8123 直接暴露出去。公网入口统一走 HTTPS，后面由反向代理转到 HA Core 的 8123。

4. 证书和反向代理

HAOS 上可以用 Let’s Encrypt 和 NGINX SSL proxy。我用 DNS 校验，这样不依赖 80 端口。这两个 add-on 的证书目录和文件名默认就是配套的：Let’s Encrypt 签出来的证书放到 /ssl，NGINX SSL proxy 默认也从 /ssl 读同名文件。所以装完不需要手动挪证书，也不用改证书路径。

Cloudflare DNS 的例子大概是这样：

challenge: dns
dns:
  provider: dns-cloudflare
  cloudflare_api_token: <你的Cloudflare API Token>
domains:
  - ha.example.com
email: <你的邮箱>

NGINX SSL proxy 只需要配域名和其他选项：

domain: ha.example.com
hsts: max-age=31536000; includeSubDomains
client_max_body_size_megabytes: 1
cloudflare: false

为了少暴露东西，我建议反向代理只放行小度需要的路径，其他公网请求直接 404。至少要放行：

/api/xiaodu
/api/xiaodu/oauth/authorize
/api/xiaodu/oauth/token
/api/xiaodu/service

如果 HA 里还有别的 OAuth 回调路径，再按需放行，不要为了省事把整个 HA 管理页面开放到公网。

然后到 HA 的 设置 -> 系统 -> 网络 里设置外部地址：

https://ha.example.com:8443

如果外网请求返回 400，HA 日志里又出现 forwarded 或 trusted proxy 相关内容，多半是反向代理网段没进 trusted_proxies。把 NGINX 所在网段加进去，并开启 use_x_forwarded_for。

在小度后台建技能

登录小度开发者平台，创建一个智能家居技能。这里会用到几样东西：

botId                 小度后台基础信息里的技能 ID
回调地址               小度平台生成的回调地址
Client_Id             自己定义
ClientSecret          自己定义
授权地址               HA 里的授权地址
Token地址              HA 里的 token 地址
WebService            HA 里的小度服务地址

假设公网地址是 https://ha.example.com:8443，那三个 HA 地址就是：

https://ha.example.com:8443/api/xiaodu/oauth/authorize
https://ha.example.com:8443/api/xiaodu/oauth/token
https://ha.example.com:8443/api/xiaodu/service

Client_Id 和 ClientSecret 不是百度后台分配的，是自己定义，然后把两边配一致。Secret 别太短，别用 123456 这种。

还有一个容易搞反的地方：回调地址 不是你的 HA 地址，而是小度平台生成出来的地址。它要填到 HA 集成里。

在 HA 里配置 xiaodu bridge

重启 HA 后，打开：

设置 -> 设备与服务 -> 添加集成 -> xiaodu bridge

按下面这些填：

界面字段	填什么	示例
Client_Id	自定义客户端 ID	`dueros_xxx`
ClientSecret	自定义随机密钥	`<长随机字符串>`
小度技能ID（botId，控制台基础信息页可见）	小度后台技能 ID	`12345678`
回调地址（小度平台生成，不可修改）	小度平台生成的地址	`https://xiaodu.baidu.com/...`
公网访问地址（HTTPS）	HA 公网基础地址	`https://ha.example.com:8443`

保存后集成会把授权地址、Token地址、WebService 显示出来。再对照小度后台检查一遍，尤其是端口：

https://ha.example.com:8443/...

用 8443 后，所有相关地址都要带 :8443。不能有些带端口，有些不带。

选择要暴露给小度的设备

添加成功后，打开集成条目 →「配置」，会进入 小度中枢 页。这里我建议别一次全选。

注意：从 v0.9.15 起，设备暴露改成按需选择。全新安装、或者从没保存过设备选项的实例，默认不会向小度发送任何设备，必须在这里选好并保存。

先拿两三台设备练手，比如客厅灯、卧室空调、一个插座。流程是：

点「添加 / 移除设备」。
选择要暴露的 HA 设备，顺便决定要不要「同步 HA 房间到小度」。
点进某个设备，先选「设备能力」勾选能力；需要时再进「高级配置」限制能力、隐藏实体、绑定语义角色或改小度侧的展示名。
保存后让小度重新发现。
用小度后台的模拟测试试一遍。

能力大概可以这样理解：

灯：开关、亮度、色温、颜色
插座：开关
空调：开关、目标温度、模式、风速
窗帘：打开、关闭、位置
传感器：温度、湿度
扫地机：启动、暂停、回充

开关能力始终启用，不能取消。温湿度这种只读能力按需勾。你不需要把 HA 里的每个实体都丢给小度，暴露得越精准，后面误触发越少。

测试

我一般按这个顺序来：

小度开发者后台触发设备发现。
看设备有没有出现在小度侧。
查询一个温湿度传感器。
打开一个灯或插座。
关掉它。
再用音箱和 App 试试真实语音。

HAOS 上可以看日志：

ha core logs -f | grep "Xiaodu access"

成功的发现请求会看到类似这样的内容：

kind=dueros
namespace=DuerOS.ConnectedHome.Discovery
name=DiscoverAppliancesRequest
result=DiscoverAppliancesResponse
status=200

如果这里连请求都没有，就别急着改 HA 配置，先查域名、端口转发、证书和反向代理。

语音可以试这些：

小度小度，打开客厅灯。
小度小度，把卧室空调调到 26 度。
小度小度，关闭书房插座。
小度小度，客厅温度是多少？

我踩到的坑

集成搜索不到

先看目录有没有多套一层：

错误：/config/custom_components/xiaodu_bridge/xiaodu_bridge
正确：/config/custom_components/xiaodu_bridge

再看 manifest.json 是否存在，然后重启 HA。

HA 里正常，小度发现不到

按顺序查：

1. 小度后台 WebService 地址对不对。
2. 地址里的端口有没有少。
3. 公网能不能访问 HA。
4. 反向代理有没有放行 /api/xiaodu。
5. HA 集成里有没有选中设备。
6. HA 日志里有没有 Xiaodu access。

别只盯音箱。正式链路里，小度云端访问不到 HA，音箱喊破天也没用。

米家设备状态不准

这时候问题多半不在 xiaodu bridge。先回 Xiaomi Home 或米家集成里看：HA 页面能不能控制，状态会不会变，实体有没有被禁用。HA 侧不稳定，桥接层写得再好也没办法。

授权页打不开

多半是公网入口没通。可以从外面测：

curl -I https://ha.example.com:8443/api/xiaodu/service

能拿到 HTTP 状态码，说明入口至少通了。TLS 都失败的话，先解决证书、DNS 和端口转发。

控制失败但发现成功

这类多半是能力没勾全，或者设备类型映射得不对。比如空调要有温度、模式、风速这些能力；窗帘要有打开、关闭能力。回集成选项里改完，再让小度重新发现。

安全上要注意

公网入口开了以后，就别图省事了：

1. 只转发需要的非标端口，比如 8443。
2. 不把 HA 管理页面对公网开放。
3. ClientSecret 用长随机串。
4. Cloudflare Token 只给必要权限。
5. Token、私钥、真实 IP 别提交到 Git。
6. 定期更新 HA、Xiaomi Home、xiaodu bridge 和加载项。

最后

这套东西的核心不是“米家转小度”，而是让 HA 当家里的统一中间层。米家、Zigbee、Matter、其他品牌集成都先进 HA，xiaodu bridge 再把这些实体交给小度。

设备命名和房间分好，后面语音体验会顺很多。先暴露少量设备测试，稳定后再慢慢加。

这篇先记录到这，内网穿透那部分等后面补。

php学习笔记(3.6)--PHP中的引用

Sun, 08 Jul 2018 17:40:28 +0000

最近再看CI源码, 刚好有碰到引用相关问题, 索性又研究了下.

1 什么是引用

引用,第一感觉就是想到C语言中的指针,两个变量指向同一个内存地址.但是php中的引用其实应该是别名, 可以类比的是linux系统中的硬链接,两个文件名实际指向同一个文件.

2 引用传值

我们在函数传参的时候可能会用到引用.在不同给的php版本中,写法也不同.

2.1 例如,在php5.2中,我们可能用到以下写法.

function foo($var) {
  $var++;
}
$a = 0;
foo(&$a);
echo '$a:'.$a."<br>";//输出$a:1

但是在php5.3+中就不推荐这种写法了5.3会报warning,在更高版本中,会报fatal错误Call-time pass-by-reference has been removed.

2.2 推荐的写法是,在定义函数的时候如果是引用,在参数声明处直接标记为引用.

//在定义函数时,直接声明参数为引用
function foo(&$var) {
  $var++;
}
$a = 0;
foo($a);
echo '$a:'.$a."<br>";//输出$a:1

3 引用返回

除了引用传值,还有一种常见的情况是引用返回.

function &foo(&$var) {
  $var++;
  return $var;
 
}
$a = 0;
$b=&foo($a);
$b=4;
echo '$a:'.$a."<br>";//输出$a:4
echo '$b:'.$b."<br>";//输出$b:4

此处需要注意的是,函数定义处需要显示声明function &foo,在调用函数的时候也需要显示声明$b=&foo($a).这个跟上面讲到的引用传值不同. 那么如果我调用函数的时候如果不加&调用,会怎么样呢?

function &foo(&$var) {
  $var++;
  return $var;
 
}
$a = 0;
$b=foo($a);
$b=4;
echo '$a:'.$a."<br>";//输出$a:1
echo '$b:'.$b."<br>";//输出$b:4

上面例子中的引用传值只是为了突显这种差别. 也可以用对象来表现这个差别.

class foo {
    public $value = 42;
    public function &getValue() {
        return $this->value;
    }
}

$obj = new foo;

$myValue = &$obj->getValue();
$obj->value = 2;
echo $myValue; //输出2

上面public function &getValue() {或$myValue = &$obj->getValue();中的&,无论少了谁,都不是引用返回,会导致最后输出$myValue=42

4 对象的赋值和传值

在php5中,对象的赋值和参数传递并不是引用传递,实际传递的是对象标识符的拷贝. 上面已经讲到php中的引用其实是别名,对于对象而言,php5中对象变量并不直接指向对象内容,而是保存了一个对象标识符,通过标识符来访问对象的内容,在将对象变量赋值的时候,其实是将两个变量指向同一个标识符,下面看例子.

class A {
    public $foo = 1;
}  

$a = new A;
$b = $a;     // $a ,$b都是同一个标识符的拷贝
             // ($a) = ($b) = <id>

             $c = new A;
$d = &$c;    // $c ,$d是引用
             // ($c,$d) = <id>

上面的例子比较清晰表明了2者的区别,总结下: 对于普通变量而言:

$a = 1;
$b = &$a;

变量$a直接指向内容,当产生引用(即别名),那么$a和$b都指向同一个内容; 对于对象而言,中间隔着标识符:

class A {
    public $foo = 1;
}
$a = new A;
$b = &$a;    // $a ,$b是引用
$c = $a;     // $c和$a保存的是同一个标识符,保存在不同的地方

通俗的讲,我们可以把标识符理解为门牌号,$a和$c中保存的是同样的门牌号,但是并不是记录在同一个地方,是相同内容的拷贝,他们都可以找到同一个人;而$a和$b只是别名的关系,它俩实际指向同一个,记录在同一个地方.

$a的小本本记录门牌号A1234 $b的小本本(实际和$a是同一个小本本,彼此互为别名)记录门牌号A1234 $c的小本本记录门牌号A1234

一图胜千言

  $b ---->+      
                |
  $a ---->+
                |  
                v   
          +--------+      
          | object id   |--------+ 
          +--------+               |
                                          v
          +--------+      +--------------+
  $c -->| object id  | ---> | object(Class A) |
          +--------+      +--------------+

参考文献

修复ubuntu终端中文显示和输入的问题

Mon, 24 Apr 2017 13:37:01 +0000

我在管理服务器的时候,一般在win下面使用xshell和xftp两个软件,来进行管理和上传文件.不过一直有个头疼的问题:如果文件名是中文的,上传之后,在ftp软件中看到的是正常的,在xshell终端中看到的却是乱码;而且,在xshell中无法输入中文,所以我在vi中修改文件的时候一般只使用英文.

昨晚没事,就查了一下资料,修复了这个问题.

1 目标

本文的目标主要是修复中文文件名乱码和中文输入的问题,本文的目标不是把整个系统的所有语言体系都改成中文,只是单纯的修复中文输入问题和中文文件名显示问题.

2 环境

服务器环境: Ubuntu Server 16.04 lts 本地环境: windows7 软件环境: Xshell 和 Xftp

3 修改配置

与中文编码相关的配置主要包括: 本地编码和服务器编码.我们首先设置服务器端编码:

3.1 服务器编码配置

首先,我们使用xshell连接登录服务器,然后在终端中输入locale命令,得到结果如下:

$ locale
LANG=
LANGUAGE=C:
LC_CTYPE="POSIX"
LC_NUMERIC="POSIX"
LC_TIME="POSIX"
LC_COLLATE="POSIX"
LC_MONETARY="POSIX"
LC_MESSAGES="POSIX"
LC_PAPER="POSIX"
LC_NAME="POSIX"
LC_ADDRESS="POSIX"
LC_TELEPHONE="POSIX"
LC_MEASUREMENT="POSIX"
LC_IDENTIFICATION="POSIX"
LC_ALL=

各个选项的含义如下:

语言符号及其分类(LC_CTYPE)
数字(LC_NUMERIC)
比较和排序习惯(LC_COLLATE)
时间显示格式(LC_TIME)
货币单位(LC_MONETARY)
信息主要是提示信息,错误信息, 状态信息, 标题, 标签, 按钮和菜单等(LC_MESSAGES)
姓名书写方式(LC_NAME)
地址书写方式(LC_ADDRESS)
电话号码书写方式(LC_TELEPHONE)
度量衡表达方式(LC_MEASUREMENT)
默认纸张尺寸大小(LC_PAPER)
对locale自身包含信息的概述(LC_IDENTIFICATION)。

关于locale更多的信息,请查看Locale-wiki 我们要修复的是中文文件名的显示和中文输入的问题,所以我们接下来只需要设置LC_CTYPE即可.

查看系统支持的编码方式:

locale -a

看看输出内容中是否包含zh_CN.utf-8,如果不包含的话,我们需要添加这个配置项

sudo locale-gen zh_CN.utf-8

修改后,我的输出内容如下,已经包含zh_CN.utf-8 接下来,修改LC_CTYPE的值,使用export LC_CTYPE='zh_CN.UTF-8',命令来修改. 直接执行export LC_CTYPE='zh_CN.UTF-8'那么只对当前会话有效, 所有用户(永久):修改/etc/profile 当前用户(永久):修改~/.bashrc

建议直接修改/etc/profile文件,这样所有用户都可以使用. 修改完成后,退出登录,重新登录一次,再输入locale命令,可以得到如下输出:

LANG=
LANGUAGE=C:
LC_CTYPE=zh_CN.UTF-8
LC_NUMERIC="POSIX"
LC_TIME="POSIX"
LC_COLLATE="POSIX"
LC_MONETARY="POSIX"
LC_MESSAGES="POSIX"
LC_PAPER="POSIX"
LC_NAME="POSIX"
LC_ADDRESS="POSIX"
LC_TELEPHONE="POSIX"
LC_MEASUREMENT="POSIX"
LC_IDENTIFICATION="POSIX"
LC_ALL=

应该就可以输入中文了

3.2 本地配置

在windows中,中文的默认编码是GBK,所以为了避免出现在ftp中看着正常,在xshell中看着乱码的问题.我们要修改xftp中的编码方式.打开xftp,文件->属性->选项,勾选上使用UTF-8编码.

3.3 编码转换

上面的修改完成后,基本可以解决之前提到的目标.新上传的文件肯定是正常的,但是之前上传的文件依旧是乱码,所以我们需要使用工具转换一下.

sudo apt-get install convmv

用法很简单:

convmv -f GBK -t UTF-8 --notest ./*

其中,-f表示源编码;-t表示目标编码;如果没有--notest选项,这条命令只会检测,不会执行;后面跟着需要操作的文件目录;如果需要递归执行,可以加上-r选项.

打完收工

参考文献

将hexo部署到自己的个人服务器上

Sat, 08 Apr 2017 19:22:22 +0000

本文假设你已经配置好了hexo了,这是前提

前面两篇文章主要是用来配置自己的服务器.服务器部署完成后,后面就可以开始写博客了.但是每次hexo d推送到gihub的服务器上了,还需要手动将文件复制到自己的服务器对应网站的根目录,对的,要手动,当然不能忍.

1 ugly的解决办法

于是我写了一个脚本,在服务器上定时去访问我的github,如果检测到文件有变动,就把github的内容clone到服务器上,然后再布置到网站根目录. 代码很简单,就这几行.主要是检测/archives/index.html这个文件的大小是否变化了,选择它,是由于这个文件较小,而且每次发布新文章大小都会发生变化.

#!/bin/sh
cd ~/blogsync
length=`ls -l github.json| awk '{print $5}'`
curl -o github.json  https://raw.githubusercontent.com/huirong/huirong.github.io/master/archives/index.html
newlength=`ls -l github.json| awk '{print $5}'`
test $length -eq $newlength && exit 0 #if same so quit
git clone https://github.com/huirong/huirong.github.io.git huirongis_me
rm -fr ~/www/huirongis_me
mv huirongis_me ~/www/

这样搞法,是不需要手动了,但是做不到实时,而且,如果你没有新增或删减文章,其他的改动,可能不会反应在/archives/index.html,那他就不会自动去更新了.

2 完美的搞法

既然有ugly的解决方法,自然有完美的解决方法.本文主要是参考使用 Git Hook 自动部署 Hexo 到个人 VPS. 这个方法的原理,用一句话总结就是:在自己的服务器上搭建一个git服务器,然后依靠git hook程序,将git仓库代码更新到自己的网站根目录.

2.1 在vps上安装git

我的服务器是ubuntu 16.04 lts,安装git服务非常简单

sudo apt-get install git

2.2 创建git用户

这一步的原因是,我们需要一个小权限的账号来操作git.比如我们后面会限制这个git账号,不让他登录shell等等.

sudo adduser git

我们在服务器的ubuntu执行这条命令就好了,非常简单,而且还帮你在home下建立了对应的目录. 接下来要配置git用户的认证,有两种办法:

给git用户设置一个密码,以后每次执行hexo d的时候,会要求你输入密码,才能继续操作
给git用户配置ssh证书,当把公钥传到服务器后,每次hexo d免密,直接操作完成

2.3 设置密码登录

设置密码使用Linux命令passwd即可

sudo passwd git

上述命令执行完成后,按照提示输入两次密码,即配置完成

2.4 配置ssh证书

配置ssh证书,设置的时候比较麻烦,但是后面每次使用比较简单.后面再说原因.

2.4.1 生成ssh证书

首先,我们需要生成证书,这一步我们在自己本地电脑进行.注意:生成证书不在服务器上操作,在自己本地电脑上进行.

Mac或者Linux 对于Mac或者LInux用户,直接使用系统自带的终端就好 windows: 对于windows用户,hexo配置完成后,你应该有一个执行shell命令的软件,比如我的是github desktop自带的shell程序,或者你自己安装的git shell,也是可以的,大概长这样

首先,我们打开shell程序,输入以下命令

ssh-keygen -t rsa -b 4096 -C "你的email地址"

接着提示让我们输入文件保存的路径,如果你不输入就按照默认的保存,输入完成,回车下一步,提示我们输入密码,这个密码只是证书的密码,即,当使用这个证书登录的时候要输入的密码,它不是服务器用户的密码,而是单纯给ssh证书设置的密码. 我这里选择不设置,直接回车,提示确认起码,再回车证书生成完毕. 我们进入刚才证书保存的目录,可以看到id_rsa和id_rsa.pub两个文件(也有可能是其他名字,反正一个有pub一个没pub),分别就是私钥和公钥.

PS:其实生成证书这一步,在服务器上,或者任何一个机器上都可以,只要你最后把这个公钥传到服务器,用这个私钥链接你的服务器就行,这里为求简单,在本地的git shell中生成

2.4.2 上传公钥

接下来,我们还是在本地终端操作.将上一步生成的id_rsa.pub文件内容追加到服务器的authorized_keys中. OpenSSH提供了一个命令ssh-copy-id,直接将文件添加到服务器,简直不能更方便用法如下:

ssh-copy-id git@yourserver

比如我输入ssh-copy-id -i ~/.ssh/id_rsa.pub git@bblove.me,这里的yourserver可以输入域名或者ip,-i用来指定具体的公钥文件,适用于存在多个公钥或者找不到公钥的情况,最好手动指定它.输入该命令后,会要求你输入服务器上git用户的密码.

如果此法不通,你可以直接在服务器上编辑authorized_keys文件,把id_rsa.pub内容追加到文件后面即可请务必确认authorized_keys文件的权限是rw-------,如果不是,使用chmod 600 authorized_keys来修改.

2.4.3 测试ssh连接

接下来,我们还是在本地终端操作.我们测试一下,看是否能成功连接到服务器.主要使用ssh -T git@yourserver命令来测试,此处git是指用户名,yourserver填你的服务器域名或者ip即可.测试结果如下:

如果测试不成功,他会返回给你错误提示.如果像我上图这样,那就是测试成功了,需要手动ctr+c,让git终端回复到正常输入命令的状态.下面附上github的测试结果,与我的vps略有不同,反正都是成功的.

2.4.4 ssh测试失败

如果你测试失败,可能有多方面的原因,客户端或者服务器都有可能.

2.4.4.1 客户端ssh配置

接下来,还是在本地终端操作.我们首先检查一下客户端ssh的配置,文件的位置在/etc/ssh/ssh_config,我们使用vi /etc/ssh/ssh_config命令打开和编辑该文件.本文服务器域名是bblove.me,请检查你的ssh_config文件,是否存在一条Host *记录,并且该记录的IdentityFile值,是否是你刚才生成的那个私钥的地址. 这个配置文件的意思是,针对某个Host,程序使用IdentityFile指定的私钥文件去进行ssh连接. 如果我们上一步测试ssh连接失败,有可能就是针对我们自己的域名,我们未指定正确的私钥文件.附上我的ssh_config文件的内容,

这也就意味着,我们可以针对多个网站各自配置不同的ssh证书,比如我github一套,自己服务器一套.当然偷懒的话,也可以所有网站使用一套ssh证书.只需要添加配置Host *的配置即可.你的配置文件内容可能和我的不同,关注下host和IdentityFile的内容就好. PS:如果host配置了*,请务必保证它在其他域名配置的后面,因为系统是从前到后匹配,所以*必须在具体域名的后面.

2.4.4.2 服务器ssh配置

接下来,我们在服务器上操作.我们检查一下服务器端ssh配置是否有误.文件的位置在/etc/ssh/sshd_config,我们使用sudo vi /etc/ssh/sshd_config打开和编辑该文件.例如我的ubuntu虚拟机的内容经过修改后,就是这样的:

# Package generated configuration file
# See the sshd_config(5) manpage for details

# What ports, IPs and protocols we listen for
#这个是用来指定ssh端口的,不用改
Port 22
# Use these options to restrict which interfaces/protocols sshd will bind to
#ListenAddress 10.105.224.192
#ListenAddress 10.105.224.192
Protocol 2
# HostKeys for protocol version 2
HostKey /etc/ssh/ssh_host_rsa_key
HostKey /etc/ssh/ssh_host_dsa_key
HostKey /etc/ssh/ssh_host_ecdsa_key
HostKey /etc/ssh/ssh_host_ed25519_key
#Privilege Separation is turned on for security
UsePrivilegeSeparation yes

# Lifetime and size of ephemeral version 1 server key
KeyRegenerationInterval 3600
ServerKeyBits 1024

# Logging
SyslogFacility AUTH
LogLevel INFO

# Authentication:
LoginGraceTime 120
PermitRootLogin no
StrictModes yes

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile	%h/.ssh/authorized_keys

# Don't read the user's ~/.rhosts and ~/.shosts files
IgnoreRhosts yes
# For this to work you will also need host keys in /etc/ssh_known_hosts
RhostsRSAAuthentication no
# similar for protocol version 2
HostbasedAuthentication no
# Uncomment if you don't trust ~/.ssh/known_hosts for RhostsRSAAuthentication
#IgnoreUserKnownHosts yes

# To enable empty passwords, change to yes (NOT RECOMMENDED)
PermitEmptyPasswords no

# Change to yes to enable challenge-response passwords (beware issues with
# some PAM modules and threads)
ChallengeResponseAuthentication no

# Change to no to disable tunnelled clear text passwords
PasswordAuthentication yes

# Kerberos options
#KerberosAuthentication no
#KerberosGetAFSToken no
#KerberosOrLocalPasswd yes
#KerberosTicketCleanup yes

# GSSAPI options
#GSSAPIAuthentication no
#GSSAPICleanupCredentials yes

X11Forwarding yes
X11DisplayOffset 10
PrintMotd no
PrintLastLog yes
TCPKeepAlive yes
#UseLogin no

#MaxStartups 10:30:60
#Banner /etc/issue.net

# Allow client to pass locale environment variables
AcceptEnv LANG LC_*
AllowUsers chen git zhou
Subsystem sftp /usr/lib/openssh/sftp-server

# Set this to 'yes' to enable PAM authentication, account processing,
# and session processing. If this is enabled, PAM authentication will
# be allowed through the ChallengeResponseAuthentication and
# PasswordAuthentication.  Depending on your PAM configuration,
# PAM authentication via ChallengeResponseAuthentication may bypass
# the setting of "PermitRootLogin without-password".
# If you just want the PAM account and session checks to run without
# PAM authentication, then enable this but set PasswordAuthentication
# and ChallengeResponseAuthentication to 'no'.
UsePAM yes
Ciphers aes128-cbc,aes192-cbc,aes256-cbc,aes128-ctr,aes192-ctr,aes256-ctr,3des-cbc,arcfour128,arcfour256,arcfour,blowfish-cbc,cast128-cbc
MACs hmac-md5,hmac-sha1,umac-64@openssh.com,hmac-ripemd160,hmac-sha1-96,hmac-md5-96
KexAlgorithms diffie-hellman-group1-sha1,diffie-hellman-group14-sha1,diffie-hellman-group-exchange-sha1,diffie-hellman-group-exchange-sha256,ecdh-sha2-nistp256,ecdh-sha2-nistp384,ecdh-sha2-nistp521,diffie-hellman-group1-sha1,curve25519-sha256@libssh.org
UseDNS no

我们只需要重点关注下这几个值,

PermitRootLogin no,也就是不允许使用root登录,这是为了安全起见
AuthorizedKeysFile %h/.ssh/authorized_keys,指定公钥存放的文件,这个要重点关注下,注意去掉前面的注释

其他的配置,基本不用修改.以上配置修改完成后,我们重启一下服务器端的ssh服务,使用命令sudo service ssh restart即可.最后,我们再回到客户端,测试一下ssh连接是否成功.ssh -T git@yourserver.还不行的话,你就去google查一查错误

2.5 配置服务器git仓库

上一步,我们配置好了客户端ssh连服务器,这一步我们回到服务器上去操作.

#在服务器新建一个文件夹,用来存放git仓库
sudo mkdir /home/chen/bblove
cd /home/chen/bblove
#进入文件夹,对git仓库进行初始化
sudo git init --bare blog.git
#初始化完成后,进入hooks文件夹
cd /home/chen/bblove/blog.git/hooks
#新建一个钩子程序,这个文件名可以自定义,我取名为post-receive
vi post-receive

我们在post-receive中,写入如下代码

#!/bin/sh
git --work-tree=/home/chen/www/bblove_me --git-dir=/home/chen/bblove/blog.git checkout -f

此处,--work-tree指的是你的网站根目录,--git-dir指的是你的git仓库的目录. 编辑完城后,wq退出并保存post-receive文件.下面给钩子程序加上可执行权限

#给钩子程序加上可执行权限
sudo chmod +x /home/chen/bblove/blog.git/hooks/post-receive

最后,修改git仓库权限,否则客户端无法提交代码到这个仓库

#接下来修改git仓库的权限
sudo chown -R git:git blog.git

此处还要注意一点,我们还要修改网站根目录的权限,否则钩子程序执行的时候,无法修改网站根目录的内容.

sudo chown -R git:git /home/chen/www/bblove_me

至此,服务器端配置完成

2.6 修改hexo的配置文件

终于,走到了这一步. 我们打开我们自己hexo博客根目录的_config.yml文件.

deploy:
- type: git
  repo: 'https://github.com/Jackroyal/Jackroyal.github.io.git'
  branch: master
- type: git
  repo: git@bblove.me:/home/git/bblove/blog.git
  branch: master

因为,hexo本身是支持多点发布的,所以我们每次deploy的时候,让他同时推到github和自己的服务器上去. 你只需要改 repo: git@bblove.me:/home/git/bblove/blog.git这一行,git@yourserver:/your-git-dir. ok,大功告成啦,赶快hexo d -g看看效果吧

参考文献

Nginx上多站点的https配置

Wed, 05 Apr 2017 13:09:24 +0000

更新

2017-06-13 修改证书生成目录,为方便后续的git push自动更新,将acme验证目录移出网站根目录

此处接上篇在ubuntu上安装和配置Nginx,本文在之前的基础上配置https.

1 环境和目标

服务器:ubuntu server 16.04.2 LTS 主要工具:xshell 本文的目标是使用Nginx的TLS SNI技术,使用一个服务器(即一个ip),给多个域名配置https.我有一个腾讯云服务器,买了两个域名,都指向这台服务器,我现在想两个域名都上https,而且www.bblove.me跳转到bblove.me,我只想使用bblove.me这个较短的域名. 但是不是所有的浏览器都支持SNI,下面的截图来自屈大的博客由于是个人博客,随意折腾,所以不犹豫,直接上https.

2 证书

我们使用Let’s Encrypt提供的免费证书,每次有90天的有效期,过期之后需要再更新,不过这对于程序员来说,根本就不是事儿对吧.点击ACME,我们使用ACME来自动获取证书.主要步骤分三步:

安装 acme.sh
生成证书
copy 证书到 nginx 具体步骤,参考github上的wiki ACME使用说明下面我简单说下我这边的配置:

2.1 安装acme.sh

安装的命令很简单

curl  https://get.acme.sh | sh

建议将脚本放在自己的home目录下,并且建立一个alias

acme.sh=~/.acme.sh/acme.sh

操作的目录都只会在~/acme.sh目录,不会污染系统其他的文件夹和目录

2.2 生成证书

脚本安装好后,下一步开始生成证书,生成证书的过程中,Let’s Encrypt需要对域名的所有权进行验证,这个很好理解,证书发行机构需要确定你是否对该域名拥有所有权.验证的方式有两种:

使用http验证 acme脚本会生成一个验证文件,并放到网站根目录,然后Let’s Encrypt会尝试访问这个文件,完成验证
使用DNS验证顾名思义,只需要在DNS设置中添加一条txt解析记录,即可

本文采用的是http验证,DNS验证就不细说了,想使用DNS验证的直接看 ACME使用说明

我一共有两个域名bblove.me和huirongis.me,主域名加上带www的子域名,也就是一共有4个域名. 生成证书有下面三种思路:

所有的4个域名都使用同一个证书,此法最简单,可以避免发生域名和证书不匹配的情况
www.bblove.me和bblove.me使用同一个证书,另外一个域名同理,也就是总共使用两个证书
使用4个不同的证书,这种情况比较复杂,如果想实现www跳转到不带www的,处理不好容易出现证书错误的问题

由于我最后只使用https://bblove.me这个域名,验证方式选择的http方式,bblove.me和huirongis.me指向不同的根目录,为了方便后续管理和维护,所以我选择方案二,即bblove.me和www.bblove.me共用一个证书,huirongis.me同理. 确定好方案后,下面开始生成证书,使用如下命令即可.

acme.sh --issue -d bblove.me -d www.bblove.me -w /home/chen/www/nginx_acme/bblove_me/ --force

其中-d表示域名,可以添加多个;-w表示网站的根目录,一条命令执行完成,即可得到证书. 顺利的话,执行结果如下(此处配图输入命令未更新,输出结果是一致的): 如果出错的话,在那条命令后面追加--debug,查看详细的信息,我有遇到过文件权限的错误,只要网站根目录权限和当前home目录对应的用户权限一样就可以了;我还遇到过验证不通过的问题,大家可以在浏览器中访问那个路径,看是否正常,类似http://bblove.me/.well-known/acme-challenge/dfdfdfdafdfdfdfdfdfdfdfd这样的格式

2.3 安装证书

在上一步中,我们已经成功的生成了我们要的证书.这一步我们将它安装在我们域名所对应的根目录中,操作很简单.

acme.sh --installcert -d bblove.me --keypath /home/chen/www/nginx_ssl/bblove_me/bblove_me.key --fullchainpath /home/chen/www/nginx_ssl/bblove_me/bblove_me.cer --reloadcmd "service nginx force-reload"

执行结果如图所示: 至此,证书部分已经操作完成,第二个域名操作同理.

#生成证书
acme.sh --issue -d bblove.me -d www.bblove.me -w /home/chen/www/nginx_acme/bblove_me/ --force
#安装证书
acme.sh --installcert -d bblove.me --keypath /home/chen/www/nginx_ssl/bblove_me/bblove_me.key --fullchainpath /home/chen/www/nginx_ssl/bblove_me/bblove_me.cer --reloadcmd "service nginx force-reload"

#生成证书
acme.sh --issue -d huirongis.me -d www.huirongis.me -w /home/chen/www/huirongis_me/ --force
#安装证书
acme.sh --installcert -d huirongis.me --keypath /home/chen/www/nginx_ssl/huirongis_me/huirongis_me.key --fullchainpath /home/chen/www/nginx_ssl/huirongis_me/huirongis_me.cer --reloadcmd "service nginx force-reload"

3 修改Nginx配置

证书生成完成后,我们需要修改Nginx配置,主要就是启用之前注释掉的HTTPS相关的配置以及,修改对应的目录. 下面是我的第一个站点的配置:

server {
    listen 80;
    server_name       www.bblove.me bblove.me;
    server_tokens     off;

    access_log /home/chen/www/nginx_log/bblove_me.log;
    #access_log        /dev/null;

    if ($request_method !~ ^(GET|HEAD|POST)$ ) {
        return        444;
    }

    location ^~ /.well-known/acme-challenge/ {
        alias         /home/chen/www/nginx_acme/bblove_me/.well-known/acme-challenge/;
        try_files     $uri =404;
    }

    location / {
        rewrite       ^/(.*)$ https://bblove.me/$1 permanent;
    }
}
server{
        listen 443 ssl http2 fastopen=3 reuseport;

        server_name bblove.me;
        server_tokens   off;
        access_log /home/chen/www/nginx_log/bblove_me.log;


        ssl_certificate /home/chen/www/nginx_ssl/bblove_me/bblove_me.cer;
        ssl_certificate_key     /home/chen/www/nginx_ssl/bblove_me/bblove_me.key;

		#使用openssl dhparam -out dhparams.pem 2048命令生成该文件,将下面配置注释也许
        ssl_dhparam    /home/chen/www/nginx_ssl/dhparams.pem;

        ssl_prefer_server_ciphers  on;


		#下面是推荐的加密算法配置,但是在我的机器上有bug,chacha20算法无法正常工作,所以我去掉了其中包含chacha20的算法
		# https://github.com/cloudflare/sslconfig/blob/master/conf
    	#ssl_ciphers                EECDH+CHACHA20:EECDH+CHACHA20-draft:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;
        ssl_ciphers                EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;


        ssl_protocols              TLSv1 TLSv1.1 TLSv1.2;

        ssl_session_cache          shared:SSL:50m;
        ssl_session_timeout        1d;

        ssl_session_tickets        on;
        ssl_stapling    on;
        ssl_stapling_verify     on;
        ssl_trusted_certificate /home/chen/www/nginx_ssl/bblove_me/bblove_me.cer;
        resolver        114.114.114.114 valid=300s;
        resolver_timeout        10s;
        if ($request_method !~ ^(GET|HEAD|POST|OPTIONS)$ ) {
                return           444;
        }
        if ($host != 'bblove.me'){
                rewrite ^/(.*)$ https://bblove.me/$1 permanent;
        }
        location / {
                root /home/chen/www/bblove_me;
                index index.html index.htm;
                add_header               Strict-Transport-Security "max-age=31536000; includeSubDomains; preload";
                add_header               X-Frame-Options deny;
                add_header               X-Content-Type-Options nosniff;
                add_header               Cache-Control no-cache;
                add_header               x-xss-protection " 1; mode=block";
                add_header               x-content-type-options nosniff;
        }
}

下面是我第二个站点的配置:

server{
	listen 443 ssl http2;

	server_name www.huirongis.me huirongis.me;
	server_tokens	off;
	access_log /home/chen/www/nginx_log/huirongis_me.log;

	
	ssl_certificate	/home/chen/www/nginx_ssl/huirongis_me/huirongis_me.cer;
	ssl_certificate_key	/home/chen/www/nginx_ssl/huirongis_me/huirongis_me.key;
	#ssl_dhparam	/home/chen/www/nginx_ssl/huirongis_me/huirongis_me.cer;
	ssl_ciphers                EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;
	#ssl_ciphers                EECDH+CHACHA20:EECDH+CHACHA20-draft:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;
	ssl_prefer_server_ciphers  on;

	ssl_protocols              TLSv1 TLSv1.1 TLSv1.2;

	ssl_session_cache          shared:SSL:50m;
	ssl_session_timeout        1d;

	ssl_session_tickets        on;
	ssl_stapling	on;
	ssl_stapling_verify	on;
	ssl_trusted_certificate	/home/chen/www/nginx_ssl/huirongis_me/huirongis_me.cer;
	resolver	114.114.114.114 valid=300s;
	resolver_timeout	10s;
	if ($request_method !~ ^(GET|HEAD|POST|OPTIONS)$ ) {
        	return           444;
	}
	if ($host != 'huirongis.me'){
		rewrite ^/(.*)$ https://huirongis.me/$1 permanent;
	}	
	location / {
		root /home/chen/www/huirongis_me;
		index index.html index.htm;
	        add_header               Strict-Transport-Security "max-age=31536000; includeSubDomains; preload";
		add_header               X-Frame-Options deny;
	        add_header               X-Content-Type-Options nosniff;
		add_header               Cache-Control no-cache;
		add_header		 x-xss-protection " 1; mode=block";
		add_header		 x-content-type-options nosniff;
	}
}
server {
    server_name       www.huirongis.me huirongis.me;
    server_tokens     off;

    access_log        /dev/null;

    if ($request_method !~ ^(GET|HEAD|POST)$ ) {
        return        444;
    }

    location ^~ /.well-known/acme-challenge/ {
        alias         /home/chen/www/nginx_acme/huirongis_me/.well-known/acme-challenge/;
        try_files     $uri =404;
    }

    location / {
        rewrite       ^/(.*)$ https://huirongis.me/$1 permanent;
    }
}

该配置的主体内容,都是参考的屈大的配置,但是由于屈大的是单站点,所以为了对应多站点,做了一些改动.

改动1: server的第一行listen fastopen=3 reuseport的选项,只能用在一个站点上,不能两个站点都加这段配置
改动2: ssl_dhparam 配置,另外一个站点我懒得弄了,你可以自己生成文件,两个站点都配上.

有些配置的含义和原理,屈大都给了详细的分析,想了解的可以去看看.

再贴一下本站目录结构:

4 修改http资源为https

ok,都这里基本都搞定了,应该可以看到小绿锁了.在chrome中按F12->console,查看原因.如果你的网站中包含其他第三方http资源,可能会没有看到小绿锁,只需要将http资源修改为https的就行,比如图片资源,本站使用新浪微博图床,只需要将原来的http格式的图片加个s,变成https就可以了.如果资源没有https的,那就需要将资源下载到服务器本地. 至此,整个网站的https配置完成.

5 问题和优化

现在还有问题没有解决:

加密算法的问题,我的服务器配置chacha20算法不成功,只要客户端协商的算法中有chacha20,服务器就会返回bad record mac错误,现在我只能把它禁用
证书的自动更新问题,由于我后期还配置了其他的东西,所以证书自动更新一直不成功,需要我手动去更新
将域名提交到https://hstspreload.org/,具体原理请参考合理使用

参考文献

在ubuntu上安装和配置Nginx

Wed, 05 Apr 2017 10:51:24 +0000

废话:最近一直想写博客,憋了好几篇,但是一直没时间,从年前拖到了年后,一直拖到4月份,真是伤不起,不过,总算开动了

1 系统环境

服务器:ubuntu server 16.04.2 LTS 主要工具:xshell

我这个服务器是腾讯云的主机,装的最新的ubuntu server lts发行版,32位系统.

2 系统安装

我这里是完全参考的屈大的教程,因为屈大教程会不断更新,所以我这里就不赘述,直接贴地址 https://imququ.com/post/my-nginx-conf.html

ps:由于屈大的Nginx配置是https一步到位,我的建议是,刚开始玩的话,先把所以https相关的配置注释掉,等一切顺利跑起来了,后期再加上https的内容

Nginx全局配置,直接抄屈大的就行,只需要把最后一行,改成你自己的服务器的路径

    include            /home/jerry/www/nginx_conf/*.conf;

web站点配置注释掉https相关内容后,如下(我修改了屈大部分目录的路径,原理一样的):

server{
        listen 80;

        server_name bblove.me www.bblove.me;
        server_tokens   off;
        access_log /home/chen/www/nginx_log/bblove_me.log;


#        ssl_certificate /home/chen/www/nginx_ssl/bblove_me/bblove_me.cer;
#        ssl_certificate_key     /home/chen/www/nginx_ssl/bblove_me/bblove_me.key;
#        ssl_dhparam    /home/chen/www/nginx_ssl/dhparams.pem;
#        ssl_prefer_server_ciphers  on;
#        ssl_ciphers                EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;

#       ssl_protocols              TLSv1 TLSv1.1 TLSv1.2;

#       ssl_session_cache          shared:SSL:50m;
#        ssl_session_timeout        1d;

#       ssl_session_tickets        on;
#        ssl_stapling    on;
#        ssl_stapling_verify     on;
#        ssl_trusted_certificate /home/chen/www/nginx_ssl/bblove_me/bblove_me.cer;
        resolver        114.114.114.114 valid=300s;
        resolver_timeout        10s;
        if ($request_method !~ ^(GET|HEAD|POST|OPTIONS)$ ) {
                return           444;
        }
#        if ($host != 'bblove.me'){
#                rewrite ^/(.*)$ https://bblove.me/$1 permanent;
#        }
        location / {
                root /home/chen/www/bblove_me;
                index index.html index.htm;
                add_header               Strict-Transport-Security "max-age=31536000; includeSubDomains; preload";
                add_header               X-Frame-Options deny;
                add_header               X-Content-Type-Options nosniff;
                add_header               Cache-Control no-cache;
                add_header               x-xss-protection " 1; mode=block";
                add_header               x-content-type-options nosniff;
        }
}

上面的配置完成后,使用sudo service nginx reload,重新加载配置文件,如果没有生效,就重启一下服务器.如果服务出错,可以使用sudo service nginx status查看是哪一行的配置出错,修改以后再reload. 到此步,服务器应该就配置好了,可以使用ip访问你的服务器了http://x.x.x.x,此处如果无法访问,请查看安全组配置,检查是否开放了80端口

3 修改DNS配置

我使用的DNSPOD的服务,直接去管理后台,添加两条解析记录,将www和@添加A记录,指向自己的服务器ip. 如果你不添加www的话,那访问你的博客只能使用bblove.me访问.添加两条记录的话,www.bblove.me和bblove.me都可访问你的博客. 而且,后面配置https的时候,如果要上HSTS的功能,就必须要配置www. 配置好之后,可能要等一会儿才会生效到这一步,你的服务器应该就可以使用域名访问了,http://域名

4 本站目录设置

本站因为后期会布置多站点,所以设置目录结构如下,www目录下包含两个域名对应的网站根目录,同时还设置了配置文件的目录,日志文件的目录,https证书相关目录等,如图所示.

5 结尾

我把多站点配置和https配置放到下一篇博客,这篇就简单讲这么多吧.

小建议:

配置Nginx的时候善用sudo service nginx status,这个用来定位错误很方便
如果使用云服务器,比如腾讯云的话,需要修改安全组策略,把80端口和443端口放开
如果想查看端口是否打开,可以使用站长工具-在线端口扫描

2016这过去的半年

Sun, 06 Nov 2016 15:39:32 +0000

时间真是匆匆啊,上一篇博客的时间是3月25,今天都已经是11月6号了,过去了7个多月.

1 时光匆匆

自从上了初中开始,就发觉时间过得快来.接下来到了高中时间有是更快了,到了大学时间简直飞逝. 人生黄金的10年,转眼已经过了一般,but我依旧没有成为一个大神,还是辣么水水哒.基础知识还是不扎实,做事情总是知其然而不知其所以然,这是我所讨厌的,但是也没有实际的办法. 每次遇到一个事情,如果要刨根问底的去解决,就涉及太多的东西,短时间根本没法解决;可是如果选择一个快捷的方法,那么就只是解决了眼前的问题,但是没有实际去搞懂它.等到事情解决,每每又再提不起兴趣去解决.这真是一对矛盾,想快速解决就搞不懂原理,想搞懂原理但是时间又不允许.

2 找实习

今年有一个比较大的事情,也是对自己比较重要的事情,找实习.想来也是运气好,和老谭他们比起来真是好太多了. 还记得3月份第一个电话是海豚浏览器,我在官网发的邮件,因为海豚不招php没办法投的前端开发,但是一面(可能都不能算是一面),应该是hr面试的就把我刷掉了,额,有点心塞. 第二个好像是微博易,这个公司有点坑,技术面是CTO面试的.一般CTO啊CEO啊搞面试,说实话都觉得有点不靠谱,因为说明公司真心小,哭脸.这个技术面真心让我无语,一开始就告诉我这次面试要问几个技术问题,开场是我做个自我介绍,然后简单聊了一下自己的项目.接着事情就不可控了,他问我为什么要做技术,我说是因为自己对技术比较感兴趣,小时候看电影觉得黑客很酷,现在虽然做不成黑客,但是我喜欢电脑,喜欢敲代码.然后他接着问我为什么喜欢,觉得做技术最重要的是什么?我当时内心真是黑人问号了,这完全不按套路出牌啊,一直刨根问底.整个面试持续了1个小时,而且最后结束的时候并没有问任何技术问题,真是醉了.记得当时在实验室面试的,面完之后,我师弟开口问,师兄你刚才是HR面吗?你就知道这个面试有多坑了,这哪是技术面啊,工程师为啥会问这些问题?那要HR做什么? 再往后的面试就顺利多了,拿了盛大游戏的offer(内部应用系统开发),美图offer(这个职位应该是比较好的,但是在厦门),华米科技(这个是我打算去的,对小米的东西也比较有兴趣),百度地图offer.拿了百度的以后就没有再面试了.对于华米科技的那个面试官还是挺抱歉的,聊的也比较开心,因为华米科技算是创业公司应该还是能很好的锻炼,无奈百度的名气大,最后还是选择了百度,只能拒掉华米科技了.

3 去实习

拿到口头offer以后,在漫长的等待书面offer中.回家住了几天,和家人一起上了去天堂寨旅游了一把,放松一下. 最后出发北上的晚上,我最亲爱的请我吃了一顿烧烤,恩,我喜欢烧烤.我俩还喝了一瓶啤酒,哈哈. 接着一路北上,我坐的硬座,额,必须是为了省钱,现在想想,也是蛮艰苦的.

3.1 找房子

刚到北京,北京的旅社真是贵,七天如家什么的一天要200-300多,我表示完全住不起啊,最后选择住青年旅社,一天80多块钱.幸亏我弟在北京念书,我可以把行李放在他那里,青年旅社自己带的东西不敢放,怕被偷.那也是我第一次住青年旅社,还是很紧张的,睡觉把书包都抱着. 找房子绝对是最艰难的事情,跑了两天,全是中介,根本就没有没有中介的地方,而且在五道口附加的房子真是贵,一间房子一不小心就要2000多,直逼三千,关键房子还不咋地.还好有同学在,雄风和国安他们先行来到北京,最痛苦的事他们已经趟过了,我在他们那里借住了几天.还好天无绝人之路,我在内网找了几天,总算找打合适的了,虽然离地铁站有点远,但是1600一个月,而且是2室1厅2卫,人少,住着舒服,附近有超市有菜场,生活很方便,室友人也很好,知道我是实习生很照顾我,房租什么的也没催我还说可以等发工资再交.

3.2 百度第一天

终于正式去百度实习了,因为上午8点就要开始入职了,所以那天起的很早. 上午就是入职流程,领东西然后去大厦听hr培训,然后再分到各个地方.我入职的地方是奎科大厦,不过说真的,还是更喜欢百度大厦或者科技园,哈哈,新修的大楼看起来爽多了,啥都是新的,更有归属感. 中午11点多的时候,来到了自己的工位,经理向大家介绍我,接着介绍每个人的名字,额,差不多一个都没记住,还好工位每个人都有明牌,哈哈. 下午的时候,就是熟悉一下环境,搭建开发环境申请开发机什么的,都是mentor在教我. 第一天的感觉,就是好累,可能早上起太早了,也可能是房子还没确定,当天下班的时候感觉好累,就拍了这一张照片.

3.4 在百度

之前做的项目,都算是小打小闹,这次进去公司实习确实有不一样的感受.

要对自己的每一行代码负责:以前写代码都是只看最后的运行效果,出来了就行了,其实都没搞清楚每一行代码每一个变量的具体输出和值,测试也不充分.公司写代码,必须要自己对自己的代码负责,刚开始去就吃了这方面的苦,第一次代码上线都出了问题,所以后来排期的时候,代码自己review的时间都特别长,有时候和开发时间差不多.
系统设计能力很重要:之前都是提了需求,考虑一下,就开始动手写代码了.不过一般来说,当一个需求确定的时候,我自己心里就有了一个大概的构图,有个谱了.到公司的感觉就是,同事之间的经验比我还是丰富很多,所以前期的时候很看重设计能力,还专门开会大家讨论,确定方案后,才动手写代码.
多学习,多看书:同事空闲时候都在学习别的东西,看其他书籍,这是一个好习惯,我喜欢.

3.5 与人相处

在公司和学校还是有很大区别的,学校每天都是和室友混在一起,一起吃饭,一起去实验室,一起玩游戏.到公司,刚开始感觉大家的感觉就疏远很多,大家彼此相互尊重,感觉就是少了学校同学的那份亲密.刚开始我还试图融入他们的圈子,不过因为自己不善言辞,做的并不好. 大概一个月过后,就觉悟了,在公司和在学校本来就不同,大家的关系也无法做到像学校那样,所以不必强求,大家友好和平共处,就是正确的处理方式.正如圣哥所说,大家其实都是过客. 后面的相处就自然的多,简简单单相处.

2016-11-06 17:25 就先写到这,吃饭去的,等下食堂就没饭了

HTTP1.0和HTTP1.1的区别

Fri, 25 Mar 2016 13:36:53 +0000

今天研究了下HTTP,还是挺有意思的. 接下来,就比较一下两者的区别.

1 长连接

这个应该是变化最大的一个了.在1.0的版本中,如果客户端请求头没有设置Connection: Keep-Alive的话,那么每次请求完成都会立即断开连接,然后客户端又要重新建立一个HTTP连接.假设一个网页包含了10个图片,那么为了请求图片,客户端必须要发送10次请求,无疑这对带宽和资源是极大的浪费,TCP的优势就没有体现出来. 在HTTP1.1中,keep-Alive已经被弃用(但是大多数服务器和浏览器都还保留这个选项).在1.1的版本中,持久连接默认就是启用的,除非你显式在响应头部包含Connection: close,客户端收到响应后才会关闭连接.

2 host头域

在HTTP1.0中认为每台服务器都绑定一个唯一的IP地址,因此,请求消息中的URL并没有传递主机名(hostname).但随着虚拟主机技术的发展,在一台物理服务器上可以存在多个虚拟主机(Multi-homed Web Servers),并且它们共享一个IP地址. HTTP1.1的请求消息和响应消息都应支持Host头域,且请求消息中如果没有Host头域会报告一个错误(400 Bad Request).此外,服务器应该接受以绝对路径标记的资源请求.

3 请求方法

(HTTP1.0没有定义任何具体的1xx status code, HTTP1.1有2个)
100 Continue
101 Switching Protocols
203 Non-Authoritative Information
205 Reset Content
206 Partial Content
302 Found (在HTTP1.0中有个 302 Moved Temporarily)
303 See Other
305 Use Proxy
307 Temporary Redirect
405 Method Not Allowed
406 Not Acceptable
407 Proxy Authentication Required
408 Request Timeout
409 Conflict
410 Gone
411 Length Required
412 Precondition Failed
413 Request Entity Too Large
414 Request-URI Too Long
415 Unsupported Media Type
416 Requested Range Not Satisfiable
417 Expectation Failed
504 Gateway Timeout
505 HTTP Version Not Supported

4 内容长度

通常,HTTP应答消息中发送的数据是整个发送的,Content-Length消息头字段表示数据的长度.数据的长度很重要,因为客户端需要知道哪里是应答消息的结束,以及后续应答消息的开始.但是在一些动态网页中,由于网页是动态生成的,所以没法计算出准确的Content-Length,这样导致的后果是:如果 Content-Length 比实际长度短,会造成内容被截断;如果比实体内容长,会造成 pending,浏览器一直转圈圈. 所以在HTTP1.1中引入了Transfer-Encoding,如果一个HTTP消息(请求消息或应答消息)的Transfer-Encoding消息头的值为chunked,那么,消息体由数量未定的块组成,并以最后一个大小为0的块为结束. ps:如果同时设置了Content-Length 和Transfer-Encoding,那么Transfer-Encoding的优先级更高,Content-Length会被忽略.

5 缓存

在HTTP/1.0中,使用Expire头域来判断资源的fresh或stale,并使用条件请求(conditional request)来判断资源是否仍有效.例如,cache服务器通过If-Modified-Since头域向服务器验证资源的Last-Modefied头域是否有更新,源服务器可能返回304(Not Modified),则表明该对象仍有效;也可能返回200(OK)替换请求的Cache对象.
此外,HTTP/1.0中还定义了Pragma:no-cache头域,客户端使用该头域说明请求资源不能从cache中获取,而必须回源获取.
HTTP/1.1在1.0的基础上加入了一些cache的新特性,当缓存对象的Age超过Expire时变为stale对象,cache不需要直接抛弃stale对象,而是与源服务器进行重新激活(revalidation).
HTTP/1.0中,If-Modified-Since头域使用的是绝对时间戳,精确到秒,但使用绝对时间会带来不同机器上的时钟同步问题.而HTTP/1.1中引入了一个ETag头域用于重激活机制,它的值entity tag可以用来唯一的描述一个资源.请求消息中可以使用If-None-Match头域来匹配资源的entitytag是否有变化.
为了使caching机制更加灵活,HTTP/1.1增加了Cache-Control头域(请求消息和响应消息都可使用),它支持一个可扩展的指令子集：例如max-age指令支持相对时间戳;private和no-store指令禁止对象被缓存;no-transform阻止Proxy进行任何改变响应的行为.
Cache使用关键字索引在磁盘中缓存的对象,在HTTP/1.0中使用资源的URL作为关键字.但可能存在不同的资源基于同一个URL的情况,要区别它们还需要客户端提供更多的信息,如Accept-Language和Accept-Charset头域.为了支持这种内容协商机制(content negotiation mechanism),HTTP/1.1在响应消息中引入了Vary头域,该头域列出了请求消息中需要包含哪些头域用于内容协商.

参考文献

1 HTTP 协议中的 Transfer-Encoding 2 HTTP/1.1与HTTP/1.0的区别

解决倒水问题

Sat, 19 Mar 2016 12:48:58 +0000

有两个容器，容积分别为A升和B升，有无限多的水，现在需要C升水。我们还有一个足够大的水缸，足够容纳C升水。起初它是空的，我们只能往水缸里倒入水，而不能倒出。可以进行的操作是：把一个容器灌满；把一个容器清空（容器里剩余的水全部倒掉，或者倒入水缸）；用一个容器的水倒入另外一个容器，直到倒出水的容器空或者倒入水的容器满。问是否能够通过有限次操作，使得水缸最后恰好有C升水。

这是很经典的智力题,各种倒水,求怎么倒. 网上有很多资料,我稍微总结下.

1 是否有解

是的,不是任意的ABC值都是有解的,比如用4升和6升的容器,倒出5升水,这个方案就是无解的. 总结来说:

倒水方案有解的,充要条件是:
C<=A+B并且
C能被A和B的最大公约数整除

比如上面的例子,4和6的公约数是2,5不能被2整除,所以是无解的. 具体证明过程请看文章后面的参考文献

2 解法

有一个很简单的思路,在AB两个容器中,假设A<B,那么我们不停地用A往B中加水,溢出的时候,就把B清空,把A中多余部分导入B中.具体流程描述如下

A%B=x
2A%B=y
...
...
nA%B=z

知道最后余数z等于C,就停止用一个具体的例子 A=5,B=9,C=7

5%9=5
10%9=1
15%9=6
20%9=2
25%9=7

也就完成了查找当然这个方法不是步数最少的解法

倒水问题欧几里得和扩展欧几里得算法最大公约数的三种解法

php学习笔记(4)--php中cookie没有及时生效

Sat, 19 Mar 2016 12:15:32 +0000

update:2016/4/14 9:48:26 这是最近才在面试题中发现的一个问题,之前用的时候还没发现,仔细一想,有点意思.

1 php中的cookie

php学习笔记(4)--php使用mysqli连接数据库

Sat, 12 Mar 2016 10:18:31 +0000

long time no see,用上框架以后,好久没有写原生的sql处理了,想当年用的还是mysql_connect,如今,都已经换mysqli了.

1 关于php的数据库连接方式

当考虑连接到MySQL数据库服务器的时候，有三种主要的API可供选择： 1 PHP的MySQL扩展 2 PHP的mysqli扩展 3 PHP数据对象(PDO)

1.1 什么是PHP的MySQL扩展?

这是设计开发允许PHP应用与MySQL数据库交互的早期扩展。mysql扩展提供了一个面向过程的接口，并且是针对MySQL4.1.3或更早版本设计的。因此，这个扩展虽然可以与MySQL4.1.3或更新的数据库服务端进行交互，但并不支持后期MySQL服务端提供的一些特性。

1.2 什么是PHP的mysqli扩展?

mysqli扩展，我们有时称之为MySQL增强扩展，可以用于使用MySQL4.1.3或更新版本中新的高级特性。mysqli扩展在PHP 5及以后版本中包含。 1 mysqli扩展有一系列的优势，相对于mysql扩展的提升主要有： 2 面向对象接口 3 prepared语句支持（译注：关于prepare请参阅mysql相关文档） 4 多语句执行支持 5 事务支持 6 增强的调试能力 7 嵌入式服务支持在提供了面向对象接口的同时也提供了一个面向过程的接口。

1.3 什么是PDO?

PHP数据对象，是PHP应用中的一个数据库抽象层规范。PDO提供了一个统一的API接口可以使得你的PHP应用不去关心具体要连接的数据库服务器系统类型。也就是说，如果你使用PDO的API，可以在任何需要的时候无缝切换数据库服务器，比如从Firebird 到MySQL，仅仅需要修改很少的PHP代码。

其他数据库抽象层的例子包括Java应用中的JDBC以及Perl中的DBI。

当然，PDO也有它自己的先进性，比如一个干净的，简单的，可移植的API，它最主要的缺点是会限制让你不能使用后期MySQL服务端提供所有的数据库高级特性。比如，PDO不允许使用MySQL支持的多语句执行。

解决 Github Pages 禁止百度爬虫的方法2--从gitcafe迁移到coding.net

Sun, 06 Mar 2016 15:50:46 +0000

上一篇文章解决 Github Pages 禁止百度爬虫的方法,提到了解决百度爬虫被github禁用掉的方法. 把博客同时发布到github pages和gitcafe pages.然后使用dnspod设置域名解析,国内线路解析到gitcafe,国外线路解析到github. 然后今天去上gitcafe,偶然看到这个额(⊙o⊙)…,holly shit.不过没办法,人家都被收购了,我们只能改变策略了. 话说,两家都是做代码托管的,这也是顺(bao)应(tuan)潮(qu)流(nuan)咩?

思路跟原来差不多,就是我们把其中的gitcafe内容替换成coding.net就好,以下简称coding. 把博客同时发布到github pages和coding pages.然后使用dnspod设置域名解析,国内线路解析到coding.net,国外线路解析到github.

注册coding账号
新建一个项目,名字与你的用户名相同,比如我的名字是Jackroyal,新建一个项目名为Jackroyal
添加ssh公钥
新建coding-pages分支
开启pages服务
修改hexo配置
修改dns设置

1 注册coding账号

这个很简单不必说,注册需要填写用户名,邮箱和密码,比如我的用户名就是Jackroyal

2 新建和用户名同名的项目

在注册好账号以后,我们就去新建一个项目,方法和gitcafe不同和gihub类似,就是和用户名同名,一模一样的就行.我的项目名是Jackroyal,项目属性公开

3 添加`ssh`公钥

首先,我们提交代码库有两种方式,一种是https,一种是ssh,两种方式都可以,但是因为我们使用hexo来发布博客的时候是没有地方输入密码的,所以我们才考虑使用ssh方式,不过也不一定,我们还是可以使用https方式来提交hexo的.

3.1 使用ssh方式发布博客

我们只需要找到本地的ssh公钥,然后上传到coding上去就行,点击这里设置.查看本地ssh公钥的方法和上篇博客一样. 复制那一段,然后在coding上添加上去就行

3.2 使用https方式发布

如果非要使用https方式,也是可以的,核心思路就是在本地做一次push操作就行.

我们先git clone命令,我的项目就是git clone https://git.coding.net/Jackroyal/Jackroyal.git得到coding上刚才新建的项目.
克隆完成后,接着我们进到项目目录,我们新建一个文件或者修改一个文件
git add .,把修改提交到暂存区
git commit -m "测试提交",将修改提交到本地仓库
git push,将修改提交到远程仓库
接下来,会让你输入用户名和密码,你输入
然后项目就会提交,因为这个状态会保留下来,你下次在提交就可以不用输入用户名和密码了,这样为我们使用hexo发布代码提供条件 ps:这种方式,可能过一段时间又不行了,报错could not read Username for 'https://git.coding.net': Invalid argument,你再做一次上面的操作就行

4 新建coding-pages分支

当我们可以提交代码的时候,我们先来新建分支,和gitcafe差不多,它需要一个特别的分支名字,而不是像github默认的master分支,名字是coding-pages,如下图所示我们把它设为默认分支

5 开启pages服务

接下来我们需要手动去开启pages服务.在项目主页的pages选项卡,点击开启服务,同时我们,添加域名绑定域名绑定我们还要去修改dns解析,我们先用它分配给我们的域名去访问http://jackroyal.coding.me/,看看能不能正常访问

5 修改hexo配置

前面的准备工作做得差不多,我们修改博客的配置信息,打开博客根目录的_config.yml文件,格式和之前github的差不多:

deploy:
- type: git
  repo: 'https://github.com/Jackroyal/Jackroyal.github.io.git'
  branch: master
- type: git
  repo: 'https://git.coding.net/Jackroyal/Jackroyal.git'
  branch: coding-pages

尤其注意在配置的时候注意留空格,这种键值对,比如type: git,其中的冒号后面到git,有个空格的,不然配置文件就会读取错误. 还要注意branch名称,分支必须是coding-pages **PS:如上面所说,我选择的是https方式发布,所以我的repo是https的,如果你选择ssh方式去认证,那么你的地址应该是类似这样的git@git.coding.net:Jackroyal/Jackroyal.git **

7 修改dns设置

就像第5步页面提示的,我们要绑定自己的域名,需要去修改dns解析记录,只需要添加一条CNAME指向你的jackroyal.coding.me即可. 注意后面加个点,也就是正确的填法是jackroyal.coding.me.,如下图所示.修改完成后大概等几分钟才能生效

8 从gitcafe迁移

如果我们选择从gitcafe迁移的话,他会把我们原来的博客迁移过来.为了适应coding,你只需要从上面第二步开始就好,尤其注意的是,新建coding-pages分支,新建coding-pages分支,新建coding-pages分支,重要的事情说三遍,因为你迁移过来的分支名称是gitcafe-pages. 也就是核心问题,必须有个和用户名同名的项目,项目必须有个分支是coding-pages

其他没提的事情和上一篇是一样的. 最后执行hexo d -g,打完收工

php学习笔记(3.5)--关于引用赋值和一般赋值

Sat, 05 Mar 2016 13:52:28 +0000

上一篇提到了,对象赋值的时候有两种赋值方式,一种是直接$a=$b,第二种是引用赋值$a=&$b. 不仅对象赋值的时候会有这两种情况,普通变量赋值也会有这两种情况,为了简单说明,我们先使用简单的普通变量来做说明.

1 普通变量的结构

在PHP中,所有的变量都是用一个结构zval来保存的,zval大概的结构如下所示:

struct _zval_struct {
        /* Variable information */
        zvalue_value value;             /* value */
        zend_uint refcount;
        zend_uchar type;        /* active type */
        zend_uchar is_ref;
};

我们这里主要用到的是两个变量,一个是refcount,即是引用计数,一个是is_ref,用来标记是否是引用.

2 php环境的设置

我们在实验过程中,需要去查看refcount和is_ref的变化,所以需要使用php的 xdebug_debug_zval函数,你的环境可能默认没有开启这个配置,你需要修改php.ini文件开启这个配置.

3 refcount和is_ref

我们通常的赋值方式:一般赋值和引用赋值.

3.1 一般赋值

当使用一般给新变量赋值的时候,php的内存策略,并不是重新申请一个新的空间,而是把原来的那个recount+1.比如下面的例子:

$a='aaa';//此时$a的recount=1,ref=0
$b=$a;//赋值过后,$a的recount=2,ref=0,$b因为指向和$a一样,所以结果和$a一样
xdebug_debug_zval('a','b');

输出结果如下

(refcount=2, is_ref=0),string 'aaa' (length=3)

3.2 引用赋值

$a='aaa';//此时$a的recount=1,ref=0
$c=&$a;//赋值过后,$a的recount=2,ref=0,$b因为指向和$a一样,所以结果和$a一样
xdebug_debug_zval('a','b');//

输出结果如下

(refcount=2, is_ref=1),string 'aaa' (length=3)

由上面可知,也就是每次进行赋值的时候,refcount都会+1,如果是引用赋值,is_ref就会被置为一.

3.3 两种赋值方式混合

那如果我们混合上面的两种赋值方式呢?比如下面的代码

$a='aaa';
$b=&$a;
$c=$a;
xdebug_debug_zval('a','b','c');

你猜输出结果是什么?

a: (refcount=2, is_ref=1),string 'aaa' (length=3)

b: (refcount=2, is_ref=1),string 'aaa' (length=3)

c: (refcount=1, is_ref=0),string 'aaa' (length=3)

为什么会这样呢? 我们一行一行的分析.

首先第一行代码执行完以后,$a的结果应该是(refcount=1, is_ref=0),string 'aaa' (length=3)
第二行代码执行引用赋值,因为refcount=1,所以$a的refcount直接+1,is_ref变成1,输出即是`(refcount=2, is_ref=1),string ‘aaa’
第三行代码执行一般赋值,那我们是不是再把refcount+1呢?不是的,因为此时的refcount>1并且is_ref不为0,所以不能执行那个操作,而是直接把$a复制了另外一份,而不是修改$a的计数器. 所以,最后的输出结果,$c的refcount是1,因为它完全另外申请了一个副本

我们把上面的代码换个位置

$a='aaa';
$c=$a;
$b=&$a;
xdebug_debug_zval('a','b','c');

你再猜猜输出结果是什么?

a: (refcount=2, is_ref=1),string 'aaa' (length=3)

b: (refcount=2, is_ref=1),string 'aaa' (length=3)

c: (refcount=1, is_ref=0),string 'aaa' (length=3)

咦?结果是一样的哈? 对的,结果是一样的,不过执行的过程却是不同的,我们再来一行一行的分析下

首先第一行代码执行完以后,$a的结果应该是(refcount=1, is_ref=0),string 'aaa' (length=3)
第二行代码执行一般赋值,同理,因为refcount=1,所以$a的refcount直接+1,is_ref不变,输出即是`(refcount=2, is_ref=0),string ‘aaa’
第三行代码执行引用赋值,跟上面一样,因为refcount=2了,所以不能直接进行计数器+1,我们先检查is_ref,发现是0.这时,php首先做一个分离操作,也就是把上面一般赋值的那个值,给分离出去,分离后,$a的refcount减去1,也就是$c独立了,那么此时$a和$c的输出结果应该是(refcount=1, is_ref=0),string 'aaa' (length=3).在分离操作完成后,再做引用赋值的问题,这时候就简单了,因为$a的refcount是1,所以我们直接refcount+1,is_ref=1就搞定
最后输出结果就是上面的结果了

php把上面的过程叫做写时复制(copy on write),也就是说,一般赋值$c=$a时候,php并不是立即去申请一个新的变量空间.,而是等到执行引用赋值或者其他写操作的时候(比如这个时候修改$c的值),php才会去开辟一个新的空间给赋值后的变量,也就是分离操作.

4 推广到对象

上面普通变量的赋值,应该说清楚了哈. 其实对象的赋值和普通变量赋值是同一个道理.下面直接贴代码,不在赘述

class A
{
    public $aa='我是类属性';
}
$a=new A();
echo '刚执行完$a定义<br>';
xdebug_debug_zval('a');
$b=$a;
echo '刚执行完$b赋值<br>';
xdebug_debug_zval('b');
$c=&$a;
echo '刚执行完$c赋值<br>';
xdebug_debug_zval('c');
$d=$b;
echo '刚执行完$d赋值<br>';
xdebug_debug_zval('a','b','c','d');

输出结果如下

刚执行完$a定义
a: 
(refcount=1, is_ref=0),
object(A)[1]
  public 'aa' => (refcount=1, is_ref=0),string '我是类属性' (length=15)

刚执行完$b赋值
b: 
(refcount=2, is_ref=0),
object(A)[1]
  public 'aa' => (refcount=1, is_ref=0),string '我是类属性' (length=15)

刚执行完$c赋值
c: 
(refcount=2, is_ref=1),
object(A)[1]
  public 'aa' => (refcount=1, is_ref=0),string '我是类属性' (length=15)

刚执行完$d赋值
a: 
(refcount=2, is_ref=1),
object(A)[1]
  public 'aa' => (refcount=1, is_ref=0),string '我是类属性' (length=15)

b: 
(refcount=2, is_ref=0),
object(A)[1]
  public 'aa' => (refcount=1, is_ref=0),string '我是类属性' (length=15)

c: 
(refcount=2, is_ref=1),
object(A)[1]
  public 'aa' => (refcount=1, is_ref=0),string '我是类属性' (length=15)

d: 
(refcount=2, is_ref=0),
object(A)[1]
  public 'aa' => (refcount=1, is_ref=0),string '我是类属性' (length=15)

5 关于debug_zval_dump函数

php中还有个关于计数的函数叫做debug_zval_dump,它只返回refcount,不过这个函数好奇葩,输出的数据有时候跟想的都不一样. 比如:

<?php
$a='aaa';
$b=$a;
debug_zval_dump($a);//输出3
?>

原因是:执行debug_zval_dump相当于执行了一次一般赋值操作,所以,refcount会再加1 再比如

$a='aaa';
$c=$a;
$c='bbb';
debug_zval_dump($a,$c);//输出refcount=2,refcount=2
xdebug_debug_zval('a','c');//两个值完全相同,都是refcount=1, is_ref=0),string 'bbb' (length=3)

额,这是不是很奇葩?再来一波

$a='aaa';
$b=&$a;
$c=$a;
debug_zval_dump($a,$b,$c);//refcount分别是1,1,2
xdebug_debug_zval('a','b','c');//refcount和is_ref分别是(2,1),(2,1),(1,0)

这是什么鬼?我表示都看不懂稍微总结了下,debug_zval_dump这个函数,如果只是一般赋值,那么还比较正常,赋值一次就是refcount+1操作,最后调用debug_zval_dump的再+1就好了但是一旦涉及到引用赋值,这货就全变成1了,(引用赋值不+1就算了,说好的调用debug_zval_dump的+1呢?被狗吃了?),完全搞不懂是在搞啥,还是xdebug_debug_zval函数好. 打完收工 ps:其实我在知乎提了个问题,不过没人回答还debug_zval_dump的计数问题?

参考文献

1 鸟哥的博客–深入理解PHP原理之变量分离/引用 2 PHP扩展编写第二步：参数，数组，以及ZVAL「续」 3 php官方文档–debug_zval_dump函数 4 英文文档–php变量

php学习笔记(3)

Fri, 04 Mar 2016 10:06:40 +0000

今天开始学习类和面向对象了.

1 对象实例化

在实例化对象的时候,必须使用new关键字.如果该类属于一个名字空间,则必须使用其完整名称.

<?php
$instance = new SimpleClass();

// 也可以这样做：
$className = 'Foo';
$instance = new $className(); // Foo()
?>

1.1 对象赋值

我们创建一个对象的实例后,后面进行赋值的时候有两种赋值. 第一种是直接$a=$b,第二种是引用赋值$a=&$b. 这两个有什么区别呢?问题可深了,所以我决定单独写一篇文章来说这个问题. php学习笔记(3.5)–关于引用赋值和一般赋值

1.2 extends关键字

一个类可以在声明中用 extends 关键字继承另一个类的方法和属性.PHP不支持多重继承,一个类只能继承一个基类. 被继承的方法和属性可以通过用同样的名字重新声明被覆盖.但是如果父类定义方法时使用了 final,则该方法不可被覆盖.可以通过 parent:: 来访问被覆盖的方法或属性. 当覆盖方法时,参数必须保持一致否则 PHP 将发出 E_STRICT 级别的错误信息.但构造函数例外,构造函数可在被覆盖时使用不同的参数.

2 属性

类的变量成员叫做属性,属性声明是由关键字public,protected或者private开头,然后跟一个普通的变量声明来组成,尤其需要注意的是,属性的变量可以初始化,但是初始化值必须是常数,也就是不能有表达式比如下面的就是错误的: public $var1 = 'hello ' . 'world';,public $var3 = 1+2;. 在php5.3之后,nowdocs的结构也是可行的.

php学习笔记(2)

Thu, 25 Feb 2016 14:36:20 +0000

今天看的是最基础的变量.

1 php变量

和其他语言类似,php中一个有效的变量名由字母或者下划线开头,后面跟上任意数量的字母,数字,或者下划线.按照正常的正则表达式,它将被表述为：’[a-zA-Z_\x7f-\xff][a-zA-Z0-9_\x7f-\xff]*’. 赋值的时候,变量默认总是传值赋值. 在php中也可以用引用赋值,也就是改动新的变量也会因想到原始变量,反之亦然.

<?php
$foo = 'Bob';              // 将 'Bob' 赋给 $foo
$bar = &$foo;              // 通过 $bar 引用 $foo
$bar = "My name is $bar";  // 修改 $bar 变量
echo $bar;
echo $foo;                 // $foo 的值也被修改
?>

ps:只有有名字的变量才可以使用引用赋值,也就是无法对一个表达式使用引用赋值. 使用isset()来检测变量是否被初始化.

2 预定义变量

php会自动用下划线来替换所有的传入变量中的.号,例子如下所示

<?php
example.com/page.php?chuck.norris=nevercries

you can not reference them by the name used in the URI:
//INCORRECT
echo $_GET['chuck.norris'];

instead you must use:
//CORRECT
echo $_GET['chuck_norris'];
?>

3 变量范围

变量的范围即它定义的上下文背景（也就是它的生效范围）.大部分的 PHP 变量只有一个单独的范围.这个单独的范围跨度同样包含了 include 和 require 引入的文件.例如：

<?php
$a = 1;
include 'b.inc';
?>

这里变量 $a 将会在包含文件 b.inc 中生效.但是,在用户自定义函数中,一个局部函数范围将被引入.任何用于函数内部的变量按缺省情况将被限制在局部函数范围内.例如：

<?php
$a = 1; /* global scope */

function Test()
{
    echo $a; /* reference to local scope variable */
}

Test();
?>

这个脚本不会有任何输出,因为 echo语句引用了一个局部版本的变量$a,而且在这个范围内,它并没有被赋值.你可能注意到 PHP 的全局变量和 C 语言有一点点不同,在 C 语言中,全局变量在函数中自动生效,除非被局部变量覆盖.这可能引起一些问题,有些人可能不小心就改变了一个全局变量.PHP 中全局变量在函数中使用时必须声明为 global. PS:此处需要注意的是,php不存在类似C和java的块级作用域.比如你在循环中定义的一个变量,在循环外还是可以访问的

<?php
for($j=0; $j<3; $j++)
{
     if($j == 1)
        $a = 4;
}
echo $a;//此处将会输出4
?>

3.2 静态变量

php还支持静态变量,静态变量仅在局部函数域中存在,但当程序执行离开此作用域时,其值并不丢失.

<?php
function Test()
{
    $a = 0;
    echo $a;
    $a++;
}
?>

4 来自PHP之外的变量

此处主要指的是通过表单提交的变量,从cookie读取的变量

4.1 图片提交表单

除了常用的通过表单按钮提交表单,我们还可以使用图片的形式提交表单,代码如下:

<input type="image" src="image.gif" name="sub" />

这样在后端接收的时候,还会受到一个叫做sub_x和sub_y的变量,它包含了用户点击图片的坐标.此处如果你不定义name为sub,那么后端接收变量就是x和y.

4.2 PHP自动转换变量名

当我们通过表单提交变量的时候,如果表单项的名称包含空格,点号,左中括号,php就会自动把他们转换成下划线.

   <input type="text" name= "userName.a"/>
   <input type="text" name= "passWor[d"/>
   //输出[userName_a] => [passWor_d] => 
   //都被转化成下划线了

chr(32) ( ) (space) chr(46) (.) (dot) chr(91) ([) (open square bracket)

ps:ascll码值在128-159的字符是合法字符,所以并不会被转义成下划线

digitalocean下ubuntu切换内核,使用锐速

Thu, 28 Jan 2016 16:59:10 +0000

最近在网上看到,锐速可以用来给服务器加速,然后有人用这个软件来给翻墙服务器加速,据说效果还不错,今天就折腾一下.

我去锐速官网注册了账号,可惜,在官方支持的linux版本中并没有我这个内核版本.我用的是3.13.0-37-generic的32位版本,锐速官网并没有支持.32位版本支持的相对较少,支持的最新版本是3.13.0-29-generic. 所以没办法,只能把我的ubuntu降级回去,还是小折腾了一下.下面就来说下降级

实验环境：

digitalocean的云服务器 Linux OS: Ubuntu Version: 14.04 Kernel: 3.13.0-37-generic Bits: 32-bit

实验步骤

ssh登录服务器,然后安装新内核,blablabla… 你要是这样想就跟我一样,想错了. 因为我们使用的是digitalocean的云服务器,不是普通的个人单机,所以那套方法不顶用,我照着那个方法,安装了新的内核,然后更新grub,怎么弄都没用,最后才找到答案. 争取的做法: 1 登录你的digitalocean控制台 2 点击setting->kernel,效果如下图 3 点击下拉列表,找到你要的kernel,比如我要的是Ubuntu 14.04 x32 vmlinuz-3.13.0-29-generic,然后点击change,等一会儿,页面会自动刷新,内核更新就成功了 4 重要的一步,我就是这步有点问题,又浪费了点时间.更新完内核,我们发现自己的服务器查看内核的时候并没有变化,我们首先想到的是重启服务器.我们直接在终端sudo reboot.但是启动以后,你会发现还是没有变化,什么鬼? 真正的答案是,我们现在终端关机,也即是执行sudo poweroff,先关机.然后我们在控制台的power选项卡中,有个power on的按钮,我们启动服务器,就发现内核已经更新了. ok 打完收工

参考文献

1 How to Upgrade Ubuntu 12.04 LTS to Ubuntu 14.04 LTS 2 How To Update a DigitalOcean Server’s Kernel

php学习笔记(1)

Thu, 10 Dec 2015 15:46:03 +0000

php文档学习笔记,正式开始连载了哈,终于开始学习了.

布尔值

要明确地将一个值转换成 boolean，用 (bool) 或者 (boolean) 来强制转换。但是很多情况下不需要用强制转换，因为当运算符，函数或者流程控制结构需要一个 boolean 参数时，该值会被自动转换。当转换为 boolean 时，以下值被认为是 FALSE：

布尔值 FALSE 本身
整型值 0（零）
浮点型值 0.0（零）
空字符串，以及字符串 “0”
不包括任何元素的数组
不包括任何成员变量的对象（仅 PHP 4.0 适用）
特殊类型 NULL（包括尚未赋值的变量）
从空标记生成的 SimpleXML 对象
所有其它值都被认为是 TRUE（包括任何资源）。

PS: -1 和其它非零值（不论正负）一样，被认为是 TRUE！接下来我们可以试试,自己写一些常见的布尔值

var_dump((bool)'0');        //false
var_dump((bool)'0.0');      //true
var_dump((bool)'0.1');      //true
var_dump((bool)array());    //false
var_dump((bool)"false");    //true,因为这个字符串不为空,所以为true

那些年,我们玩过的离线安装

Thu, 26 Nov 2015 13:34:46 +0000

由于有些软件,都是下载一个安装器,然后在线安装,由于网速的原因,这种方式一旦失败,就只能重新安装,所以很坑,就找了些离线安装的方法

1 Adobe reader离线安装

下载离线安装版adobe reader https://get.adobe.com/cn/reader/enterprise/

2 chrome离线安装

Windows平台：

Chrome 离线安装包（仅 Windows 可用）：最新稳定版（Stable Channel）： http://www.google.com/chrome/eula.html?hl=zh-CN&standalone=1

最新测试版（Beta Channel）： http://www.google.com/chrome/eula.html?hl=zh-CN&standalone=1&extra=betachannel

最新开发版（Dev Channel）： http://www.google.com/chrome/eula.html?hl=zh-CN&standalone=1&extra=devchannel

解决 Github Pages 禁止百度爬虫的方法

Wed, 25 Nov 2015 11:06:50 +0000

update:因为gitcafe在5月31号就关闭了,所以要将文章中的gitcafe换掉,我重新写了一篇,在这里解决 Github Pages 禁止百度爬虫的方法2–从gitcafe迁移到coding.net

最近,我的github student package里面送的一个namecheap域名终于下来了.That is to say:我终于有自己的域名了,这就是我的域名http://bblove.me,欢迎来访.

有域名以后,就在想办法解决百度爬虫的问题.

Hi Jackroyal,

We are currently blocking the Baidu user agent from crawling GitHub Pages
sites in response to this user agent being responsible for an excessive amount
of requests, which was causing availability issues for other GitHub customers.
This is unlikely to change any time soon, so if you need the Baidu user agent
to be able to crawl your site you will need to host it elsewhere.

Cheers,
Scott

这是我之前跟github反映百度spider无法抓取我的github pages,他们给我的回复邮件.也就是说他们把百度spider给禁掉了,桑不起. 直接说解决方法: 把博客同时发布到github pages和gitcafe pages.然后使用dnspod设置域名解析,国内线路解析到gitcafe,国外线路解析到github.

实现方法

1 准备条件

一共需要一下这几个东西:

一个github账户
一个gitcafe账户
一个dnspod账号
一个域名
github for windows(或者git客户端也行) 没了,就这么多就行.

2 初始操作

我们在github和gitcafe上面把自己的博客搭建起来,首先要建仓库. github: 首先登录你的github,然后新建一个公共仓库,仓库名是你的用户名加上yourname.github.io,如下图所示,我的用户名是Jackroyal

gitcafe: 操作方法差不多,不过有点区别是,gitcafe新建的公开项目,是和用户名一致的,比如我的用户名是Jackroyal,那我新建的仓库名就是Jackroyal

仓库新建成功后,你获取到的链接应该是类似下面的

https://github.com/Jackroyal/Jackroyal.github.io.git
https://gitcafe.com/Jackroyal/Jackroyal.git

这就是你的两个page对应的仓库.

3 搭建博客

3.1 搭建github pages

当你的仓库建好了,我们就开始搭建博客,因为之前的博客有写,具体过程就不赘述安装和配置hexo 3.0.

按照上面的教程一步一步,就能搭建好博客,然后你就可以访问你的gihub pages了,访问链接就是http://yourname.github.io,比如我的即使http://jackroyal.github.io. 现在我们开始搭建gitcafe上面的pages了.由于hexo现在已经支持多发布,所以很简单,我们只需要配置deploy的信息,修改_config.yml.添加gitcafe的仓库信息.我的修改结果如下,

deploy:
- type: git
  repo: 'https://github.com/Jackroyal/Jackroyal.github.io.git'
  branch: master
- type: git
  repo: 'https://gitcafe.com/Jackroyal/Jackroyal.git'
  branch: gitcafe-pages

尤其需要注意的是,两个的branch是不同的,github默认分支是master,gitcafe默认分支是gitcafe-pages.

3.2 添加gitcafe的ssh公钥

由于我使用的是github for windows的终端界面,也就是github官方提供的客户端,他的好处是,我使用github的时候,不需要配置ssh公钥,密钥之类的东西.如果你用的不是这个,用的是git的客户端,那就需要配置ssh公钥,参考这里github配置公钥. 对的,你猜到了,我们现在需要配置gitcafe的ssh公钥,因为github for windows会自动帮我们上传公钥,gitcafe就只能手动了.

3.2.1 查看本地公钥

我们打开你使用的git终端,首先切回用户目录,然后进入.ssh目录,里面就有公钥和私钥,如下图所示我们就是要读取后缀是.pub的那个文件,比如我的读取命令就是cat github_rsa.pub,执行结果如下

3.2.2 添加公钥到gitcafe

我们在这里来设置gitcafe的公钥. PS:需要注意的是,公钥后面的chen@chen-pc是不需要的,我的带上以后,gitcafe说是公钥非法,不过不怕,gitcafe会帮你正确格式化 反正就是把公钥加上去,就ok了

3.4 同步博客到gitcafe

上面的配置好了以后,我们就可以把博客内容同步到gitcafe了,方法很简单,执行

hexo d -g

然后就可以啦.

4 配置域名

首先你得有个域名,像我一样,哈哈.

4.1 修改域名注册的解析服务器

我们在要把域名解析服务,设置到dnspod,因为他是国内的,而且服务很好.我们登录自己的域名管理后台,选择对应的域名进行管理,然后找到nameservers的设置,如图所示修改的值是

 f1g1ns1.dnspod.net
 f1g1ns2.dnspod.net

常见的域名注册商修改到dnspod,官方提供了教程,看这里- 改完以后可能要等一段时间才能生效,最多72小时 ok,改完以后,这边就完了,我们登录dnspod

4.2 修改dnspod解析记录

我们登录dnspod,然后添加域名如果4.1中的设置生效了,你的域名就会添加成功了,我们直接进行下一步,修改解析记录,上图我们一共添加了5条记录,其中一条泛解析和www解析是针对国内的,所以执行gitcafe;2条泛解析和www解析是针对国外的,所以指向github. 就是添加

@       A      默认  192.30.252.153
@       A      默认  192.30.252.154
@       CNAME  国内  gitcafe.io.
www     CNAME  默认  jackroyal.github.io.
www     CNAME  国内  gitcafe.io.

其他设置项目默认就行了,上面的配置完了,如果你走国外ip访问你的域名的话,会出现404,因为我们还差一步.走国内线路访问一样会出错,都是没绑定的结果.

4.3 添加github的CNAME文件,添加gitcafe自定义域名

现在只差最后一步了,我们先来配置github的CNAME文件,官网有个教程配置CNAME文件.说白了,就是在你的网站根目录,添加一个名为CNAME的文件,里面的内容就是你的域名

bblove.me

没有任何多余的信息,如下图上面的配置现在访问没问题,但是你一重新发布博客,就需要重新手动添加CNAME文件,太麻烦. 一劳永逸的方法,在你的hexo目录下的source目录中,新建一个CNAME文件夹,然后他每次在你发布博客的时候,都会在你的网站根目录生成一个CNAME文件. 现在github的配置彻底结束.

接下来配置gitcafe: 1 我们在gitcafe的项目主页,点击项目设置,如下图(之所以截图,是因为我找半天才看到…) 2 然后我们点击pages服务标签,然后添加自己的域名,这些域名是我们之前在dnspod中设置了解析的

彻底打完收工了

5 总结

总算写完了,写到这里,我一共写了,141行了,写了个把小时.这次主要参考了下面的几篇文章,都写在友情链接里面了.参考了他们的思路,因为他们的方法里面需要自己单独购买vps或者购买CDN,共同的问题是增加了开销,买vps会导致你每次写博客都需要单独发布一次到vps上太麻烦.我后来在网上看到gitcafe也有gitcafe pages服务,如果用这个来处理的话,一来,不会增加多余的开销,他们都是免费的;二来,由于hexo对于多部署的支持,多部署很简单,一次配置,以后就可以不用理会了. ok,收工

友情链接

1 解决 Github Pages 禁止百度爬虫的方法与可行性分析 2 利用 CDN 解决百度爬虫被 Github Pages 拒绝的问题 3 gitcafe官方文档–pages服务 4 gitcafe官方文档–配置ssh公钥

git使用笔记(2)

Wed, 04 Nov 2015 16:52:25 +0000

上一篇笔记,只写了些git的基础操作,这篇写一下稍微高阶一点的操作,实际项目的时候可能经常会用到.

撤销操作

撤销操作,我经常会用到,有时候写的代码没有考虑周全,或者有疏漏,需要重新提交什么的.

1 撤销工作空间最近的修改

应用场景:比如上次push以后的完整干净的目录,工作空间没有任何修改,暂存区也没有任何修改,如下图: 这时候,你手贱,改了一下其中的一个文件,但是这次更改是没有意义的.我们继续使用git status来查看我们现在想撤销这次修改. 解决方法:现在这个修改只是工作区的修改,我们要撤销很简单执行

git checkout a.txt

搞定

2 撤销暂存区最近的修改

应用场景:假如在上面说的那种情况下,你手贱改错了文件,而且你没有撤销,你还执行git add a.txt,将修改提交到暂存区了.具体情况如下图现在我们要从暂存区撤回那个修改解决办法:我们使用git reset HEAD a.txt,将文件从暂存区撤出来,又回到上面的工作空间被修改的状态,如图 ps:上面的命令也可以用下面的命令,语法格式是git reset <path>,括号中填路径

git reset a.txt

总的来说,git reset <path>就是git add <path>的反向操作

3 撤销提交到本地仓库的修改

应用场景:假如你在1.2还没有回头,一路手贱下去,将暂存区的修改commit到本地仓库了我们现在要从仓库撤销这次没用的提交解决方法:

1.3.1 方案一再新建一次提交

我们可以新建一次提交,然后让所修改的文件回到之前的状态,执行

git revert HEAD

含义很简单,逆转,这样你的log里面会多一次提交,然后文件也回到的之前的状态

#3.2 方案二干净的撤销上一次commit 上面的方案一对于一个强迫症来说,不能忍啊,本来就是一次错误的提交,为了弥补这个错误,我却还要多提交一次,完全不能忍受. 方案二,我们使用git reset命令.我们执行

git reset HEAD^

这个命令表示重置HEAD指针,我们要指向上一次提交(也就是取消最近的一次,HEAD表示当前指针,HEAD^是上一次,HEAD^^是上上次,HEAD^^^是上三次),git reset命令可以添加--mixed,--soft,--hard三种参数,--soft程度最轻,只会撤销提交,对当前暂存区和当前工作空间不会有任何更改,默认的参数是--mixed,他会将暂存区的文件撤销

git reset --soft :取消了commit  

git reset --mixed（默认） :取消了commit ，取消了add

git reset --hard :取消了commit ，取消了add，取消源文件修改

3.3 方案三修改最后一次提交

首先强调,下面说的实在本地仓库的操作. 应用场景:对于上面提到的错误的提交,我们还可以修改他的内容,删除我们错误的修改,将它恢复到原来的样子,我们可以使用

git commit --amend

这个方法是将当前暂存区快照提交,也就是你后面的修改合在一起,然后再提交.最后查看log的时候,会只有一次提交,前面的一次提交就被删除,在log中只看到这次提交. 用具体例子来说.

git commit -m "这是第一次提交"
#commit完,我们修改工作空间的内容,然后再执行
git add b.txt
git commit --amend
#这条命令会弹出一个编辑窗口,你可以修改提交信息
#假设我们将提交信息修改为"这是第二次提交"

接着当我们使用git log来查看的时候,你只会看到提交信息是"这是第二次提交". 解决方法: 我们先将文件内容恢复到上一次(当前是HEAD,上一次就是HEAD^)提交时候的样子,然后执行git commit --amend,看到如下错误提示,就是说这次文件没有任何修改(废话,我已经恢复正确的样子了,当然一模一样了),默认是不允许空提交的,你只有强制使用--allow-empty才行,或者执行方案二

4 总结

盗图一张,总结上面说的内容打完收工

附言

PS:现在再来解释开头说的,这是本地仓库的操作. 因为,我们本地仓库执行了git commit后,所做的更改只会在本地,如果接着执行了git push那么,所做的更改就会被提交到git,在上面的例子中那么首先提交到github的就是"这是第一次提交".这时候,当你执行完git commit --amend的时候,本地仓库的上次提交会被删除,也就是不存在提示信息为"这是第一次提交",此时本地仓库完成了修改,你想提交到github,就会报错了.如图所示解决方法就是,Force 没错,强制提交git push -f,这样他就会像本地一样,删除上一次提交,添加这一次提交

友情链接

1 修改提交信息 2 如何撤销在git上的各种修改,好文 3 git revert和git reset的区别 4 git常用命令介绍,带效果图的

git使用笔记(1)

Wed, 04 Nov 2015 12:17:04 +0000

git也用了一段时间了,还是写点笔记,记录一下.

准备条件

首先假装你已经安装好了git

在Linux下我用的是ubuntu,安装非常easy,使用sudo apt-get install git
在windows下在windows下安装,就使用git-downloads,点击下载,安装,就ok. ps:如果你足够幸运,可以试试github的windows版,这个的好处是,带有图形化界面.

1 初始化git设置

新装好git后,我们先配置个人的用户名和email,这两条配置很重要,因为在git的日志中,都会带上这两条信息.

$ git config --global user.name "John Doe"
$ git config --global user.email johndoe@example.com

如果用了--global选项，那么更改的配置文件就是位于你用户主目录下的那个，以后你所有的项目都会默认使用这里配置的用户信息。如果要在某个特定的项目中使用其他名字或者电邮，只要去掉--global选项重新配置即可，新的设定保存在当前项目的.git/config文件里。

2 新建第一个仓库

建立第一个仓库有两种方式,一种是完全新建一个仓库,第二种是克隆一个现有仓库.

2.1 完全新建一个仓库

你先切换到你想建项目的地方,比如f:/blog/,然后执行

git init

初始化后再在当前目录新建一个名为.git的目录,git所有的东西都存在这里面.当然我们不用管.

2.2 克隆一个现有仓库

这个也是很easy,直接一条命令搞定

git clone https://github.com/Jackroyal/blog.git

他会在你的当前目录新建一个blog文件夹,在blog文件夹里面他会把相关的文件都下载下来,就可以用了.

3 提交更新

3.1 提交工作空间文件到暂存区

执行touch a.txt,我们在目录中新建一个文件名叫a.txt,然后我们修改它的内容. 接下来,我们来查看下状态

git status

执行结果如下图: 就像图片中提示的,我们新加的a.txt是未跟踪文件,我们执行

git add a.txt

我们把a.txt添加到暂存区,再次执行git status,查看状态,执行结果如图所示

3.2 将暂存区文件保存到本地仓库

假如你要做的修改已经改完,已经保存到暂存区了,我们准备提交到本地仓库.执行

git commit -m "这是提交内容"

参数-m,就是添加说明,方便以后查看,你就可以知道自己做了哪些更改

3.3 将本地仓库内容提交到远程仓库

上面的步骤都弄好以后,我们提交到远程仓库

 git push origin master

然后就行了,一个基本的流程就是这样. 推荐看看下面友情链接里面的那本书,pro git

友情链接

1 pro git中文书籍在线版

微信支付app支付3.0接口开发

Sun, 25 Oct 2015 21:30:03 +0000

最近在做微信支付,因为前段时间做了微信的公众账号支付,我以为是一个东西,结果发现不是,我真是醉了,竟然是独立的两套东西.

整个微信支付,分为三大平台,公众平台(就是公众账号那个),开发平台(主要针对app这块),商户平台(所有微信支付的结算,最终在这里).三个平台的账号都不同,而且必须不同,不然不让你注册. 其中,需要用户注册的是公众平台和开放平台,当你审核通过以后,就会给你分配一个对应的商户号.也就是说,你一个公司,申请一个公众号和一个开放平台账号,分别给你一个商户号,你就一共有两个商户号.这两个商户号不同,我之前就是拿着公众账号对应的商户号(客户给错了),去做app支付,一直说不对应. 下面进入正文,看看怎么开发

准备工作

首先你需要注册开放平台账号,然后添加一个app应用(里面包含你的appid和appkey),并且进行认证,然后就会收到一封邮件,里面包含了你分到的商户号.

1 流程图

接下来,我们需要搞清楚微信app支付开发的流程,如下图所示. 其中,红色的部分是需要我们做的,具体分下来,客户端要做的事就比较少,生成预支付订单,返回签名的package这些都是服务端做的(开发客户端真爽),当然从另外一个角度来说,这些事情也确实应该放在服务器端来做,因为涉及到一些key和密钥之类的东西,放在客户端app中不安全,如果app被反编译就暴露了这些信息.

商户系统和微信支付系统主要交互说明：
步骤1：用户在商户APP中选择商品，提交订单，选择微信支付。
步骤2：商户后台收到用户支付单，调用微信支付统一下单接口。参见【统一下单API】。
步骤3：统一下单接口返回正常的prepay_id，再按签名规范重新生成签名后，将数据传输给APP。参与签名的字段名为appId，partnerId，prepayId，nonceStr，timeStamp，package。注意：package的值格式为Sign=WXPay
步骤4：商户APP调起微信支付。api参见本章节【app端开发步骤说明】
步骤5：商户后台接收支付通知。api参见【支付结果通知API】
步骤6：商户后台查询支付结果。，api参见【查询订单API】

服务端要做的,就是步骤1235,客户端做步骤4就行了,步骤6看自己的需求,我们没有做. 首先,生成商户服务器订单,这个自不必说,只有生成订单,才有订单号,才能做后面的工作. 我们重点看下步骤2和步骤3

2 调用统一下单接口

首先,我们需要看一下统一下单接口文档,里面包含了请求的地址和要传的参数,顾名思义,那些必填字段是必须要填写的,这是我的请求参数列表out_trade_no,body,total_fee,time_start,time_expire,spbill_create_ip,notify_url,trade_type还有一个签名sign,这就是所有的请求字段.

签名

签名的思路是,把所有得除sign字段以外的字段,按照参数名ASCII码从小到大排序,使用URL键值对的格式（即key1=value1&key2=value2…）拼接成字符串stringA。在stringA最后拼接上key得到stringSignTemp字符串，并对stringSignTemp进行MD5运算，再将得到的字符串所有字符转换为大写，得到sign值signValue。官方文档.

签名可能有点蛋疼,你可以看这个文档.微信也提供了签名的在线调试工具,你把参数填进去,看看签名拿到的值是否和你签名的结果一样.

调用unifiedOrder

由于统一下单接口,所有的支付方式都会调用,包括公众账号的几种支付方式,而且官方没有app支付的sdk代码,所以我们直接用公众号支付的js sdk代码. sdk里面已经封装好了对统一下单接口的调用,包括签名,所以我们只需要调用这个就好了.

整理参数

调用统一下单接口后,会返回很多数据,我们还是调用js sdk里面的处理函数,因为返回的是xml的内容,有些数据我们不要,(下面的结果是js api的,结果跟app除了trade_type不同,其他都是一样的)

<xml>
   <return_code><![CDATA[SUCCESS]]></return_code>
   <return_msg><![CDATA[OK]]></return_msg>
   <appid><![CDATA[wx2421b1c4370ec43b]]></appid>
   <mch_id><![CDATA[10000100]]></mch_id>
   <nonce_str><![CDATA[IITRi8Iabbblz1Jc]]></nonce_str>
   <sign><![CDATA[7921E432F65EB8ED0CE9755F0E86D72F]]></sign>
   <result_code><![CDATA[SUCCESS]]></result_code>
   <prepay_id><![CDATA[wx201411101639507cbf6ffd8b0779950874]]></prepay_id>
   <trade_type><![CDATA[JSAPI]]></trade_type>
</xml>

上面的参数中,我们需要appid(就是你配置中的那个appid),prepay_id(预支付id,之前都是为了它),partnerid(就是你配置的商户号mch_id),其他的就没啥用了,我们接下来要给客户端返回一个数据包,全部的数据如下

{"appid":"wx8c965dd8b4794241","noncestr":"oxh4g98rfgbmugwbmxfg72ay6qpvieos","package":"Sign=WXpay","partnerid":"1277670101","prepayid":"wx2015102014523449175fc2fd0939076028","timestamp":"1445323951","sign":"7F84997FDW40F6F15DD1C28A9E313122"}

noncestr是重新生成的,package是固定写法,里面的内容必须写"Sign=WXpay",timestamp也是重新生成的,sign是重新签名后的结果. 然后把数据返回给客户端就行了,客户端调起支付.

3 支付回调

和支付宝原理一样,不过微信返回的数据不是标准的post,所以你没法通过$_POST['out_trade_no']这样来获取数据. 所以,我的做法还是调用js sdk里面的回调方法,把那个回调类继承了一下,我们只需要重写NotifyProcess函数就行了,在这里面加入自己的逻辑,比如判断订单是否存在,订单是否已经处理过之类的. 至此,大流程已经走通了.

4 优化

在调试过程中,我发现同一个订单号不能重复的去获取预支付的prepay_id,所以,我们在整理参数那一步后,需要将返回参数存到数据库,下次申请支付的时候,先去数据库查一下,有的话,就不用给微信服务器请求了

打完收工.

参考文献

1 微信官方sdk下载

ubuntu下设置apache的目录映射

Thu, 15 Oct 2015 22:12:37 +0000

好吧,我的博客一不小心又荒废下来了,话不多说,进入正文.

最近的项目一直在忙,发布代码的时候遇到一个麻烦事,由于所有项目代码都放在服务器的根目录,也就是/var/www/html下;然后还有一个api的页面,我放在一个api文件夹中,然后把整个api文件夹放在html目录下.由于每次发布代码都是替换整个根目录html下的文件,你懂的,我每次发布项目代码后,api就没了,需要我单独解压,再复制,blablabla,总之一个字,** 烦 **. 我突然想起来,phpmyadmin安装后就不在网站的根目录,但是访问的时候我却还是直接在ip后面跟目录,比如http://127.0.0.1/phpmyadmin,这货应该是用了一个映射,我照着这个样子搞一个,不就行了,说干就干.

1 使用的命令

Alias 这个是这次主要使用的命令,使用的方法很简单,如下所示

Alias /api /home/ch/api

意思就是如果你在ip后面添加/api后缀,也就是你在浏览器访问http://127.0.0.1/api,那么实际就会访问到/home/ch/api目录下

2 使用方法

Linux下

由于我用的是ubuntu,所以具体说下ubuntu下怎么用. 根据在Ubuntu上安装LAMP服务器并简单配置,这篇文章中关于phpmyadmin的设置部分,以下为摘抄

配置Apache服务器
如果此时在浏览器中输入http://localhost/phpmyadmin，会提示404错误
此时应该进行简单的配置，将phpMyAdmin的配置文件，复制到Apache2下

cp /etc/phpmyadmin/apache.conf /etc/apache2/conf-enabled/phpmyadmin.conf
然后重启Apache服务器

service apache2 restart

我们得到启发,本来phpmyadmin也是不在html根目录下的,上面的操作做了什么呢? 我们打开/etc/apache2/conf-enabled/phpmyadmin.conf这个文件看看

# phpMyAdmin default Apache configuration

Alias /phpmyadmin /usr/share/phpmyadmin

<Directory /usr/share/phpmyadmin>
    Options FollowSymLinks
    DirectoryIndex index.php

    <IfModule mod_php5.c>
        AddType application/x-httpd-php .php

        php_flag magic_quotes_gpc Off
        php_flag track_vars On
        php_flag register_globals Off
        php_admin_flag allow_url_fopen Off
        php_value include_path .
        php_admin_value upload_tmp_dir /var/lib/phpmyadmin/tmp
        php_admin_value open_basedir /usr/share/phpmyadmin/:/etc/phpmyadmin/:/var/lib/phpmyadmin/:/usr/share/php/php-gettext/:/usr/share/javascript/
    </IfModule>

</Directory>

# Authorize for setup
<Directory /usr/share/phpmyadmin/setup>
    <IfModule mod_authn_file.c>
    AuthType Basic
    AuthName "phpMyAdmin Setup"
    AuthUserFile /etc/phpmyadmin/htpasswd.setup
    </IfModule>
    Require valid-user
</Directory>

# Disallow web access to directories that don't need it
<Directory /usr/share/phpmyadmin/libraries>
    Order Deny,Allow
    Deny from All
</Directory>
<Directory /usr/share/phpmyadmin/setup/lib>
    Order Deny,Allow
    Deny from All
</Directory>

看看这个文件的第一行,soga,原来他用的也是Alias命令,接下来我们继续往下走,下面的代码是什么意思呢?下面的代码是用来设置文件目录的权限的,就是<Directory>标签里面的内容. 关于这里的设置,我们可以参考[apache官网](https://httpd.apache.org/docs/2.2/mod/mod_authz_host.html# order)上的描述.简而言之 Order Deny,Allow其实是Allow优先,举个例子

Order Deny,Allow
Allow from All
Deny from All

由于Deny规则在Allow之前(Order规定的),所以先Deny所有的请求,然后Allow规则在其后,最后的结果就是所有的人都可以随意访问.假设你要对访问进行限制,建议按照下面这样设置

Order Deny,Allow
Allow from 192.168.1.122
Deny from All

也就是指允许ip为192.168.1.122的用户去访问,其他的用户都会被Deny

3 最后的结果

结合上面的分析,给出我最后的结果

Alias /api /var/www/api
<Directory /var/www/api>
 Options FollowSymLinks Includes -Indexes

  AllowOverride None
  Order allow,deny
  allow from all
</Directory>

这里的-Indexes选项的意思是,不要列出目录打完收工

php中的bool值和类型转换

Mon, 20 Jul 2015 14:23:21 +0000

最近在写php,发现有个问题一直无法避免,那就是关于php的bool值和类型转换. 以前每次遇到要校验一个变量$a,是否为空,都是使用$a==''去判断,感觉不是很懂,反正一直这样用,也没出太多纰漏,而没有理会什么NUll,’’,0之类的其他值.今天决定研究下,把它彻底搞清楚.

1 php的数据类型

php支持原始的8总数据类型. 4总标量类型:

boolean
integer
float(也称作double类型)
string 2种复合类型
array(数组)
object(对象) 2种特殊类型
resource(资源)
NULL(无类型) 实际上 double 和 float 是相同的，由于一些历史的原因，这两个名称同时存在。变量的类型通常不是由程序员设定的，确切地说，是由PHP根据该变量使用的上下文在运行时决定的。前面几种类型很好理解,现在重点看一下resource类型和NULL类型

resource 是一种特殊变量，保存了到外部资源的一个引用。资源是通过专门的函数来建立和使用的。由于资源类型变量保存有为打开文件、数据库连接、图形画布区域等的特殊句柄，因此将其它类型的值转换为资源没有意义。
NULL,特殊的NULL值表示一个变量没有值。NULL类型唯一可能的值就是 NULL。在下列情况下一个变量被认为是NULL：

被赋值为 NULL。
尚未被赋值。
被 unset()。

2 常用的比较函数

empty()

这个函数最近经常见到,它比较有特点. 如果 var 是非空或非零的值，则empty()返回FALSE。换句话说，""、0、“0”、NULL、FALSE、array()、var $var以及没有任何属性的对象都将被认为是空的，返回 TRUE。如果变量没有赋值,empty()也不会报错.

is_set()

这个函数和is_null()刚好相反,如果一个函数的is_null()返回true,那么它的is_set()则必定返回相反值,false.

is_null()

所有的is_开头的函数,都不会进行类型转换,例如is_bool(‘0’),返回false,因为'0’不是一个布尔类型的值. 详细对比看下图

更多更详细的比较,大家看这里php类型比较表

ubuntu 14.04配置thinkphp路由,隐藏index.php

Mon, 29 Jun 2015 20:16:17 +0000

今天把代码发布到服务器上去,发现服务器的rewrite有问题,无法实现隐藏index.php的功能.

环境

服务器:ubuntu 14.04 lts apache:2.4.7 php:5.5.9- mysql:5.5.43

开启rewrite模块

在ubuntu中,开启很简单,执行以下bash命令即可

sudo a2enmod rewrite

添加.htaccess支持

默认apache会忽视所有的规则重写,即使添加了.htaccess文件,他不认. 在ubuntu 14.04中设置,跟其他版本的ubuntu有点不同核心操作还是修改 AllowOverride None为 AllowOverride All. 问题是这个文件到底在哪儿. 在网上找的教程中,有的说是在/etc/apache2/sites-available/000-default.conf中,在我这个版本的apache中,它不在这里. 他在/etc/apache2/apache2.conf中. 我们打开这个文件,大概在166行.

<Directory /var/www/>
        Options Indexes FollowSymLinks
        AllowOverride All
        Require all granted
</Directory>

重启apache服务器

ok,都改完了,就剩一步,重启apache服务器.

sudo service apache2 restart

搞定!

digitalocean配置ipv6

Tue, 16 Jun 2015 22:24:18 +0000

之前配置了ubuntu的shadowsocks,用来做代理翻墙.不过,google scholar一直无解,因为digitalocean的ipv4的地址都被google scholar墙掉了.今天(其实离现在已经好多天了),看到一篇文章,很受启发,决定使用ipv6来试试.

前提条件

首先你得有一台digitalocean的vps,建议选择洛杉矶的服务器, 选个5美元的就够了.

1 新建droplet

如果你以前没有搭建droplet,今天新建的话,比较简单,我们直接启用ipv6支持. 注意勾选ipv6,后面的步骤,请参考第3步

2 修改droplet

我的droplet已经搭建好了,所以只能修改,添加ipv6的支持. 你打开droplet的setting,在network中应该可以看到enable ipv6 启用后,稍后片刻,页面如下.

3 设置ipv6

当我们启用ipv6支持以后,还需要对服务器进行设置.

第一步我们把ipv6的地址添加到网卡中

我们编辑/etc/network/interfaces这个文件,使用命令sudo vi /etc/network/interfaces 修改后内容如下

# This file describes the network interfaces available on your
# system and how to activate them. For more information, see
# interfaces(5).

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto eth0
iface eth0 inet static
        address 你的ipv4
        netmask 255.255.192.0
        gateway 你的ipv4网关
        dns-nameservers 8.8.8.8 8.8.4.4
# 以上内容不需要修改,只需要添加下面的部分
iface eth0 inet6 static
    address 上图中的ipv6地址
    netmask 64
    gateway 网关地址
    autoconf 0
    dns-nameservers 2001:4860:4860::8844 2001:4860:4860::8888 209.244.0.3

修改完成后,我们重启下服务器(因为我的重启网络服务没有效果,所以我重启了),如果你看到如下图片,就表示你的ipv6配置好了,我们后面来测试一下

第二步测试ipv6 是否配置成功

我们使用ping命令来测试,ping是测试ipv4的,测试ipv6是用ping6,命令如下:

ping6 ipv6.google.com

PING ipv6.google.com(nuq04s29-in-x0e.1e100.net) 56 data bytes
64 bytes from nuq04s29-in-x0e.1e100.net: icmp_seq=1 ttl=57 time=2.23 ms
64 bytes from nuq04s29-in-x0e.1e100.net: icmp_seq=2 ttl=57 time=1.97 ms
64 bytes from nuq04s29-in-x0e.1e100.net: icmp_seq=3 ttl=57 time=1.95 ms
64 bytes from nuq04s29-in-x0e.1e100.net: icmp_seq=4 ttl=57 time=2.14 ms
64 bytes from nuq04s29-in-x0e.1e100.net: icmp_seq=5 ttl=57 time=1.93 ms

如果发包成功,那就可以进行下一步了

4 修改hosts

因为ipv4无法访问google scholar,所以我们配置下hosts,让所有对访问google学术的,都使用ipv6去访问.执行命令如下:

sudo vi /etc/hosts

我们在hosts文件的后面,添加如下内容:

2607:f8b0:4007:805::100f scholar.google.cn
2607:f8b0:4007:805::100f scholar.google.com
2607:f8b0:4007:805::100f scholar.google.com.hk
2607:f8b0:4007:805::100f scholar.l.google.com

ok,打完收工,睡觉

参考文献

1 一个解决 Google Scholar block DigitalOcean SFO IP 的方法 2 How To Enable IPv6 for DigitalOcean Droplets

安装和配置hexo 3.0

Tue, 16 Jun 2015 22:22:43 +0000

update：2015-06-24 16:56 额，谁会相信，其实这篇文章是拖了一周之后才写的。

因为最近换回了win7，所以之前搭建的hexo环境都没了，需要重新搭建。在网上看到hexo 3.0 还可以，而且，我妹子也换3.0了，so 我也换成hexo 3.0的。

安装环境

操作系统：win7 相关版本：
hexo-cli: 0.1.7 os: Windows_NT 6.1.7601 win32 x64 node: 0.12.4

安装过程

# 1. 安装Github for windows

因为我之前就在用Github,所以早就安装了这个.已经装过的同学请忽略这一段. 下载 Github for windows 并执行即可完成安装(在线安装,会有点慢)。这个软件的的好处是有一个带GUI的界面,还有一个终端界面.如图所示

# 2. 安装Node.js

在 Windows 环境下安装 Node.js 非常简单，仅须下载安装文件并执行即可完成安装。（win下建议下载msi格式的，因为这样可以不用配置环境变量之类的）

# 3. 测试node.js是否安装

在任何控制台输入(可以按windows键+R,输入cmd,然后输入npm,一般来说不会有问题)

npm

返回值如下

Usage: npm <command>

where <command> is one of:
    add-user, adduser, apihelp, author, bin, bugs, c, cache,
    completion, config, ddp, dedupe, deprecate, docs, edit,
    explore, faq, find, find-dupes, get, help, help-search,
    home, i, info, init, install, isntall, issues, la, link,
    list, ll, ln, login, ls, outdated, owner, pack, prefix,
    prune, publish, r, rb, rebuild, remove, repo, restart, rm,
    root, run-script, s, se, search, set, show, shrinkwrap,
    star, stars, start, stop, submodule, t, tag, test, tst, un,
    uninstall, unlink, unpublish, unstar, up, update, v,
    version, view, whoami

npm <cmd> -h     quick help on <cmd>
npm -l           display full usage info
npm faq          commonly asked questions
npm help <term>  search for help on <term>
npm help npm     involved overview

Specify configs in the ini-formatted file:
    C:\Users\chenhao\.npmrc
or on the command line via: npm <command> --key value
Config info can be viewed via: npm help config

npm@1.4.28 D:\Program Files (x86)\nodejs\node_modules\npm

看到这个结果,就表示你的node.js已经安装上去了 *感谢我们家笨笨的反馈：*此处如果npm无效，首先确定win下你采用的是msi格式的安装文件，然后重启下电脑，应该就正常了。

# 4. 安装hexo

接下来的操作我都是用Github for windows自带的Bash来完成的,因为后面会涉及到SSH,用Github for windows,就可以避免这个问题.

在Bash中输入以下命令

npm install hexo-cli -g

创建hexo文件夹创建你hexo放置的文件夹,先用Bash进入到目标文件夹,比如我的是F:/blog/,接下来初始化hexo,自动生成相关的文件,在F:/blog/环境下,输入

cd /f/blog  # 这个命令表示当前进入目录为f：/blog/
hexo init

安装依赖包

npm install

本地预览,做完以上操作,可以本地预览一下

hexo g
hexo s

以上两条命令的意思是: 生成相关文件(就是生成目标html,静态博客嘛,就是很多html组成) 打开本地服务器预览(node.js就是干这事的,点击访问http://localhost:4000,就可以看到了) **update-2015-09-29:**在3.0版本中将hexo server(简写命令就是hexo s),独立成模块,需要手动安装,不然你执行hexo s,就会出现无法识别这个命令安装方法和后面配置模块一样

npm install hexo-server --save

ok,到这里,博客搭建基本完成,现在要做的就是把它发布到你的Github上去

接下来,教你怎么发布到Github上去

注册Github

这一步没什么说的,如果你连简单的注册都不会,我也不会教你╮(╯▽╰)╭

创建公共库

在自己Github主页右下角，创建一个新的repository(点这里)。比如我的Github账号是Jackroyal，那么我应该创建的repository名字应该是Jackroyal.github.io(注意你的repository名字就是Jackroyal.github.io,我之前用的是Jackroyal怎么尝试都不行)。

PS:有个大小写的问题其实我注册的是Jackroyal,大写的J,但是我访问的时候特别是带https的链接,他会自动转为小写访问.怎么说呢?简单点,你就按照你的用户名来,该大写大写,该小写小写

部署

现在万事俱备,只差部署了. hexo3.0,跟2.0不同,deploy插件我们需要手动去安装,执行如下命令:

npm install hexo-deployer-git --save

接下来,我们来配置deploy的信息,修改_config.yml. 这个文件在路径是F:/blog/_config.yml. 用编辑器把它打开,修改最后一段

deploy:
  type: git
  repo: https://github.com/Jackroyal/Jackroyal.github.io.git
  branch: master

照着我的这个格式修改就好了,把我里面的用户名替换成你的. 至此基本完成所有搭建步骤.

上传

我们开始上传项目的代码,再重复一次,我一直以来用的工具都是_Github for windows_自带的Bash,所以我没有配置SSH,如果你用的windows自带的终端或者其他比如msysgit,可能需要配置SSH,不然无法使用Github(点击这里查看官方教程). 我们输入以下命令

hexo g
hexo d

或者偷个懒

hexo d -g

ok,现在就可以去看看你的个人主页了,逼格满满有木有. 如果发布不成功,继续往下面看.

配置hexo

上面的内容和之前一样,接下来写,配置hexo 3.0的步骤.

1 安装rss支持

执行如下命令:

npm install hexo-generator-feed --save

我们接下来修改配置文件,编辑_config.yml

feed:
  type: atom
  path: atom.xml
  limit: 20

2 安装sitemap支持

执行如下命令:

npm install hexo-generator-sitemap --save

我们接下来修改配置文件,编辑_config.yml

sitemap:
    path: sitemap.xml

PS:类似的,还可以安装其他的插件,尤其注意hexo-deployer-git这个插件,如果你发布不成功,可能是这个插件没有装

npm install hexo-generator-index --save
npm install hexo-generator-archive --save
npm install hexo-generator-category --save
npm install hexo-generator-tag --save
npm install hexo-deployer-git --save

3 最终修改后的配置文件

我把我的配置文件分享出来给大家参考下:

# Hexo Configuration
# # Docs: http://hexo.io/docs/configuration.html
# # Source: https://github.com/hexojs/hexo/

# Site
title: 搁浅St的blog
subtitle: 我最喜欢笨笨
description: jackroyal 博客 搁浅St 笨笨
author: 搁浅St
author: John Doe
language: zh-CN
timezone:

# URL
# # If your site is put in a subdirectory, set url as 'http://yoursite.com/child' and root as '/child/'
url: http://jackroyal.github.io
root: /
permalink: :year/:month/:day/:title/
permalink_defaults:

# Directory
source_dir: source
public_dir: public
tag_dir: tags
archive_dir: archives
category_dir: categories
code_dir: downloads/code
i18n_dir: :lang
skip_render:

# Writing
new_post_name: :title.md # File name of new posts
default_layout: post
titlecase: false # Transform title into titlecase
external_link: true # Open external links in new tab
filename_case: 0
render_drafts: false
post_asset_folder: false
relative_link: false
future: true
highlight:
  enable: true
  line_number: true
  auto_detect: true
  tab_replace:

# Category & Tag
default_category: uncategorized
category_map:
tag_map:

# Date / Time format
# # Hexo uses Moment.js to parse and display date
# # You can customize the date format as defined in
# # http://momentjs.com/docs/# /displaying/format/
date_format: YYYY-MM-DD
time_format: HH:mm:ss

# Pagination
# # Set per_page to 0 to disable pagination
per_page: 10
pagination_dir: page


# Extensions
# # Plugins: http://hexo.io/plugins/

index_generator:
  per_page: 10 ## 首页默认10篇文章标题 如果值为0不分页

archive_generator:
    per_page: 10 ## 归档页面默认10篇文章标题
    yearly: true  ## 生成年视图
    monthly: true ## 生成月视图

tag_generator:
    per_page: 10 ## 标签分类页面默认10篇文章

category_generator:
    per_page: 10 ### 分类页面默认10篇文章

sitemap:
    path: sitemap.xml

feed:
  type: atom
  path: atom.xml
  limit: 20

duoshuo_shortname: jackroyal  ## 这里填写你的多说的短网址
# # Themes: http://hexo.io/themes/
theme: light   ## 主题的名称,我用的是light,默认的是landscape

# Deployment
# # Docs: http://hexo.io/docs/deployment.html
deploy:
  type: git
  repo: https://github.com/Jackroyal/Jackroyal.github.io.git
  branch: master

hexo 3.0有一些新的特性,插件的封装更好了,插件安装和管理很方便. hexo还支持多发布,可以同时发布到github和gitcafe.

参考文献

1 hexo 服务器

给hexo配置上评论和访问量

Sat, 30 May 2015 14:08:49 +0000

哈哈,我们家笨笨,绝对是我学习技术的很大很大很大大的动力.更开始用github pages的时候,就觉得没法看访问量和评论数量这事,很蛋疼,不过也没折腾. 今天上午,我们家笨笨说没有评论和访问量不好,都不知道多少人看了.妹子都发话了,果断要搞定.

google一番找到解决方法:

1 关于评论数量的显示,我们可以直接使用多说官网提供的方法,很简单

2 关于访问量统计这事儿,不太好搞,我找到了这个不蒜子,这位非著名码农自己做的访问统计,哈哈,点个赞

3 今天还看到了font-awesome,可以显示一些小图标,为了显示效果更好,一并加上去

先展示一下最终的效果:

下面,开始动手

1 配置评论数量的显示

首先,确认你的评论系统用的是多说,如果不是,那就不用继续往下看了(参考这里配置多说). 我使用的主题是light,其他主题原理类似.我们打开themes/light/layout/_partial/article.ejs,我们在header标签的尾部添加上下面的代码:

    <% if (item.excerpt && index){ %>
     <% } else { %>
     <div class="busuanzi_container_page_pv">
       <span class="head-plus">
       <i class="fa fa-user"></i><span id="busuanzi_value_page_pv"><i class="fa fa-spinner fa-spin"></i></span>次访问
       </span>
       <span class="head-plus">
       <i class="fa fa-comments"></i><span class="ds-thread-count" data-thread-key="<%= page.layout %>-<%= page.slug %>"><i class="fa fa-spinner fa-spin"></i></span>条评论
       </span>
     </div>
     <% } %>

最终效果如图以上代码,是最终成型的代码,我加入了一些美化的东西,最核心的就是

<span class="ds-thread-count" data-thread-key="<%= page.layout %>-<%= page.slug %>"></span>

尤其注意data-thread-key的设置,他和你之前配置多说的时候是一致的,每篇文章有一个独一无二的key,你可以去你的themes/light/layout/_partial/comment.ejs里找到关于data-thread-key的内容,直接复制过来即可.

Ps:这里我们可能还需要配置下数据显示的格式,在你的多说后台管理里面,进入设置界面如图我们找到暂无评论,1条评论,{num}条评论,这几个设置,修改成自己要的格式,也可以参照我的修改,0,1,{num}

2 配置文章访问量的显示

这个更简单了,按照作者的说法,只需要引入一个js,再添加一个span就完成了.由于js一般放置在页面的最底部,所以我们找到themes/light/layout/_partial/after_footer.ejs,我们在最后添加上下面的代码:

<script async src="https://dn-lbstatics.qbox.me/busuanzi/2.3/busuanzi.pure.mini.js">
</script>

上面就完成了js文件的引入,我们再在要显示访问量的地方添加一个span就行了.比如我想显示在标题的下面,那就打开themes/light/layout/_partial/article.ejs,添加的代码,就是第一步里面添加的那个.如果你想简洁一点,也可以只添加下面核心代码就行:

本站总访问量<span id="busuanzi_value_site_pv"></span>次
本站访客数<span id="busuanzi_value_site_uv"></span>人次
本文总阅读量<span id="busuanzi_value_page_pv"></span>次

3 经过美化后最终的代码

如果只用官方提供的代码,没有优化,很丑,我优化了下,分享一下.

1.修改themes/light/layout/_partial/article.ejs,在header标签的末尾添加以下代码

    <% if (item.excerpt && index){ %>
     <% } else { %>
     <div class="busuanzi_container_page_pv">
       <span class="head-plus">
       <i class="fa fa-user"></i><span id="busuanzi_value_page_pv"><i class="fa fa-spinner fa-spin"></i></span>次访问
       </span>
       <span class="head-plus">
       <i class="fa fa-comments"></i><span class="ds-thread-count" data-thread-key="<%= page.layout %>-<%= page.slug %>"><i class="fa fa-spinner fa-spin"></i></span>条评论
       </span>
     </div>
     <% } %>

2.修改themes/light/layout/_partial/footer.ejs,下面是footer.ejs的全部代码:

<div class="alignleft">
  <% if (config.author){ %>
  &copy; <%= new Date().getFullYear() %> <%= config.author %>
  <% } else { %>
  &copy; <%= new Date().getFullYear() %> <%= config.title %>
  <% } %>
<span id="busuanzi_container_site_pv">
     <i class="fa fa-flag"></i>    你是第<span id="busuanzi_value_site_pv"><i class="fa fa-spinner fa-spin"></i></span>个到访的小伙伴
</span>
</div>
<div class="clearfix"></div>

3.修改themes/light/layout/_partial/after_footer.ejs,我们在最后添加上下面的代码:

<script async src="https://dn-lbstatics.qbox.me/busuanzi/2.3/busuanzi.pure.mini.js">
</script>

4.修改themes\light\source\css\_partial\article.styl,我们在第124行,在.entry之前添加上以下代码,尤其注意与左右的间距,因为它是一个树形结构,它与左侧的距离,影响着它的层级.我们这里应该和entry平级,下面代码应该与.entry对齐

  .busuanzi_container_page_pv
      margin:20px 0
      color: # 817C7C
      font-size: 12px
  # busuanzi_value_page_pv
      padding-left:4px
  .head-plus
      padding-left:4px
  .ds-thread-count
      padding-left:4px

最终效果如图: 5.修改themes\light\source\css\_partial\footer.styl,在最后添加上以下代码

# busuanzi_value_site_pv
  color:black
  padding:4px
# busuanzi_container_site_pv
  padding-left:2em

6.修改themes\light\source\css\_partial\variable.styl,在最后添加以下代码

@import url("http://libs.useso.com/js/font-awesome/4.2.0/css/font-awesome.min.css")

ok 打完收工

参考文献

1 博客访问技术工具–不蒜子 http://ibruce.info/2015/04/04/busuanzi/ 2 多说-代码显示【文章评论数】方法

致谢

这里，要感谢我最亲爱的笨笨http://huirong.github.io

基于python的requests库，模拟登录csdn博客

Sat, 23 May 2015 19:06:04 +0000

还是继续我的python学习。以前写的爬虫用的urllib2来实现，也用过scrapy的爬虫框架，这次试试requests，刚开始用，用起来确实比urllib2好，封装的更好一些，使用起来简单方便很多。

安装requests库

在ubuntu下面安装很简单

pip install requests

就搞定了

快速上手的小例子

下面给个快速入门，最简单的例子

import requests
r = requests.get('http://www.baidu.com')
print r.text

这段代码，很简单。第一行，引入requests库，这是必然的。第二行，通过get方式获取baidu首页的内容。第三行，把返回的response内容，输出出来

果然很简单，这样就可以发送一个get请求，同理，你还可以使用 requests.post,requests.put,requests.options,requests.head，发送请求，没错就是这么简单，果然比urllib2好用。

模拟登录csdn

我们需要其他的辅助工具

浏览器：Firefox

浏览器插件：tamper data，firebug

我们需要tamper data来拦截请求，因为chrome没有这个功能的插件，所以这个只能使用firefox来做（除了拦截请求chrome没有，其他的工作都可以用chrome，看个人喜好吧）。

分析登录过程

1 打开登录页面

我们首先打开csdn的登录页面https://passport.csdn.net/account/login?ref=toolbar 这个链接，前面部分是登录的网址，问号后面的参数，顾名思义，referer，就是你从哪里跳过来的，也许是一个页面跳转到登录的，toolbar就是我自己点击顶部导航栏，然后跳转到登录页面的。

2 清除相关的cookie

为了排除不必要的干扰，我们先清除掉所有的相关的cookie，这样方便我们分析哪些参数是必须的。

3 登录过程分析

清除了cookie后，我们刷新一下页面https://passport.csdn.net/account/login?ref=toolbar，重新获取对应的cookie。然后我们就开始用tamper data来拦截请求。我们点击start tamper，在网页中填写用户名和密码。点击登录，会发出一个请求，然后tamper data会拦截下这个请求，询问我们是否拦截，点击tamper，我们可以在这个请求提交之前，查看请求的内容，还可以做删改。 csdn的登录过程比较简单，发送一个登录表单过去，就登录成功了，不过记得修改headers，这是后话。

4 开始模拟登录

知道登录过程了，我们就开始写登录的代码。

import requests
# 使用beautifulsoup来处理获取的html内容，这个库需要安装，还是使用pip install beautifulsoup4来安装
from bs4 import BeautifulSoup as bs
# 这个函数使用来提取流水号的
def toJson(str):
    '''
    提取lt流水号，将数据化为一个字典
    '''
    soup = bs(str)
    tt = {}
    # 提取form表单中所有的input标签，以字典的形式来保存name：value
    for inp in soup.form.find_all('input'):
        if inp.get('name') != None:
            tt[inp.get('name')] =inp.get('value')
    return tt
    
# 这行代码，是用来维持cookie的，你后续的操作都不用担心cookie，他会自动带上相应的cookie
s = requests.Session()
# 我们需要带表单的参数,这里面有个参数lt,登录操作的流水号，我们需要从html页面中进行提取
payload ={'username':'jackroyal','password':'123456','lt':soup["lt"],'execution':'e1s1','_eventId':'submit'}
r = s.post("http://passport.csdn.net/account/login",data=payload,headers=header)
print r.text

ok，至此，登录就成功了

5 优化

当你登录成功后，你会问，我怎么知道登录成功了呢？当你试图去抓取http://write.blog.csdn.net/postlist的内容的时候，你会发现一个403的错误，这是为啥呢？很简单，user agent没有修改，我们用的是默认的user agent，这可不是一个正常的用户，所以被网站拒绝了。我们加上他就好了

header = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0'}
r = s.post("http://passport.csdn.net/account/login",data=payload,headers=header)
print r.text

后话

上面的代码还是太简单，我们都知道cookie是有有效期的，我在做调试的时候，没修改一次，就要模拟登录一次，这样不好，我们要保存cookie，这样下次就不需要重新发送登录请求了分享出完整的代码

# !/usr/bin/env python
# -*- coding: utf-8 -*-

import requests
import time
import os
from bs4 import BeautifulSoup as bs
from cookielib import LWPCookieJar


def toJson(str):
    '''
    提取lt流水号，将数据化为一个字典
    '''
    soup = bs(str)
    tt = {}
    for inp in soup.form.find_all('input'):
        if inp.get('name') != None:
            tt[inp.get('name')] =inp.get('value')
    return tt


# cookie setting
s = requests.Session()
s.cookies = LWPCookieJar('cookiejar')
header = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0'}
if not os.path.exists('cookiejar'):
    print "there is no cookie,setting"
    r = s.get("http://passport.csdn.net/account/login")
    soup = toJson(r.text)
    payload ={'username':'jackroyal','password':'123456','lt':soup["lt"],'execution':'e1s1','_eventId':'submit'}

    print payload
    r = s.post("http://passport.csdn.net/account/login",data=payload,headers=header)
    s.cookies.save(ignore_discard=True)

    print r.text
else:
    print "cookie exists,restore"
    s.cookies.load(ignore_discard=True)

# r = s.get("https://passport.csdn.net/content/loginbox/loginapi.js")
r = s.get("http://write.blog.csdn.net/postlist",headers=header)
print r.text

参考文献

1 requests官方文档快速上手——中文版 2 beautifuisoup官方文档 3 python的requests如何保存cookie到文件

html5在ie中遇到的那些坑

Fri, 15 May 2015 23:19:43 +0000

这段时间,笨笨找了个活儿,做一个页面,能够适配所有的主流浏览器,包括pc,平板和手机等终端(这和当年某刘提的要求一样啊). 我第一个想到的是bootstrap,可惜这货太大了,我只是几个简单的页面,没必要用这么大体量的东西. 搜索一番以后,我找到了我的解决方案,media query,支付宝也是这么解决的.

前提条件

以下所给出的例子,都是html5的页面,不合适html4.0的页面,也就是说你的头部必须是 <!DOCTYPE html>才行,如果是<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">,是不行的,要仔细看清楚哈. 下面就来罗列一下,这次经过的那些坑:

1 自动适配终端屏幕宽度

<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no">

content属性值 : width:可视区域的宽度，值可为数字或关键词device-width height:同width intial-scale:页面首次被显示是可视区域的缩放级别，取值1.0则页面按实际尺寸显示，无任何缩放 maximum-scale=1.0, minimum-scale=1.0;可视区域的缩放级别， maximum-scale用户可将页面放大的程序，1.0将禁止用户放大到实际尺寸之上。 user-scalable:是否可对页面进行缩放，no 禁止缩放

2 使ie6-8支持html5的元素

<!-- HTML5 shim, for IE6-8 support of HTML5 elements -->
<!--[if lt IE 9]>
<script src="http://html5shim.googlecode.com/svn/trunk/html5.js"></script>
<![endif]-->

以上代码,顾名思义,当ie的版本是9一下的时候,加载html5.js这个文件(建议最好下载下来在本地调用),他是用来帮助ie6-8支持html元素的.

3 ie10以下的版本不支持placeholder(不完美解决)

placeholder是html5里面才有的东东,ie8不支持就算了,ie9都不支持,伤不起.这个没办法,只能用js去写,网上有很多类似的东西,不过不是很好用,我找到的都不完美.

(function($) {
  /**
   * 没有开花的树
   * http://blog.csdn.net/mycwq/
   * 2012/11/28 15:12
   */

  var placeholderfriend = {
    focus: function(s) {
      s = $(s).hide().prev().show().focus();
      var idValue = s.attr("id");
      if (idValue) {
        s.attr("id", idValue.replace("placeholderfriend", ""));
      }
      var clsValue = s.attr("class");
      if (clsValue) {
        s.attr("class", clsValue.replace("placeholderfriend", ""));
      }
    }
  }

  //判断是否支持placeholder
  function isPlaceholer() {
    var input = document.createElement('input');
    return "placeholder" in input;
  }
  //不支持的代码
  if (!isPlaceholer()) {
    $(function() {

      var form = $(this);

      //遍历所有文本框，添加placeholder模拟事件
      var elements = form.find("input[type='text'][placeholder]");
      elements.each(function() {
        var s = $(this);
        var pValue = s.attr("placeholder");
        var sValue = s.val();
        if (pValue) {
          if (sValue == '') {
            s.val(pValue);
          }
        }
      });

      elements.focus(function() {
        var s = $(this);
        var pValue = s.attr("placeholder");
        var sValue = s.val();
        if (sValue && pValue) {
          if (sValue == pValue) {
            s.val('');
          }
        }
      });

      elements.blur(function() {
        var s = $(this);
        var pValue = s.attr("placeholder");
        var sValue = s.val();
        if (!sValue) {
          s.val(pValue);
        }
      });

      //遍历所有密码框，添加placeholder模拟事件
      var elementsPass = form.find("input[type='password'][placeholder]");
      elementsPass.each(function(i) {
        var s = $(this);
        var pValue = s.attr("placeholder");
        var sValue = s.val();
        if (pValue) {
          if (sValue == '') {
            //DOM不支持type的修改，需要复制密码框属性，生成新的DOM
            var html = this.outerHTML || "";
            html = html.replace(/\s*type=(['"])?password\1/gi, " type=text placeholderfriend")
              .replace(/\s*(?:value|on[a-z]+|name)(=(['"])?\S*\1)?/gi, " ")
              .replace(/\s*placeholderfriend/, " placeholderfriend value='" + pValue
              + "' " + "onfocus='placeholderfriendfocus(this);' ");
            var idValue = s.attr("id");
            if (idValue) {
              s.attr("id", idValue + "placeholderfriend");
            }
            var clsValue = s.attr("class");
            if (clsValue) {
              s.attr("class", clsValue + "placeholderfriend");
            }
            s.hide();
            s.after(html);
          }
        }
      });

      elementsPass.blur(function() {
        var s = $(this);
        var sValue = s.val();
        if (sValue == '') {
          var idValue = s.attr("id");
          if (idValue) {
            s.attr("id", idValue + "placeholderfriend");
          }
          var clsValue = s.attr("class");
          if (clsValue) {
            s.attr("class", clsValue + "placeholderfriend");
          }
          s.hide().next().show();
        }
      });

    });
  }
  window.placeholderfriendfocus = placeholderfriend.focus;
})(jQuery);

我最终选择这段代码,他能够在ie的各版本中正常运行,支持text和password标签. 唯一的不足是,你直接点提交,你的text里面会有内容,内容就是placeholder中设置的提示内容.

4 background-size在ie9一下不支持

background-size属性是用来让背景图片平铺的.不过ie9一下并不支持这个属性,我们使用滤镜来实现平铺的效果,示例代码如下.

background-size: cover;
    filter:progid:DXImageTransform.Microsoft.AlphaImageLoader(src='./assets/images/01.png', sizingMethod='scale')\9;

需要注意的是,这里的图片路径是相对于html文件的,不是css的路径,如果设置了没效果,先检查下你的路径.

5 input输入框光标不居中

这个问题来自于魅族手机,还有老大难的ie6-8的测试中. 解决方法是设置height和line-height等高,没那么简单,这里有技巧的

    line-height: normal;/*这行代码解决了魅族手机中的不居中问题*/
    line-height: 42px\9;/*这行css代码的含义是ie9以下设置line-height为42px*/

6 opacity的继承问题

<div id='a' style="">
    <div id='b'>
    hello moto
    </div>
</div>

如果我们给父div设置了一个opacity为0.1,即使我们给子div设置opacity为1,也是不管用的,如图设置父div的opacity之后我们可以清楚看到子div受到了影响. 解决办法:解除父子关系,把子div从父div中挪出来

7 border-radius在ie9以下不支持

输入框等其他地方用到圆角的话,在老版本ie中果断是没有支持的. 我们需要用hack的方式pie,去实现border-radius和box-shadow等功能.加入pie以后的css代码如下:

    -moz-border-radius: 6px;
    -webkit-border-radius: 6px;
    border-radius: 6px;
    behavior: url(assets/css/pie.htc);/*这一行是核心*/

缺点:设置的border-radius四角的设置值都是相同的

8 css递进关系

挖坑,以后填

ps:晚安,亲爱的

参考文献

1 meta name=“viewport” content=“width=device-width,initial-scale=1.0” 解释 2 pie用hack方式在ie中实现border-radius

win8中使用vs2010配置opencv

Fri, 15 May 2015 19:56:06 +0000

今天在师兄的帮助下,总算配置好了opencv.

1 系统环境和软件版本

操作系统:win8 64位 vs版本:vs2010 32位 opencv版本:opencv 2.4.10

2 配置opencv

安装vs比较简单,这里不再赘述. 现在说下配置opencv. 网上有很多相关的配置,都是设置环境变量,然后添加库目录,包含目录,blablabla. 这样做的坏处是,每次我新建一个项目,都要重复以上操作,这样岂不是很蛋疼. 如果你移植你的程序给别人,别人也还要去配置这些东西才能够运行,是不是很不方便? 所以,师兄教给我简单粗暴的办法,直接把相关文件手动复制到vs的目录下,这样就没这么多事了. 缺点:每次都需要手动设置你所需要调用的lib文件

解压opencv到某个目录

这个很简单,双击那个exe,选择一个目录,就会把opencv的文件解压到你设定的那个目录. 我将它解压到D:/opencv下.

复制include文件夹

复制D:\opencv\build\include目录下的opencv和opencv2 到C:\Program Files (x86)\Microsoft Visual Studio 10.0\VC\include.

复制lib文件夹

同理,复制lib文件夹从D:\opencv\build\x86\vc10\lib复制到C:\Program Files (x86)\Microsoft Visual Studio 10.0\VC\lib 如果你的程序是win32就选择x86,如果你写的程序是64位的,就复制x64的程序

复制bin文件夹

复制bin目录下的东西,我们只需要系统找得到就行,所以我们这里采用环境变量的搞法

我们修改path变量,在后面添加;d:\opencv\build\x86\vc10\bin,效果如图所示

3 写代码调试

代码如下:

# include <opencv2/opencv.hpp>
# include <iostream>
# include <string>
# ifdef _DEBUG
# pragma comment(lib,"opencv_core2410d.lib")
# pragma comment(lib,"opencv_highgui2410d.lib")
# else
# pragma comment(lib,"opencv_core2410.lib")
# pragma comment(lib,"opencv_highgui2410.lib")
# endif
using namespace cv;
using namespace std;
int main()
{
    Mat img = imread("ie8-2.png");
    if(img.empty())
    {
        cout<<"error";
        return -1;
   }
   imshow("xx的靓照",img);
   waitKey();
}

注意一下这段宏设置

# ifdef _DEBUG
# pragma comment(lib,"opencv_core2410d.lib")
# pragma comment(lib,"opencv_highgui2410d.lib")
# else
# pragma comment(lib,"opencv_core2410.lib")
# pragma comment(lib,"opencv_highgui2410.lib")
# endif

debug和release,分别调用对应的lib 如果你当前是debug模式

# pragma comment(lib,"opencv_core2410d.lib")
# pragma comment(lib,"opencv_highgui2410d.lib")

这段代码是必须要的,以后调用相应的lib文件,我们都要手动在头部加入这句话才行否则,你会看到下面这堆东西

1>  test.cpp
1>ManifestResourceCompile:
1>  所有输出均为最新。
1>test.obj : error LNK2019: 无法解析的外部符号 "int __cdecl cv::waitKey(int)" (?waitKey@cv@@YAHH@Z)，该符号在函数 _main 中被引用
1>test.obj : error LNK2019: 无法解析的外部符号 "void __cdecl cv::imshow(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > const &,class cv::_InputArray const &)" (?imshow@cv@@YAXABV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@ABV_InputArray@1@@Z)，该符号在函数 _main 中被引用
1>test.obj : error LNK2019: 无法解析的外部符号 "public: __thiscall cv::_InputArray::_InputArray(class cv::Mat const &)" (??0_InputArray@cv@@QAE@ABVMat@1@@Z)，该符号在函数 _main 中被引用
1>test.obj : error LNK2019: 无法解析的外部符号 "class cv::Mat __cdecl cv::imread(class std::basic_string<char,struct std::char_traits<char>,class std::allocator<char> > const &,int)" (?imread@cv@@YA?AVMat@1@ABV?$basic_string@DU?$char_traits@D@std@@V?$allocator@D@2@@std@@H@Z)，该符号在函数 _main 中被引用
1>test.obj : error LNK2019: 无法解析的外部符号 "void __cdecl cv::fastFree(void *)" (?fastFree@cv@@YAXPAX@Z)，该符号在函数 "public: __thiscall cv::Mat::~Mat(void)" (??1Mat@cv@@QAE@XZ) 中被引用
1>test.obj : error LNK2019: 无法解析的外部符号 "public: void __thiscall cv::Mat::deallocate(void)" (?deallocate@Mat@cv@@QAEXXZ)，该符号在函数 "public: void __thiscall cv::Mat::release(void)" (?release@Mat@cv@@QAEXXZ) 中被引用
1>test.obj : error LNK2019: 无法解析的外部符号 "int __cdecl cv::_interlockedExchangeAdd(int *,int)" (?_interlockedExchangeAdd@cv@@YAHPAHH@Z)，该符号在函数 "public: void __thiscall cv::Mat::release(void)" (?release@Mat@cv@@QAEXXZ) 中被引用
1>C:\Users\chenhao\documents\visual studio 2010\Projects\b\Debug\b.exe : fatal error LNK1120: 7 个无法解析的外部命令
1>
1>生成失败。
1>
1>已用时间 00:00:03.71
========== 生成: 成功 0 个，失败 1 个，最新 0 个，跳过 0 个 ==========

ok,打完收工!

ps:上述操作完,应该就好了.我还遇到一个奇葩问题编译和生成解决方案没有问题，但是开始执行就出现应用程序无法正常启动 0xc000007b错误窗口最后,原来是权限问题,使用管理员权限打开vs就解决了,win7下找兼容性设置,以管理员权限运行我的win8没有找到兼容性设置,如图所示操作,每次都能以管理员权限打开vs

参考文献

1 VS2010+Opencv-2.4.0的配置攻略

opencv中LBPH的人脸识别代码分析

Wed, 06 May 2015 22:32:42 +0000

我开始用opencv的时候，用的是opencv最新的3.0版本。不过我死活找不到LBPH的代码，网上的教程也都是opencv 2.4的，so 我也去下一份2.4的源码来读读。

opencv目前支持一下三种方法来实现人脸识别：

Eigenfaces特征脸createEigenFaceRecognizer()
Fisherfaces createFisherFaceRecognizer()
Local Binary Patterns Histograms局部二值直方图 createLBPHFaceRecognizer()

我今天读了一下LBPH的代码。自动人脸识别就是如何从一幅图像中提取有意义的特征，把它们放入一种有用的表示方式，然后对他们进行一些分类。特征脸方法描述了一个全面的方法来识别人脸：面部图像是一个点，这个点是从高维图像空间找到它在低维空间的表示，这样分类变得很简单。低维子空间低维是使用主元分析(Principal Component Analysis,PCA)找到的，它可以找拥有最大方差的那个轴。虽然这样的转换是从最佳重建角度考虑的，但是他没有把标签问题考虑进去。想象一个情况，如果变化是基于外部来源，比如光照。轴的最大方差不一定包含任何有鉴别性的信息，因此此时的分类是不可能的。因此，一个使用线性鉴别(Linear Discriminant Analysis,LDA)的特定类投影方法被提出来解决人脸识别问题。其中一个基本的想法就是，使类内方差最小的同时，使类外方差最大。近年来，各种局部特征提取方法出现。为了避免输入的图像的高维数据，仅仅使用的局部特征描述图像的方法被提出，提取的特征(很有希望的)对于局部遮挡、光照变化、小样本等情况更强健。有关局部特征提取的方法有盖伯小波(Gabor Waelets)，离散傅立叶变换(Discrete Cosinus Transform,DCT)，局部二值模式(Local Binary Patterns,LBP)。使用什么方法来提取时域空间的局部特征依旧是一个开放性的研究问题，因为空间信息是潜在有用的信息。

ubuntu 14.04 安装denyhosts

Tue, 28 Apr 2015 20:19:23 +0000

起因

因为之前服务器两次被黑，妈蛋。今天在上google+的时候，无意中看到一个维护vps的帖子，就顺手把我的服务器维护下。之前被黑经历也很简单，因为方便管理的缘故，我给root用户设置了密码，没错，是弱口令，一扫不要一分钟就可以出来的那种。我在那篇帖子中看到denyhosts这货。东西很简单，分析你的日志，如果有人连续登陆几次密码都错误，那么把他的ip添加到denyhost当中，禁止它继续扫描。这货还很多功能，可以设置禁止时间以后，自动解禁；可以配置自动解禁的次数;还可以配置用户密码尝试的次数，给管理员发邮件等。

安装

1、下载源码包,解压源码包

wget http://sourceforge.net/projects/denyhosts/files/denyhosts/2.6/DenyHosts-2.6.tar.gz
tar zxvf DenyHosts-2.6.tar.gz
cd DenyHosts-2.6

2、安装部署

python setup.py install
cd /usr/share/denyhosts/
cp denyhosts.cfg-dist denyhosts.cfg
cp daemon-control-dist daemon-control

3、编辑配置文件denyhosts.cfg

sudo vi denyhosts.cfg

几个常见的参数如下所示：

PURGE_DENY：当一个IP被阻止以后，过多长时间被自动解禁。可选如3m（三分钟）、5h（5小时）、2d（两天）、8w（8周）、1y（一年）；
PURGE_THRESHOLD：定义了某一IP最多被解封多少次。即某一IP由于暴力破解SSH密码被阻止/解封达到了PURGE_THRESHOLD次，则会被永久禁止；
BLOCK_SERVICE：需要阻止的服务名；
DENY_THRESHOLD_INVALID：某一无效用户名（不存在的用户）尝试多少次登录后被阻止；
DENY_THRESHOLD_VALID：某一有效用户名尝试多少次登陆后被阻止（比如账号正确但密码错误），root除外；
DENY_THRESHOLD_ROOT：root用户尝试登录多少次后被阻止；
HOSTNAME_LOOKUP：是否尝试解析源IP的域名；```

一般我们就用默认就好，我们只需要改两个地方：
### 第一个，我们注释掉第12行，启用第15行，修改以后结果如下(原因是ubuntu中的log不在/var/log/secure中，而是在/var/log/auth.log中)
![修改后的denyhosts.cfg](/images/692869a3gw1erll3zp3xpj20id0b5q63.jpg)
### 第二个，我们启用第64行，也就是设置，ip被禁止后，禁止5天，这个时间你可以自行设置
去掉前面的`# `,就行了，修改后结果如下
```bash
 63 # purge entries older than 5 days
 64 PURGE_DENY = 5d
 65 ###################################################################### #
 66

4、编辑配置文件daemon-control

因为在ubuntu系统中，有些文件不在预设的位置，所以我们需要编辑这个文件我们只需要改第14行就好了，修改/usr/bin/denyhosts.py为/usr/local/bin/denyhosts.py，修改后结果如下

 13 
 14 DENYHOSTS_BIN   = "/usr/local/bin/denyhosts.py"
 15 DENYHOSTS_LOCK  = "/var/lock/subsys/denyhosts"
 16 DENYHOSTS_CFG   = "/usr/share/denyhosts/denyhosts.cfg"
 17 
 18 PYTHON_BIN      = "/usr/bin/env python"
 19

5、运行

运行，额，错误一堆啊，我们执行sudo ./daemon-control start,然后得到如下错误

starting DenyHosts:    /usr/bin/env python /usr/local/bin/denyhosts.py --daemon --config=/usr/share/denyhosts/denyhosts.cfg
DenyHosts could not obtain lock (pid: )
[Errno 2] No such file or directory: '/var/lock/subsys/denyhosts'

我们可以去/var/lock下面的确看不到subsys这个文件夹，那我们就手动创建他

mkdir -p /var/lock/subsys

继续执行sudo ./daemon-control start，应该就会成功 ps：如果还不成功，他缺什么文件我们就用touch新建这个文件，如果说file exists,我们就删除那个文件

6、添加到开机启动

第一种是将DenyHosts作为类似apache、mysql一样的服务，这种方法可以通过 /etc/init.d/denyhosts 命令来控制其状态。方法如下：

cd /etc/init.d
ln -s /usr/share/denyhosts/daemon-control denyhosts
# 上面的操作就把他变成了一个服务 我们可以使用service denyhosts start来启动服务
# 下面把他添加到开机自启动，我们这里需要安装一个软件来实现
# ubuntu中没有chkconfig命令，网上的教程是用的chkconfig，具体操作查看后面的参考文献1，ubuntu中对应的是update-rc.d，但是不好用，所以我用sysv-rc-conf 
sudo apt-get install sysv-rc-conf
sudo sysv-rc-conf

我们设置运行级别2345，编辑以后如下所示按q，退出并保存

第二种是将Denyhosts直接加入rc.local中自动启动（类似于Windows中的“启动文件夹”）：

echo '/usr/share/denyhosts/daemon-control start' >> /etc/rc.local

参考文献

1 通过DenyHosts阻止SSH暴力攻击教程

2 /var/log/secure not present in 14.04 ,is there any alternative?

ubuntu下使用scrapy抓取cnblogs

Sun, 26 Apr 2015 16:52:28 +0000

今天在伯乐在线上看到一篇翻译的博客，讲的是使用scrapy来抓取stackoverflow上的问题，刚好好久没用这个，于是一并捡起来玩一下。

软件安装

我的环境是：ubuntu 14.04 lts 需要安装相关软件

scrapy

pip install Scrapy

PyMongo

pip install pymongo

Mongodb

上面安装的是python使用Mongodb的接口，很显然，我们要安装Mongodb才能使用

sudo apt-get install mongodb-server

至此，要使用的软件都已经安装完毕

使用scrapy新建工程

使用scrapy新建工程很简单，如下所示，我们新建一个stack的项目，他会在你的当前目录新建一个stack文件夹

scrapy startproject stack

并且会建成如下所示的目录树结构

chen@chen-P31:~$ tree stack
stack
├── stack
│   ├── __init__.py
│   ├── items.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       └── __init__.py
└── scrapy.cfg

接下来，我们修改items.py的内容，这个文件用于定义存储“容器”，用来存储将要抓取的数据。

from scrapy.item import Item,Field

class StackItem(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = Field()# 我们添加两个字段，我们等会儿会抓取一个标题和url两个字段
    url = Field()

接着，还有一个很重要的东西，对，就是我们的蜘蛛，我们在spider目录下，新建一个stack_spider.py文件。顾名思义，这就是我们的蜘蛛。我们需要定义我们爬虫的起点，爬虫的规则等等

from scrapy import Spider
from stack.items import StackItem  # 导入我们上面定义的容器类
class StackSpider(Spider):
    name = 'stack'   # 定义我们爬虫的名字
    allowed_domains = ["cnblogs.com"]   # 规定爬虫爬取的域名
    start_urls = ['http://www.cnblogs.com/geqianst/p/',]   # 爬虫工作的起点

    def parse(self, response):# 爬虫用来做数据解析的
        questions = response.xpath('//div[@id="myposts"]//a[@id]')
        # xpath选择器，这里的含义是取所有id为myposts的div，在它下面找所有带id的超链接a
        # 实际结果是这样的
        # [<Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_0" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_1" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_2" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_3" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_4" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_5" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_6" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_7" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_8" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_9" hr'>]
        #

        for question in questions:
            item = StackItem()
            item['title'] = question.xpath(
                'text()').extract()[0]
            item['url'] = question.xpath(
                '@href').extract()[0]
            print item
            yield item

测试

ok，上述工作基本完成，我们来测试一下

scrapy crawl stack

还可以这样测试一下，使用shell命令妈蛋，我的竟然出错了，输出如下

chen@chen-P31:~/stack$ scrapy crawl stack
2015-04-26 16:49:11+0800 [scrapy] INFO: Scrapy 0.24.6 started (bot: stack)
2015-04-26 16:49:11+0800 [scrapy] INFO: Optional features available: ssl, http11
2015-04-26 16:49:11+0800 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'stack.spiders', 'SPIDER_MODULES': ['stack.spiders'], 'BOT_NAME': 'stack'}
Traceback (most recent call last):
  File "/usr/local/bin/scrapy", line 11, in <module>
    sys.exit(execute())
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 143, in execute
    _run_print_help(parser, _run_command, cmd, args, opts)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 89, in _run_print_help
    func(*a, **kw)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 150, in _run_command
    cmd.run(args, opts)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/commands/crawl.py", line 60, in run
    self.crawler_process.start()
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 92, in start
    if self.start_crawling():
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 124, in start_crawling
    return self._start_crawler() is not None
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 139, in _start_crawler
    crawler.configure()
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 46, in configure
    self.extensions = ExtensionManager.from_crawler(self)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/middleware.py", line 50, in from_crawler
    return cls.from_settings(crawler.settings, crawler)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/middleware.py", line 29, in from_settings
    mwcls = load_object(clspath)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/utils/misc.py", line 42, in load_object
    raise ImportError("Error loading object '%s': %s" % (path, e))
ImportError: Error loading object 'scrapy.telnet.TelnetConsole': No module named conch

这是什么gui？还好我有stackoverflow，google一番，找到解决办法（其实这不是最后的解决办法，请往后看）网上说是twisted的问题，重新安装一下就好了，ok，走起

chen@chen-P31:~/stack$ sudo apt-get install twisted
Reading package lists... Done
Building dependency tree       
Reading state information... Done
E: Unable to locate package twisted
chen@chen-P31:~/stack$ sudo apt-get install twisted.conch
Reading package lists... Done
Building dependency tree       
Reading state information... Done
Note, selecting 'python-twisted-conch' for regex 'twisted.conch'
Note, selecting 'python2.7-twisted-conch' for regex 'twisted.conch'
Note, selecting 'python-twisted-conch' instead of 'python2.7-twisted-conch'
The following packages were automatically installed and are no longer required:
  cli-common dockmanager freepats gstreamer1.0-plugins-bad-faad
  gstreamer1.0-plugins-bad-videoparsers libbotan-1.10-0:i386 libcdaudio1
  libdbus-glib2.0-cil libdbus2.0-cil libdbusmenu-glib4:i386
  libdbusmenu-gtk4:i386 libegl1-mesa:i386 libegl1-mesa-drivers:i386 libflite1
  libfluidsynth1 libgbm1:i386 libgconf2.0-cil libgdiplus libgif4
  libgles2-mesa:i386 libglib2.0-cil libgme0 libgmp10:i386
  libgnome-desktop-2-17 libgnome-keyring1.0-cil libgnomedesktop2.20-cil
  libgstreamer-plugins-bad0.10-0 libgstreamer-plugins-bad1.0-0 libgtk2.0-cil
  libicu52:i386 libmimic0 libmms0 libmono-addins0.2-cil libmono-cairo4.0-cil
  libmono-corlib4.0-cil libmono-corlib4.5-cil libmono-data-tds4.0-cil
  libmono-i18n-west4.0-cil libmono-i18n4.0-cil libmono-posix4.0-cil
  libmono-security4.0-cil libmono-sharpzip4.84-cil libmono-sqlite4.0-cil
  libmono-system-configuration4.0-cil libmono-system-core4.0-cil
  libmono-system-data4.0-cil libmono-system-drawing4.0-cil
  libmono-system-enterpriseservices4.0-cil
  libmono-system-runtime-serialization-formatters-soap4.0-cil
  libmono-system-security4.0-cil libmono-system-transactions4.0-cil
  libmono-system-web-applicationservices4.0-cil
  libmono-system-web-services4.0-cil libmono-system-web4.0-cil
  libmono-system-xml-linq4.0-cil libmono-system-xml4.0-cil
  libmono-system4.0-cil libmono-web4.0-cil libmpg123-0 libnotify0.4-cil
  libofa0 libopenal-data libopenal1 libopenvg1-mesa:i386 libqrencode3:i386
  libqt5core5a:i386 libqt5dbus5:i386 libqt5gui5:i386 libqt5network5:i386
  libqt5widgets5:i386 libqtshadowsocks:i386 librsvg2-2.18-cil libslv2-9
  libsoundtouch0 libspandsp2 libsrtp0 libssl1.0.0:i386 libv4l-0:i386
  libv4lconvert0:i386 libvo-aacenc0 libvo-amrwbenc0 libwayland-client0:i386
  libwayland-egl1-mesa:i386 libwayland-server0:i386 libwildmidi-config
  libwildmidi1 libwnck2.20-cil libxcb-icccm4:i386 libxcb-image0:i386
  libxcb-keysyms1:i386 libxcb-randr0:i386 libxcb-render-util0:i386
  libxcb-shape0:i386 libxcb-util0:i386 libxcb-xfixes0:i386 libxcb-xkb1:i386
  libxkbcommon-x11-0:i386 libxkbcommon0:i386 libzbar0:i386 mono-4.0-gac
  mono-gac mono-runtime mono-runtime-common mono-runtime-sgen python-mpd
  python-mutagen python-twisted-names
Use 'apt-get autoremove' to remove them.
The following extra packages will be installed:
  python-pyasn1
The following NEW packages will be installed:
  python-pyasn1 python-twisted-conch
0 upgraded, 2 newly installed, 0 to remove and 6 not upgraded.
Need to get 286 kB of archives.
After this operation, 1,793 kB of additional disk space will be used.
Do you want to continue? [Y/n] 
Get:1 http://mirrors.ustc.edu.cn/ubuntu/ trusty/main python-pyasn1 all 0.1.7-1ubuntu2 [44.2 kB]
Get:2 http://mirrors.ustc.edu.cn/ubuntu/ trusty/main python-twisted-conch all 1:13.2.0-1ubuntu1 [242 kB]
Fetched 286 kB in 0s (1,595 kB/s)         
Selecting previously unselected package python-pyasn1.
(Reading database ... 359746 files and directories currently installed.)
Preparing to unpack .../python-pyasn1_0.1.7-1ubuntu2_all.deb ...
Unpacking python-pyasn1 (0.1.7-1ubuntu2) ...
Selecting previously unselected package python-twisted-conch.
Preparing to unpack .../python-twisted-conch_1%3a13.2.0-1ubuntu1_all.deb ...
Unpacking python-twisted-conch (1:13.2.0-1ubuntu1) ...
Processing triggers for doc-base (0.10.5) ...
Processing 1 added doc-base file...
Processing triggers for man-db (2.6.7.1-1ubuntu1) ...
Setting up python-pyasn1 (0.1.7-1ubuntu2) ...
Setting up python-twisted-conch (1:13.2.0-1ubuntu1) ...

安装总算完成，再试一次，妈蛋，又来一个新错误，这是什么gui？？？

chen@chen-P31:~/stack$ scrapy crawl stack
2015-04-26 16:50:44+0800 [scrapy] INFO: Scrapy 0.24.6 started (bot: stack)
2015-04-26 16:50:44+0800 [scrapy] INFO: Optional features available: ssl, http11
2015-04-26 16:50:44+0800 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'stack.spiders', 'SPIDER_MODULES': ['stack.spiders'], 'BOT_NAME': 'stack'}
Traceback (most recent call last):
  File "/usr/local/bin/scrapy", line 11, in <module>
    sys.exit(execute())
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 143, in execute
    _run_print_help(parser, _run_command, cmd, args, opts)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 89, in _run_print_help
    func(*a, **kw)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 150, in _run_command
    cmd.run(args, opts)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/commands/crawl.py", line 60, in run
    self.crawler_process.start()
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 92, in start
    if self.start_crawling():
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 124, in start_crawling
    return self._start_crawler() is not None
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 139, in _start_crawler
    crawler.configure()
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 46, in configure
    self.extensions = ExtensionManager.from_crawler(self)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/middleware.py", line 50, in from_crawler
    return cls.from_settings(crawler.settings, crawler)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/middleware.py", line 29, in from_settings
    mwcls = load_object(clspath)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/utils/misc.py", line 42, in load_object
    raise ImportError("Error loading object '%s': %s" % (path, e))
ImportError: Error loading object 'scrapy.contrib.memusage.MemoryUsage': No module named mail.smtp

最后的最后，我在我们万能的github上找到答案，原来是我们没有安装python-twisted，安装一下，世界都美好了

sudo apt-get install python-twisted

输出到文件

为了更直观的看到结果，我们将结果输出到一个json文件

scrapy crawl stack -o items.json -t json

噢耶，第一个爬虫成功

存储到mongodb

接下来，我们做最后一件事，我们将结果存储到mongodb的数据库中在这里，我遇到一个大坑，无论是伯乐在线翻译的博客还是网上搜索到的一般教程，都是使用pymongo.Connection来连接数据库，可是妈蛋，你使用pip install pymongo安装的版本都是最新版本3.0.1，那个Connection的写法已经不支持，被丢弃了，擦。我们来看一下版本，我学到一个新命令pip show pymongo，用来查看某一个包的版本的。在pymongo 3.0的版本中，已经不再支持pymongo.Connection，而是使用pymongo.MongoClient来替代。

第一步

创建一个用来保存我们抓取数据的数据库。打开settings.py,指定管道，然后加入数据库的相关设置


BOT_NAME = 'stack'

SPIDER_MODULES = ['stack.spiders']
NEWSPIDER_MODULE = 'stack.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
# USER_AGENT = 'stack (+http://www.yourdomain.com)'

ITEM_PIPELINES = ['stack.pipelines.MongoDBPipeline', ]
# 关于mongodb的相关设置，包括服务器的ip，端口号，数据库名，表名，
# 我也是第一次使用mongodb竟然不需要用户验证信息，而且这表名确实奇怪，叫做MONGODB_COLLECTION
MONGODB_SERVER = "localhost"
MONGODB_PORT = 27017
MONGODB_DB = "stackoverflow"
MONGODB_COLLECTION = "questions"

DOWNLOAD_DELAY = 5  # 抓取的延迟

第二步

我们已经能够爬取和解析html数据了，而且已经配置了数据库，接下来，我们通过pipelines.py中建立一个管道去连接这两个部分。我们首先来完成数据库的连接部分

import pymongo

from scrapy.conf import settings
from scrapy.exceptions import DropItem
from scrapy import log


class MongoDBPipeline(object):

    def __init__(self):
        connection = pymongo.MongoClient(
            settings['MONGODB_SERVER'],
            settings['MONGODB_PORT']
        )
        db = connection[settings['MONGODB_DB']]
        self.collection = db[settings['MONGODB_COLLECTION']]

接下来定义一个处理函数

    def process_item(self, item, spider):
        for data in item:
            if not data:
                raise DropItem("Missing data!")
        self.collection.update({'url': item['url']}, dict(item), upsert=True)
        log.msg("Question added to MongoDB database!",
                level=log.DEBUG, spider=spider)
        return item

ok,搞定，我们再测试一把

scrapy crawl stack

执行效果如下

参考文献

1 ImportError: Error loading object ‘scrapy.contrib.memusage.MemoryUsage’: No module named mail.smtp 2 http://stackoverflow.com/questions/8671071/error-to-execute-python-scrappy-module 3 Python下用Scrapy和MongoDB构建爬虫系统（1）

使用opencv实现人脸检测

Sun, 26 Apr 2015 12:54:24 +0000

这两个星期，都在搞这个，就把代码都分享一下，太烂，就不分享到github了。

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'
import cv2
import Image
import ImageDraw
import sys,os
def detectFaces(image_name):
    img = cv2.imread(image_name)
    face_cascade = cv2.CascadeClassifier('../data2/haarcascades/haarcascade_frontalface_alt.xml')# 加载级联分类器，这里使用的是intel训练出来的人脸识别分类器
    if img.ndim == 3:# 判断图片是否是灰度图像，如果img.ndim==3那就表示不是灰度图像
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 将图片转化为灰度图像
    else:
        gray = img

    faces = face_cascade.detectMultiScale(gray, scaleFactor=1.2, minNeighbors=4, minSize=(30, 30), flags = cv2.CASCADE_SCALE_IMAGE)# 核心操作，返回图片中所有的人脸的坐标和宽高度
    result = []
    for (x, y, width, height) in faces:
        print (x, y, width, height)
        result.append((x, y, x+width, y+height))# 将原始数据，转化为人脸的四个点的坐标
    return result

def drawFaces(image_name):
    faces = detectFaces(image_name)# 此处的返回值是一个元组，(x, y, width, height)，每一个元组都包括人脸的（x,y）坐标，还有人脸的宽度和高度，有这些数据，我们就可以把人脸标记出来，比如画一个矩形框出来
    print faces
    if faces:
        imga = cv2.imread(image_name)# 读取图片
        draw_rects(imga, faces, (0,255,0))# 画矩形标记
        cv2.imshow('img', imga)# 显示修改后的矩形
        cv2.waitKey(0)

def draw_rects(img, rects, color):
    for x1, y1, x2, y2 in rects:
        cv2.rectangle(img, (x1, y1), (x2, y2), color, 2)# 调用cv2的矩形函数，画矩形

def saveFaces(image_name):# 将人脸截取并保存成图片
    faces = detectFaces(image_name)
    if faces:
        save_dir = image_name.split('.')[0] + "_faces_"
        if not os.path.isdir(save_dir):# 检测目录是否存在，如果不存在那就创建目录
            os.mkdir(save_dir)
        count = 0
        for (x1, y1, x2, y2) in faces:
            imga = cv2.imread(image_name)
            file_name = os.path.join(save_dir,str(count)+".jpg")
            roi = imga[y1:y2,x1:x2]# 这一步是重点，他就像取一个数组一样，把人脸的部分保存出来
            cv2.imwrite(file_name,cv2.cvtColor(cv2.resize(roi,(92,112)), cv2.COLOR_BGR2GRAY))# 把图片的size重新设定维（92,112），并将图片转换为灰度图像
            # cv2.imshow('aaa',imga)


drawFaces('../at/chen.jpg')
saveFaces('../at/chen.jpg')

这里面的截取人脸并保存的saveFaces函数，我觉得还不错。网上找到的代码，调用了Image库，我的代码全部都是用cv2搞定的，没有用Image库。画矩形也是，我也都是用cv2自带的东西完成的。我用以上代码生成的数据，去进行人脸识别，惨不忍睹。

参考文献

1 Python-OpenCV人脸检测(代码) 2 python os.path模块常用方法详解

使用opencv实现人脸识别

Sun, 26 Apr 2015 10:50:00 +0000

最近搞了两个星期的opencv，人脸识别方向，感觉没有什么前途，看不到论文在哪里啊。

# !/usr/bin/env python
# -*- coding:utf-8-*-
import os
import sys
import cv2
import numpy as np

z = {} # 存储关于每张图片对应的lable
for_pre = []  # 存储用来进行测试的图片，规则是每个人10张图，5张用来训练，5张用来测试
def normalize(X, low, high, dtype=None):
    """对数据进行正常化处理，让其处于最高和最低值之间."""
    X = np.asarray(X)
    minX, maxX = np.min(X), np.max(X)
    # normalize to [0...1].
    X = X - float(minX)
    X = X / float((maxX - minX))
    # scale to [low...high].
    X = X * (high-low)
    X = X + low
    if dtype is None:
        return np.asarray(X)
    return np.asarray(X, dtype=dtype)


def read_images(path, sz=None):
    """从文件夹中读取图像，并且将其大小限制在一定范围之内

    参数:
        path: 图片的路径
        sz: 设定图像的大小以元组的形式，例如(92,112)

    返回值:
        返回一个list的数据[X,y]

            X: 一个numpy的数组，里面存储的是所有的图片的矩阵.
            y:一个list存储的，都是与X中图片对应的lable
    """
    c = 0
    X,y = [], []
    for dirname, dirnames, filenames in os.walk(path):
        for subdirname in dirnames:
            subject_path = os.path.join(dirname, subdirname)
            for filename in os.listdir(subject_path):
                try:
                    im = cv2.imread(os.path.join(subject_path, filename), cv2.IMREAD_GRAYSCALE)
                    # resize to given size (if given)
                    if (sz is not None):
                        im = cv2.resize(im, sz)
                    if y.count(c) > 4:
                        for_pre.append({'no':c,'src':np.asarray(im, dtype=np.uint8)})
                    else:
                        X.append(np.asarray(im, dtype=np.uint8))
                        y.append(c)
                    global z
                    z[os.path.join(subject_path, filename)] = c
                except IOError, (errno, strerror):
                    print "I/O error({0}): {1}".format(errno, strerror)
                except:
                    print "Unexpected error:", sys.exc_info()[0]
                    raise
            c = c+1
    return [X,y]

def prediction(model):
    """图像预测

    参数:
        model: 就是图片训练的那个model

    数据集中每个人存储了10张图片，我把其中的5张存储到for_pre，作为训练数据。用已知的lable和预测的lable作比较，得出图片识别正确的概率
    """
    tn = 0 # 识别正确的图片数
    for item in for_pre:
        [p_label, p_confidence] = model.predict(cv2.resize(item['src'],(92,112)))
        if p_label == item['no']:
            tn = tn+1
        else:
            print 'the answer is %d,' % item['no'],
            print "Predicted label = %d (confidence=%.2f)" % (p_label, p_confidence)

    print "总共有%d次预测，其中正确次数为%d" %(len(for_pre),tn)

if __name__ == "__main__":
    # This is where we write the images, if an output_dir is given
    # in command line:
    out_dir = None
    # You'll need at least a path to your image data, please see
    # the tutorial coming with this source code on how to prepare
    # your image data:
    if len(sys.argv) < 2:
        print "USAGE: face_rec.py </path/to/images> [</path/to/store/images/at>]"
        sys.exit()
    # Now read in the image data. This must be a valid path!
    [X,y] = read_images(sys.argv[1], (92, 112))
 
    # Convert labels to 32bit integers. This is a workaround for 64bit machines,
    # because the labels will truncated else. This will be fixed in code as
    # soon as possible, so Python users don't need to know about this.
    # Thanks to Leo Dirac for reporting:
    y = np.asarray(y, dtype=np.int32)
    # If a out_dir is given, set it:
    if len(sys.argv) == 3:
        out_dir = sys.argv[2]
    # Create the Eigenfaces model. We are going to use the default
    # parameters for this simple example, please read the documentation
    # for thresholding:
    model = cv2.createEigenFaceRecognizer()
    # Read
    # Learn the model. Remember our function returns Python lists,
    # so we use np.asarray to turn them into NumPy lists to make
    # the OpenCV wrapper happy:
    model.train(np.asarray(X), np.asarray(y))
    prediction(model) # 图片预测
    #
    #
    # You can see the available parameters with getParams():
    print model.getParams()
    # Now let's get some data:
    mean = model.getMat("mean")
    print out_dir + '/out.xml'
    f = open(out_dir + '/out.xml','w')
    model.save(out_dir + '/out.xml')
    eigenvectors = model.getMat("eigenvectors")
    # We'll save the mean, by first normalizing it:
    mean_norm = normalize(mean, 0, 255, dtype=np.uint8)
    mean_resized = mean_norm.reshape(X[0].shape)
    if out_dir is None:
        cv2.imshow("mean", mean_resized)
    else:
        cv2.imwrite("%s/mean.png" % (out_dir), mean_resized)
    # Turn the first (at most) 16 eigenvectors into grayscale
    # images. You could also use cv::normalize here, but sticking
    # to NumPy is much easier for now.
    # Note: eigenvectors are stored by column:
    # for i in xrange(min(len(X), 16)):
    #     eigenvector_i = eigenvectors[:,i].reshape(X[0].shape)
    #     eigenvector_i_norm = normalize(eigenvector_i, 0, 255, dtype=np.uint8)
    #     # Show or save the images:
    #     if out_dir is None:
    #         cv2.imshow("%s/eigenface_%d" % (out_dir,i), eigenvector_i_norm)
    #     else:
    #         cv2.imwrite("%s/eigenface_%d.png" % (out_dir,i), eigenvector_i_norm)
    # Show the images:
    print z
    if out_dir is None:
        cv2.waitKey(0)

代码执行效果如下我在这里输出的是那些预测错误的。总共有200次预测，其中正确次数为186。这预测率有点低啊，我用的数据都是来自于 AT&T Facedatabase。一共40个人，每个人10张图，图片宽高是92*112像素，全部是灰度图像。至于如何提高图片识别的效率，我也不知道。

参考文献

1 http://docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html 2 python调用opencv实现人脸识别

blog2markdown程序打包,csdn爬虫

Sun, 29 Mar 2015 22:08:22 +0000

项目地址https://github.com/Jackroyal/blog2markdown.git

用来实现普通blog到markdown的搬家，自动将blog的html转换成HEXO可用的Markdown格式暂时只做了CSDN

UPDATE:

2015-03-29 添加了打包成exe的程序,修复cmd下乱码,win和ubuntu完美运行 2015-03-29 连夜修复了在win下乱码的问题,删除了冗余代码 2015-03-28 将某些参数改为从配置文件中读取,加入更多异常判断 2014-12-15 优化标签解析功能,添加了标题,tag和category 2014-12-13 实现解析功能,基本完成解析功能 2014-12-10 实现CSDN的抓取，正在实现parse解析过程

BUG

如果代码中有# 和*会被转义成\#和\* 对table的支持不好

依赖库

爬虫使用了beautifulsoup 4.3.2 点我点我你必须安装这个才可以正常使用 PS:我打包了exe点此下载,可以什么不装,改完配置文件,直接运行

使用:

# 首先,编辑配置文件`spider.conf`

格式如下:

[blog]
# 此处url不需要单引号或者双引号,不然类型识别错误,网址最后不要/
url=http://blog.csdn.net/jackroyal
[setting]
wait_time=5

这里的url地址注意不要加引号,下面的wait_time是指两次抓取的间隔时间,这是为了安全起见,如果高频访问,可能会被封,我设置的5秒,你可以根据自己需要去设置

打包

我打包了一个exe程序,放在github项目的dist目录下,在windows系统中,直接下载,运行

PS:由于pyInstaller的问题,导致无法在中文路径下正常运行

比如你放在C:/users/张三/spider.exe 这样是无法正常运行的所以应该放在全英文的目录下 C:/software/spider.exe 运行结果如图

源码执行

如果你对我的exe不放心,可以自己执行python源码

# 执行

在linux下,首先要给予执行权限

chmod a+x spider.py ParseBlog.py
python spider.py

然后就可以了,输出文件在output文件夹

在win下,经过修复也可以正常运行了,在idle(在win中你安装了python2.7的话就会有这个编辑器)中是可以完全正常的显示中文~~~~,在系统自带的cmd里中文显示会有问题,因为cmd中的编码默认是GBK,我程序基本都是utf-8,如果要在cmd显示正常,显示的代码都要加个str.encode(‘utf-8’)才行. 不过抓取是没有问题的,此处就不纠结了哈,能用就好~~~~

# 在win下,没有权限的问题,直接执行就好了
python spider.py

hexo发布失败

Sun, 29 Mar 2015 18:09:28 +0000

可能受到上次ddos的问题,这两天国内访问github,总是感觉不顺畅.

今天下午写了一篇博客,可是却发布不成功,一直卡在这一步:

然后我继续等,得到如下错误:

hexo Failed to receive SOCKS4 connect request ack.

我执行了hexo clean命令,手动删掉了.deploy文件夹,可是还是不行最后报错无法连接https://github.com/Jackroyal/Jackroyal.github.io.git

(ps:此处已经无法重现了,抽风啊)

最后我换了下这条链接我修改了博客目录下的_config.yml,改了deploy参数原参数设置

deploy:
  type: github
  repo: https://github.com/Jackroyal/Jackroyal.github.io.git
  branch: master

修改以后:

deploy:
  type: github
  repo: git@github.com:Jackroyal/Jackroyal.github.io.git
  branch: master

然后就deploy成功了.

PPPS:千万注意,上面的参数设置repo:后面有一个空格,没有空格会报错

update:

repo的两种方式分别为ssh和https 昨天没搞清楚,专门去查了一下,ssh和https两种提交的区别官方推荐用https,因为这回要求你输入用户名和密码,这样更安全用ssh的话,只要你的ssh-key(可以设置一道类似密码的东西,和你的key一起加密,这样使用的时候会要求输入这段密码)对,那么就都可以提交,没有了更多的验证过程(可以设置一个para加密,提交会要求输入这段para)

2015-05-06 最近又发现，使用ssh提交的话，github不会计算到你的conribute里面去，也就是你今天提交了，但是github的contribute不会变化，所以还是改成https吧，不然怎么装B呢？

友情链接

ubuntu shadowsocks 全局代理

python学习笔记--python和beautifulsoup遇到的编码问题

Sun, 29 Mar 2015 14:43:45 +0000

在刚开始使用github pages的时候,我用python写了一个爬虫,计划是从csdn和cnblogs等博客网站上,把自己之前写的博客爬取下来,然后再转换成hexo用的markdown格式,样就可以直接添加到我的github pages.

项目主页: https://github.com/Jackroyal/blog2markdown

最近刚好在学习python,刚好就把它给优化了一下,顺便做了个跨平台(哈哈,win和ubuntu都可以跑哈),昨天遇到很蛋疼的问题,一它给了我很多思路帮助我定位问题,.直搞到凌晨两点才弄好. 非常非常感谢【总结】Python 2.x中常见字符编码和解码方面的错误及其解决办法作者做了一个很好的总结,帮助我们定位问题.

1 编码类型

首先确定好你的编码类型,比如一般推荐用utf-8.当确定编码类型后,就要保持统一,不要又弄些GBK的编码在里面.

1.1 编辑器编码
- 我们有时候会犯一个错误,我在py文件的头部声明当前文件是按照utf-8来编码.但是文件实际保存的编却不是utf-8,这样也会导致乱码.建议使用可以查看当前文件编码的编辑器,比如sublime text或者notepad++ 或者pycharm.在sublime下如图所示
- 文件编码声明,我们要在py文件的头部添加一行# -*- coding: utf-8 -*-,表明我接下来要使用utf-8编码
1.2 python解释器
- 如果是Python的IDLE，如果你没修改defaultencoding，那么就使用默认的字符编码可以通过sys.getdefaultencoding()而获得，比如此处获得是：ascii
1.3 执行python代码
- 其中，很常见的几种动作是：
  - 打印print对应的所获得的字符
    - 对于字符串打印,Python的逻辑:
      - 如果是Unicode字符串,则可以,自动地,编码为对应的终端所用编码,然后正确的显示出来
      - 比如unicode的字符串,输出到windows的默认编码为GBK的cmd中,则Python可以自动将Unicode编码为GBK,然后输出到cmd中
      - 个别特殊情况,也会出错:
        
        当此unicode字符串中包含某特殊字符,而目标终端的编码集合中,没有此字符,则很明显也是无法实现将Unicode编码为对应的特定编码的字符串,无法正确显示的
      - 如果是某种编码类型的str,则需要该str的编码类型,和目标终端编码匹配
        
        比如GBK的字符串,输出到windows的默认编码为GBK的cmd,则是可以正常输出的
        
        此处后来经过代码测试，就发现一个有趣或者说诡异的问题，虽然我们python文件声明的UTF-8编码，但是实际上实际上是用GBK编码，而此时，文件中的字符串，很明显是用GBK存储的，所以，将此GBK字符，输出到GBK的cmd中，是可以正常输出的。即，此处字符串的类型，很明显只和文件所用的实际编码有关，而和文件所声明的代码无关。
      - 如果是UTF-8的字符串,输出到windows的默认编码为GBK的cmd,就会出错
        
        对相应的字符，进行编码（为某种特定类型的字符str），或解码（为对应的unicode类型的字符）
        
        比如将当前的某种编码的字符串，解码为Unicode字符串
        
        很明显，也是要保证，你字符串本身的编码和所指定的编码，两者之间要一致的
        
        比如：decodedUnicode = someUtf8Str.decode(“UTF-8”)
        
        而如果用这样的：decodedUnicode = someGbkStr.decode(“UTF-8”)，那就会出现错误

2 常用方法

2.1 encode和decode

encode() unicode编码->其他编码

decode() 其他编码->unicode编码

使用这两个方法的前提是,你要知道当前是什么编码.然后用对应的编码去进行解码比如对于s字符串可以用

s.encode('utf-8') # 将s由unicode转码成utf-8
s.decode('GBK') # s是GBK编码,将s转换成unicode

2.2 isinstance()

isinstance(s , unicode) # 检测s是否是unicode编码

isinstance(s , str) # 检测s是否是str格式

3 beautifulsoup编码问题

Beautiful Soup 会按顺序尝试不同的编码将你的文档转换为Unicode：

可以通过from_encoding参数传递编码类型给soup的构造器
通过文档本身找到编码类型：例如XML的声明或者HTML文档http-equiv的META标签。
如果Beautiful Soup在文档中发现编码类型，它试着使用找到的类型转换文档。 +
但是，如果你明显的指定一个编码类型，
并且成功使用了编码：这时它会忽略任何它在文档中发现的编码类型。
通过嗅探文件开头的一下数据，判断编码。如果编码类型可以被检测到，
它将是这些中的一个：UTF-*编码，EBCDIC或者ASCII。
通过chardet库,嗅探编码，如果你安装了这个库。
UTF-8
Windows-1252

一般来说,bs的自动识别,是不会有问题的,但是在我这里除了问题,具体原因不太清楚我的网页上已经声明了是utf-8编码原来代码如下

# 这是原来的编码,在win下面乱码
self.soup = bs((response.read()))
print self.soup.originalEncoding   # 此处结果竟然返回Windows-1252

修改后代码如下

# win下乱码的关键在这里,beautifulsoup解析的编码不对,我们这里直接指定编码
self.soup = bs((response.read()), from_encoding='utf-8')
print self.soup.originalEncoding   # 修正后代码正确返回'utf-8'

看来beautifulsoup的自动识别编码不能全部依赖. 好不容易才定位到这里的问题,折腾了一天啊这里用了一个方法来检测编码.就是soup.iriginalEncoding属性

print self.soup.originalEncoding   # 修正后代码正确返回'utf-8'

这篇博客好水,毕竟不是很懂,所以说不出来

update:2015-03-30

4 新技能get

之前都没好好理解原作者的博客,觉得没办法一个程序在win和ubuntu中不更改正常运行,现在发现,如果把编码改为unicode格式输出,那么系统会自动转换,这样就不存在utf-8编码在windows下cmd乱码了.

参考文献

1 【总结】Python 2.x中常见字符编码和解码方面的错误及其解决办法 2 【已解决】python中文字符乱码（GB2312，GBK，GB18030相关的问题）参考资料太多,贴不过来啊,主要都是cifan的博客,里面资料很多,一步一步都有过程,非常好用,谢谢cifan作者

python学习笔记--一个简单聊天室的实现

Thu, 26 Mar 2015 21:33:35 +0000

最近项目真多,一个接一个的失之交臂,全部都错过了.最近状态有些不好,容易胡思乱想. 这是来自书上的一个python聊天程序,我照着敲了一遍,然后给扩展了一下,加了多个房间和创建选择房间的功能,写了好久好久,感觉都拖了一个星期了. 下一步是做一个gui,恩,那将是我的第一个gui程序.

先贴一下代码 server5.py

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'

from asyncore import  dispatcher
from  asynchat import async_chat
import socket,asyncore

PORT = 5005  # 设定程序的端口号
NAME = 'testchat'  # 给服务器一个名称

class EndSession(Exception):pass

class CommandHandler:
    """
    类似标准库中cmd.Cmd的简单命令处理程序
    """
    # 如果输入的命令,那么就返回unknown命令
    def unknown(self, session, cmd):
        session.push('Unknown command: %s \r\n' % cmd)
    
    def handle(self, session, line):
        if not line.strip():
            return
        parts = line.split(' ', 1)
        cmd = parts[0]
        try:
            line = parts[1].strip()
        except IndexError:line = ''
        meth = getattr(self, 'do_' + cmd, None)
        try:
            meth(session, line)
        except TypeError:
            self.unknown(session, cmd)
# 这个类是聊天房间的类,继承上面的类是为了继承执行命令的功能
class ChatRoom(CommandHandler):
    def __init__(self, name, server):
        self.server = server
        self.name = name
        self.sessions = []

    def add(self, session):
        self.broadcast(session.name + ' has entered the room %s\r\n' % self.name)
        session.push('you can type "h" for help\r\n')
        ## 因为后面要将用户挪动房间,所以必须保存每个用户的session,这样才能挪动和删除
        self.server.users[session.name] = session
        self.sessions.append(session)

    def remove(self, session):
        try:
            self.sessions.remove(session)
        except: pass # 如果此处的sessions为空或者已经不存在,会出错,此处不上报

    def broadcast(self, line):
        # 广播,只广播到当前房间
        for session in self.sessions:
            session.push(line)

    def do_say(self, session, line):
        # 说话
        self.broadcast(session.name + ":" + line + '\r\n')

    def do_login(self, session, line):
        # login,其实是实现改名字的功能,懒得去改函数名了
        name = line.strip()
        if not name:
            session.push('please enter a name\r\n')
        elif name in self.server.users.keys():
            session.push('The name %s is taken\r\n' % name)
            session.push('please try again\r\n')
        else:
            session.server.users[name] = session.server.users.pop(session.name)
            session.name = name
            session.enter(self)
            self.do_list(session, '')
            session.push('type "select name" to choose one room\r\n')
    # 查看当前房间有哪些人
    def do_look(self, session, line):
        session.push('the following are in this room:\r\n')
        for other in self.sessions:
            session.push(other.name + "\r\n")
    # 查看当前在线的用户,所有房间的用户
    def do_who(self, session, line):
        session.push('the following are logged in:\r\n')
        for name in self.server.users:
            session.push(name + '\r\n')
    # 查看当前所有的房间
    def do_list(self, session, line):
        session.push('the room list is below\r\n')
        session.push('   '.join(self.server.rooms) + '\r\n')
    # 选择房间
    def do_select(self, session, line):
        name = line.strip()
        if not name:
            session.push('please enter a room name\r\n')
        elif name in self.server.rooms.keys():
            session.enter(self.server.rooms[name])
            self.broadcast(' %s ,welcome to join %s\r\n'% (session.name, name))
    # 输出帮助
    def do_h(self, session, line):
        session.push('you can use this commands:\r\n1,who to see who is on this server(online and offline)\r\n2,'
        'list to see how many room are avaliable\r\n3,look to see who are in this room\r\n4,login to login online and '
        'change a name\r\n5,create to create a new room')
    # 创建新房间
    def do_create(self, session, line):
        name = line.strip()
        if not name:
            session.push('please enter a name\r\n')
        elif name in self.server.rooms.keys():
            session.push('The room name %s is taken\r\n' % name)
            session.push('please try again\r\n')
        else:
            ChatRoom(name, self.server)
            session.server.rooms[name] = ChatRoom(name, self.server)
            session.push("the room %s create successful\r\n" % name)
            session.enter(session.server.rooms[name])
# 每个用户回话,这个是重点类
class ChatSession(async_chat):
    def __init__(self, server, sock):
        async_chat.__init__(self, sock)
        self.server = server
        self.set_terminator('\r\n')
        self.data = []
        self.name = 'visitor' + str(len(server.users))# 初始化用户名,用visitor1之类来表示
        self.room = self.server.main_room
        self.enter(self.server.main_room)

    def enter(self, room):
        try:
            cur = self.room
        except AttributeError: pass
        else: cur.remove(self)
        self.room = room
        room.add(self)
    # 当用户有输入的时候
    def collect_incoming_data(self, data):
        self.data.append(data)
    # 当用户输入终止符的时候
    def found_terminator(self):
        line = ''.join(self.data)
        self.data = []
        try:
            self.room.handle(self, line)
        except EndSession:
            self.handle_close()
    # 关闭用户回话
    def handle_close(self):
        async_chat.handle_close(self)
        # self.enter()

# 服务器类,这个也是重点类
class ChatServer(dispatcher):
    def __init__(self, port, name):
        dispatcher.__init__(self)
        self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
        # 端口复用
        self.set_reuse_addr()
        self.bind(('', port))
        self.listen(5)
        self.sessions = {}
        self.name = name
        self.users = {}
        self.rooms = {}
        # 新建一个房间hall,因为每个初始登陆的用户没有房间,但是操作是依赖与ChatRoom类的,所以给一个初始默认的房间
        self.main_room = ChatRoom('hall', self)
        self.rooms[self.main_room.name] = self.main_room

    def handle_accept(self):
        conn,addr = self.accept()
        ChatSession(self, conn)
        print 'connection attempt from ', addr[0]

if __name__ == "__main__":
    print 'server start'
    s = ChatServer(PORT, NAME)
    try:
        asyncore.loop()
    except KeyboardInterrupt: print

效果如图所示

python学习笔记--socket编程端口复用

Wed, 18 Mar 2015 08:47:02 +0000

最近在学习socket编程,遇到一个问题: 我先bind一个端口后,如果通过ctr+c关闭进程.接下来执行程序的时候,就会提示socket.error: Address already in use.

照例google一番,找到这个.博主说的情况和我的一样. 我还在stackoverflow上找到这个. 修改后代码如下:

    server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 下面这行是关健
    server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    server_socket.bind(('', PORT))
    server_socket.listen(5)

然后就搞定了.

下面的代码是socket编程敲得两个小例子,基于socket的聊天小程序都是别人的东西,只是练习一下,源地址在本文最后.

多线程版本服务器端程序server2.py

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'


import socket,sys
from thread import *

HOST = ''
PORT = 8888

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
print 'socket created'

try:
    s.bind((HOST, PORT))
except socket.error, msg:
    print 'bind failed.Error code: |||%S Message: %s' %(str(msg[0]), msg[1])
    sys.exit()


print 'socket bind complete'

s.listen(10)
print 'socket now listening'

def clientthread(conn):
    conn.send('welcome to the server.Type something and hit enter\n')

    while True:
        data = conn.recv(1024)
        reply = 'ok...' + data
        if not data:
            break
        conn.sendall(reply)
    conn.close()

while 1:
    conn, addr = s.accept()
    print 'connected with %s : %s' %(addr[0],str(addr[1]))

    start_new_thread(clientthread, (conn,))

s.close()

直接telnet连接socket,就可以调试

telnet localhost 8888

改良版,带广播的聊天室程序server3.py

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'

import socket, select

def broadcast_data(sock, message):
    for socket in CONNECTION_LIST:
        if socket != server_socket != sock:
            try:
                socket.send(message)
            except msg:
                socket.close()
                CONNECTION_LIST.remove(socket)

if __name__ == "__main__":
    CONNECTION_LIST = []
    RECV_BUFFER = 4096
    PORT = 5000
    server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    server_socket.bind(('', PORT))
    server_socket.listen(5)

    CONNECTION_LIST.append(server_socket)
    print "chat server started on port %s" % str(PORT)

    while 1:
        read_sockets, write_sockets,error_sockets = select.select(CONNECTION_LIST, [], [])

        for sock in read_sockets:
            if sock == server_socket:
                sockfd,addr = server_socket.accept()
                CONNECTION_LIST.append(sockfd)
                print "client (%s, %s) connected" % addr

                broadcast_data(sockfd, "[%s:%s] entered room\n" % addr)

            else:
                try:
                    data = sock.recv(RECV_BUFFER)
                    if data:
                        print  "[%s:%s]" % (str(sock.getpeername()), data)
                        broadcast_data(sock, "[%s:%s]" % (str(sock.getpeername()), data))
                except msg:
                    print msg
                    broadcast_data(sock, "client (%s, %s) is offline "% addr)
                    print "client (%s,%s) is offline " % addr
                    sock.close()
                    CONNECTION_LIST.remove(sock)
                    continue
    server_socket.close()

客户端程序client3.py

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'

import socket,select,string,sys

def prompt():
    sys.stdout.write('[you]')
    sys.stdout.flush()

if __name__ == "__main__":
    if(len(sys.argv)<3):
        print 'usage: python client3.py hostname port'
        sys.exit()

    host = sys.argv[1]
    port = int(sys.argv[2])

    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.settimeout(2)

    try:
        s.connect((host, port))
    except:
        print 'unable to connect'
        sys.exit()

    print 'connected to remote host. start sending messages'
    prompt()

    while 1:
        rlist = [sys.stdin, s]

        read_list, write_list, error_list = select.select(rlist, [], [])

        for sock in read_list:
            if sock == s:
                data = sock.recv(4096)
                if not data:
                    print '\nDisconnected from chat server'
                    sys.exit()
                else:
                    sys.stdout.write(data)
                    prompt()

            else:
                msg = sys.stdin.readline()
                s.send(msg)
                prompt()

参考文献

1 Python Socket 网络编程 2 Python Socket 编程——聊天室示例程序

shadowsocks的安装和配置--在ubuntu和ubuntu中

Mon, 09 Mar 2015 22:26:21 +0000

最近我的vpn一直在抽风，几乎没法正常使用，而且我的chrome也是各种花屏，我快疯了，没办法，只能改用shadowsocks了。搭建过程分为两部分:服务端和客户端(这里是主要是ubuntu的客户端)。

1 系统环境

服务器:DigitalOcean上的Ubuntu 14.04 LTS 客户端:Ubuntu 14.04 LTS

2 服务器端安装和配置

这里主要是参考github的官方说明通过ssh登陆的服务器上去,这里不在赘述如何登陆. 以下主要针对linux服务器,windows服务器查看这里

安装

Linux不同的发行版本执行的命令如下

Debian / Ubuntu:

apt-get install python-pip
pip install shadowsocks

CentOS:

yum install python-setuptools && easy_install pip
pip install shadowsocks

配置

sudo vi /etc/shadowsocks.json

配置文件的内容大致如下:

{
    "server":"你的服务器的ip",
    "server_port":8388,
    "local_address": "127.0.0.1",
    "local_port":1080,
    "password":"你设置的密码",
    "timeout":300,
    "method":"aes-256-cfb",
    "fast_open": false
}

参数名称解释 server 安装shadowsocks服务器ip server_port 服务器端口号 local_address 本地服务器默认是127.0.0.1 local_port 本地监听的端口号 password 密码 timeout 超时时间,单位是秒 method 加密方法默认是: “aes-256-cfb"可以用其他加密方法 fast_open 是否使用TCP_FASTOPEN,默认为不使用 workers number of workers, available on Unix/Linux

运行

前台运行的命令 ssserver -c /etc/shadowsocks.json 后台运行 ssserver -c /etc/shadowsocks.json -d start ssserver -c /etc/shadowsocks.json -d stop ps:我上述两条命令都会出错,这两条命令来自官方的github,我用的是下面的 nohup ssserver -c /etc/shadowsocks.json > aa.log

开机自启

我们把它写入/etc/rc.local中就可以完成开机自启动了.

sudo vi /etc/rc.local  # 打开rc.local文件
# 然后在exit前面加入下面这一行
# nohup /usr/local/bin/ssserver -c /etc/shadowsocks.json > aa.log

ps:这里我之前犯了一个错误,没有写ssserver的绝对路径,导致开机无法自启动,但是手动执行的话,又是可以执行的

3 客户端的安装和配置

客户端按理说和服务器端类似,安装shadowsocks,但是我的就是这个出了问题.

1) 安装相关软件

shadowsocks有各种客户端版本,各个系统都有.在ubuntu下带图形化界面的有shadowsocks-qt5,还可以直接用命令行.

图形化:

sudo add-apt-repository ppa:hzwhuang/ss-qt5
sudo apt-get update
sudo apt-get install shadowsocks-qt5

*PS:*我的电脑安装这个以后,会自动卸载我的chrome *PPS:*我刚才又试了一次,我在安装了命令行模式的shadowsocks以后,现在不会卸载我的chrome,总算正常了

The following extra packages will be installed:
  libbotan-1.10-0 libqrencode3 libqtshadowsocks libzbar0
The following packages will be REMOVED:
  libbotan-1.10-0:i386 libqtshadowsocks:i386 libzbar0:i386
The following NEW packages will be installed:
  libbotan-1.10-0 libqrencode3 libqtshadowsocks libzbar0 shadowsocks-qt5
0 upgraded, 5 newly installed, 3 to remove and 19 not upgraded.
Need to get 1,280 kB of archives.
After this operation, 662 kB of additional disk space will be used.
Do you want to continue? [Y/n]

命令行模式:

sudo apt-get install python-pip python-dev build-essential 
sudo pip install  pip
sudo apt-get install python-m2crypto
sudo pip install shadowsocks

我因为之前在环境中就安装过pip,所以我只需要执行倒数第三个和第四个命令. 但是我的倒数第四个命令pip install shadowsocks一直报错:

Exception: Traceback (most recent call last):
File "/usr/lib/python2.7/dist-packages/pip/basecommand.py", line 122, in main
  status = self.run(options, args)
File "/usr/lib/python2.7/dist-packages/pip/commands/install.py", line 278, in run
  requirement_set.prepare_files(finder, force_root_egg_info=self.bundle, bundle=self.bundle) 
File "/usr/lib/python2.7/dist-packages/pip/req.py", line 1177, in prepare_files 
  url = finder.find_requirement(req_to_install, upgrade=self.upgrade) 
File "/usr/lib/python2.7/dist-packages/pip/index.py", line 256, in find_requirement
  page_versions.extend(self._package_versions(page.links, req.name.lower())) 
File "/usr/lib/python2.7/dist-packages/pip/index.py", line 432, in _package_versions 
  for link in self._sort_links(links): 
File "/usr/lib/python2.7/dist-packages/pip/index.py", line 422, in _sort_links 
  for link in links: 
File "/usr/lib/python2.7/dist-packages/pip/index.py", line 769, in links 
  for anchor in self.parsed.findall(".//a"):
AttributeError: 'Document' object has no attribute 'findall'

Storing debug log for failure in /root/.pip/pip.log

网上搜索一番,在这里找到答案. 解决方法很简单,执行easy_install pip,就ok(貌似是把pip重新安装了一次).

2) 客户端运行

shadowsocks图形化的比较简单,这里不表. 命令行模式,启动如下:

sslocal -s 服务器ip -p 8388 -k 密码

启动成功后会有如下输出:

2015-03-10 11:12:59 INFO     loading libcrypto from libcrypto.so.1.0.0
2015-03-10 11:12:59 INFO     starting local at 127.0.0.1:1080

3) 浏览器代理设置

一般来说我们不希望shadowsocks做全局的翻墙,那样,访问国内的速度也会变慢,我们在chome浏览器中安装switchysharp,来管理代理.具体设置如下所示:

enjoy it!

后记

安卓客户端安装,点我点我

参考文献

1 这是一篇好博客 http://mushapi.com/shadowsocks-install-config-using.html 2 shadowsocks使用说明 3 修复我pip问题的一个issue

致谢

这个网站可以下载google play的apk,对于我等天朝良民来说,可真是个好东西 https://apps.evozi.com/apk-downloader/?id=com.github.shadowsocks

我们家笨笨的博客弄好了,欢迎访问

kali安装后设置

Wed, 04 Mar 2015 14:14:57 +0000

kali安装好了，还有几件事要做我们用root的身份登进去系统

1 更新软件源

官方自带的软件源速度相对比较慢，资源也少一些，我们添加一些国内的源进去 vi /etc/apt/sources.list （可自由选择，不一定要全部）：

# 官方源
deb http://http.kali.org/kali kali main non-free contrib
deb-src http://http.kali.org/kali kali main non-free contrib
deb http://security.kali.org/kali-security kali/updates main contrib non-free

# 激进源，新手不推荐使用这个软件源
deb http://repo.kali.org/kali kali-bleeding-edge main
deb-src http://repo.kali.org/kali kali-bleeding-edge main

# 中科大kali源
deb http://mirrors.ustc.edu.cn/kali kali main non-free contrib
deb-src http://mirrors.ustc.edu.cn/kali kali main non-free contrib
deb http://mirrors.ustc.edu.cn/kali-security kali/updates main contrib non-free

# 阿里云kali源
deb http://mirrors.aliyun.com/kali kali main non-free contrib
deb-src http://mirrors.aliyun.com/kali kali main non-free contrib
deb http://mirrors.aliyun.com/kali-security kali/updates main contrib non-free

保存之后运行： apt-get update # 刷新系统 apt-get dist-upgrade # 安装更新

2 安装中文输入法和字体

安装字体 apt-get install ttf-wqy-microhei ttf-wqy-zenhei 执行以下命令 apt-get install fcitx fcitx-googlepinyin

3 安装vpn

kali默认情况下vpn是无法使用的，需要安装相关组件

apt-get install network-manager-openvpn
apt-get install network-manager-openvpn-gnome
apt-get install network-manager-pptp
apt-get install network-manager-pptp-gnome
apt-get install network-manager-strongswan
apt-get install network-manager-vpnc
apt-get install network-manager-vpnc-gnome
/etc/init.d/network-manager restart

4 网卡管理显示“device not managed”

vi /etc/NetworkManager/NetworkManager.conf 修改managed=false为managed=true 然后重启网络管理 service network-manager restart

5 安装chrome浏览器

apt-get install google-chrome-unstable

kali和ubuntu双系统安装

Tue, 03 Mar 2015 21:17:41 +0000

时间忽快忽慢，一转眼，年过完了，又回来学校了，又一个多月没有push了，重新回到github。今天我们家笨笨给我找了点kali的资料，索性就把kali捡起来，第一步安装kali的系统。此处背景不再介绍，直奔主题。kali的安装过程和ubuntu的安装过程类似，应该说原理上是一模一样的，只是界面有些不同。我的电脑当前已经安装了win8和ubuntu，现在需要再加一个kali的系统，三系统共存。大体分为如下几个步骤：

1 下载kali镜像

2 刻录u盘

3 安装kali

1 下载kali镜像

这步很简单，我们去kali的官网下载https://www.kali.org/downloads/,下载对应的版本。我这里下载的是第一个64位版本（http://cdimage.kali.org/kali-1.1.0/kali-linux-1.1.0-amd64.iso）,因为是在ubuntu下，我们可以顺手校验一下文件的hash值，防止文件损坏。在终端中输入 sha1sum /home/chen/kali-linux-1.1.0-amd64.iso 查看输出是否是40a1fd1d4864e7fac70438a1bf2095c8c1a4e764，若正确，则第一步完成。

2 刻录u盘

如果采用硬盘安装的话，我们需要在win下面操作，使用easybcd来编辑grub引导，还需要解压文件，相对比较麻烦，我这里采用u盘安装，相对比较简单。和安装ubuntu不同，我之前在win下用UltraISO来刻录, 如图所示，便捷启动是可以不修改的，直接默认，点击写入就行。我今天在刻录kali的时候，发现这样写的u盘无法启动，开机的时候会提示failed to boot from USB disk with error: gfxboot.c32: not a COM32R Image boot:的错误。解决方法有两个 1 linux的用mkusb，windows的用Win32DiskImager 来制作U盘启动具体用法： https://wiki.ubuntu.com/Win32DiskImager/iso2usb https://help.ubuntu.com/community/mkusb 2 在win下用UltraISO来刻录，记得更改便捷启动的设置，如图所示，点击便捷启动->选择写入新的启动器引导扇区——>syslinus——>写入

我采用的是法一，我在ubuntu中用mkusb来刻录

3 安装kali

下面开始安装kali（以下图片是我用virtualbox虚拟机中安装拍摄的）

1 引导成功以后，开机画面如图所示

我们选择Graphical install,图形化安装，也可以选择install那是文字界面安装

2 选择语言，地区

语言：选择 chinese（simplified）简体中文 地区：选择 中国

3 配置网络名称和domain

这个代表你的电脑在网络上的名称，比如win默认的就是pc-2000123131，也就是别人在网上邻居中看到你的电脑的名称。我们就用默认的localhost domain我们留空不管他，下一步

4 设置root密码

我们设置两次一样的密码就行，不要忘记了

5 磁盘分区

我们选择第三项手动 分区，这里我们一共分三个区，一个300M的/boot分区，一个2048M的swap分区，其他的分为一个/（你也可以把/home单独分区出来），因为分区方法类似，所以我只讲一个/boot和swap分区的步骤 boot分区 注意:选择可启动标志，我们只有/boot设置为开，其他分区的这个选项都是关 设置完成后，选择分区设定结束，点击继续

交换空间 注意:交换空间是一种文件类型，其他的分区是属于载点 设置完成后，选择分区设定结束，点击继续

等分区完成，就选择分区设定结束并将修改写入磁盘，点击继续，就开始安装kali

6 启动引导

当系统快安装完成的时候，会出现grub安装的选择,如图所示

因为我的系统是win8和ubuntu和kali多系统共存，当前是由win来引导（当前系统由谁引导就看开机看到的第一个系统选择是谁的，如果是红色的ubuntu选项，那就说明由ubuntu引导）。我这里选择否的话，那么我就需要去win里面手动添加kali的引导（使用easybcd来操作）。如果你是ubuntu来引导系统的话，一样需要手动去添加kali的引导（这里我还不会）。所以我选择是，这样装完三个系统都可以正常开机了。

到此所有的安装结束。

参考文献

1 安装kali 系统 http://blog.sina.com.cn/s/blog_779dcd090102va9c.html 2 kali系统安装图文教程，kali系统安装图文

致谢

这里，要感谢我最亲爱的笨笨http://huirong.github.io

Linux下使用github

Mon, 19 Jan 2015 00:53:48 +0000

我的惰性真是病入膏肓了，已经整整3周没有在github上提交东西了，今天看了《模拟游戏》，索性又捡起来了。下面来总结一下linux下github的使用，也算是给自己一个备份，因为我自己也是老忘记。

使用环境：Ubuntu 14.04

1 安装git相关软件

我的Ubuntu里面没有自带git相关软件，所以我们首先需要安装它，很简单。

sudo apt-get install git

2 初始化git的设置

接下来，进行初始化设置，也就是设置你的github账号和密码

git config --global user.name "zhangsan"# 其中的“zhangsan”输入的就是你注册时候的用户名，这步是设置你提交时候默认的用户名
# 之后设置提交时候默认的邮箱，在命令行输入：
git config --global user.email "haha@qq.com"
# 其中的“haha@qq.com”就是你注册时候用的邮箱，当然也可以用别的邮箱，用别的邮箱的时候你必须在github的主页上设置里面把用的邮箱添加进去

3 开始使用github

1 首先你的github上应该有一个库，如果没有的话，就去github网站上新建一个库，或者fork一个别人的项目，以下的操作都是建立在这个基础上，假设存在一个库https://github.com/Jackroyal/test.git. 如果你的github上已经有库了，可以忽略第1步直接进入第2步 2 我们在本地新建一个文件夹(命名随你便，我取名叫做test_git)

mkdir test_git

3 将远程的库复制下来，我们使用git clone命令来完成

# 如果你的环境不在test_git目录
# cd test_git
# 如果在test_git中
git clone https://github.com/Jackroyal/test.git# 他会在你的本地新建一个test文件夹
cd test
# 接下来新建一个测试文件
touch test.md
# 修改测试文件的内容
vi test.md
# 提交刚才所做的更改
git add .
git commit -m "首次提交"

3 push提交到github

git remote add origin https://github.com/Jackroyal/test.git
git push

之后会提示你输入用户名密码，你输入你github账号和密码就行了打完收工，睡觉后面会陆续介绍hexo在Linux下的使用

参考文献

1 ubuntu 下 github 简单的使用教程 2 Github入门级使用攻略

近期任务

Tue, 02 Dec 2014 22:56:31 +0000

2014-12-02 22:56:31 接下来的一个星期，我的任务是学习python爬虫的编写，至少要实现csdn博客转markdown的任务

配置hexo

Fri, 28 Nov 2014 21:07:27 +0000

经过上篇博客,我们搭建起了自己的博客,接下来我们对它做些个性化的定制. 在hexo中,配置文件一共两个(我的hexo安装在F:/blog/),分别是F:/blog/_config.yml和F:/blog/themes/light/_config.yml.第一个是全局的配置文件,第二个是主题的配置文件,在继续说之前,我们先来说一下主题安装.

主题安装

这个很简单,在hexo的Github的主页上有个主题栏目,https://github.com/hexojs/hexo/wiki/Themes,里面列出了很多主题. 安装方法很简单

$ git clone <repository> themes/<theme-name>

举个简单例子,我安装的主题名为light,请在F:/blog/目录下执行以下代码

$ git clone https://github.com/hexojs/hexo-theme-light themes/light

如果你不是在F:/blog/中执行,请修改后面的路径themes/light为你的路径.基本原理就是把主题下下来,放在themes目录下就OK了,主题安装完毕.

修改全局配置文件 `F:/blog/_config.yml`

# Hexo Configuration
# # Docs: http://hexo.io/docs/configuration.html
# # Source: https://github.com/hexojs/hexo/

# Site
title: 搁浅St的blog  # 站点的名称
subtitle: 我最喜欢笨笨   # 站点的副标题
description:             # 站点的描述,有利于搜索引擎的抓取
author: 搁浅St       # 作者
email: geqianst@qq.com          # 你的邮箱
language: zh-CN           # 语言,一般应该都是这个吧

# URL
# # If your site is put in a subdirectory, set url as 'http://yoursite.com/child' and root as '/child/'
url: http://jackroyal.github.io       # 网站的url,在页面上,可以调用配置中的url参数,就是这个,比如google自定义搜索,需要制定搜索范围,就是通过这个设置的
root: /
permalink: :year/:month/:day/:title/
tag_dir: tags
archive_dir: archives
category_dir: categories
code_dir: downloads/code
permalink_defaults:

# Directory
source_dir: source
public_dir: public

# Writing
new_post_name: :title.md # File name of new posts
default_layout: post  
titlecase: false # Transform title into titlecase
external_link: true # Open external links in new tab
filename_case: 0
render_drafts: false
post_asset_folder: false
relative_link: false
highlight:
  enable: true
  line_number: true
  tab_replace:

# Category & Tag
default_category: uncategorized  
category_map:
tag_map:

# Archives 默认值为2，这里都修改为1，相应页面就只会列出标题，而非全文
# # 2: Enable pagination
# # 1: Disable pagination
# # 0: Fully Disable
archive: 1
category: 1
tag: 1

# Server
# # Hexo uses Connect as a server
# # You can customize the logger format as defined in
# # http://www.senchalabs.org/connect/logger.html
port: 4000
server_ip: localhost
logger: false
logger_format: dev

# Date / Time format
# # Hexo uses Moment.js to parse and display date
# # You can customize the date format as defined in
# # http://momentjs.com/docs/# /displaying/format/
date_format: MMM D YYYY
time_format: H:mm:ss

# Pagination
# # Set per_page to 0 to disable pagination
per_page: 5
pagination_dir: page

# Disqus
disqus_shortname:
# 这一行是我添加的duoshuo_shortname,因为天朝disqus不好用,用多说
duoshuo_shortname: jackroyal
# Extensions
# # Plugins: https://github.com/hexojs/hexo/wiki/Plugins
# # Themes: https://github.com/hexojs/hexo/wiki/Themes
theme: light
exclude_generator:

# Deployment  发布相关设置
# # Docs: http://hexo.io/docs/deployment.html
deploy:
  type: github
  repo: https://github.com/Jackroyal/Jackroyal.github.io.git
  branch: master

至此,全局配置文件修改完毕,你可以hexo g和hexo s进行查看.

menu:# 导航栏的设置默认只有这两个,还可以添加更多的导航
  Home: /
  Archives: /archives
# 它就是你页面右边的侧边项目,比如搜索之类,你可以根据自己的需求进行修改,你能用几个widgets可以在F:\blog\themes\light\layout\_widget中进行查看
widgets:# 我这里使用了所有的widgets
- search
- category
- tag
- recent_posts
- tagcloud

excerpt_link: Read More  # 可以换成中文的  阅读全文

twitter:
  username:
  show_replies: false
  tweet_count: 5
//默认的一个分享组件,因为主要针对国外,不适合国内我们不使用它
addthis:
  enable: false  # 把true改为false
  pubid:
  facebook: true
  twitter: true
  google: true
  pinterest: true

fancybox: true

google_analytics:
rss:
duoshuo_shortname: jackroyal  # 多说的用户名

comment_provider:
# Facebook comment
facebook:
  appid: 123456789012345
  comment_count: 5
  comment_width: 840
  comment_colorscheme: light

至此,配置文件修改完毕,上面提到了我们不适用disqus的评论组件,使用多说,下面教大家来配置多说

创建多说

首先我们去多说注册一个账号,点击这里我们点击我要安装,界面如下 shortname就是jackroyal,创建完成后,跳转到如下界面我们选择通用代码,点击复制,就行了

配置多说

这里说一个前提,我使用的是light主题,如果你用的是其他主题,接下来的设置可能给我有点区别,但是原理差不多,参考看看

我们打开F:\blog\themes\light\layout\_partial\comment.ejs这个文件,然后修改后代码如下(如果你不是light主题,可能跟这个不一样,你去找下包含comment的section在哪里,改法还是这样.例如系统默认的landscape主题,下面这段代码就是在article.ejs,它没有comment.ejs)

<% if (page.comments){ %>
<!-- 这里添加了一个导航,页面的下面会有一个上一篇,下一篇 -->
 <nav id="pagination" >
    <% if (page.prev) { %>
    <a href="<%- config.root %><%- page.prev.path %>" class="alignleft prev" > <%=page.prev.title %> </a>
    <% } %>
    <% if (page.next) { %>
    <a href="<%- config.root %><%- page.next.path %>" class="alignright next" > <%=page.next.title %> </a>
    <% } %>
    <div class="clearfix"></div>
</nav>
<!-- 导航结束 -->
<section id="comments">
<!-- 这里是多说的代码,直接把你的代码粘贴到这里就行 -->
    <!-- 多说评论框 start -->
    <div class="ds-thread" data-thread-key="<%= page.layout %>-<%= page.slug %>" data-title="<%= page.title %>" data-url="<%= page.permalink %>"></div>
    <!-- 多说评论框 end -->
    <!-- 多说公共JS代码 start (一个网页只需插入一次) -->
    <script type="text/javascript">
    var duoshuoQuery = {short_name:'<%= config.duoshuo_shortname %>'};
      (function() {
        var ds = document.createElement('script');
        ds.type = 'text/javascript';ds.async = true;
        ds.src = (document.location.protocol == 'https:' ? 'https:' : 'http:') + '//static.duoshuo.com/embed.js';
        ds.charset = 'UTF-8';
        (document.getElementsByTagName('head')[0]
         || document.getElementsByTagName('body')[0]).appendChild(ds);
      })();
      </script>
    <!-- 多说公共JS代码 end -->
  <!-- 多说结束 -->
  </section>
<% } %>

眼尖的同学可能已经看到我的上面第16行代码与你们的不同,这行代码包括了页面的标题和url,它会根据hexo的配置,由hexo动态生成,所以你把你的代码替换成我的这行代码.

<div class="ds-thread" data-thread-key="<%= page.layout %>-<%= page.slug %>" data-title="<%= page.title %>" data-url="<%= page.permalink %>"></div>

至此,多说添加完毕

修复bug

我发现light的主题貌似有个小bug,在F:\blog\themes\light\layout\_partial\article.ejs中间第27行有这样一行代码

        <% if (item.comment && config.disqus_shortname){ %>

首先我们,替换config.disqus_shortname为config.duoshuo_shortname. 然后修改item.comment为item.comments,因为系统中没有comment这个变量,只有comments这个变量,如果不修改comments,那么item.comment一直为假,所以一直不成立,就不会显示comments字段了.修改后代码如下

 <% if (item.comments && config.duoshuo_shortname){ %>

产生的效果如图. 至此,配置hexo,打完收工 enjoy it

参考文献

1 http://zipperary.com/2013/05/29/hexo-guide-3/ 2 duoshuo官方Hexo使用教程

使用hexo建立自己的Github pages

Thu, 27 Nov 2014 14:48:29 +0000

昨天经过一天的折腾,总算把博客搭建起来了,今天就来写个博客总结一下. 网上的资料很多,我主要参考的是这篇博客,一路很顺利.

http://zipperary.com/2013/05/28/hexo-guide-2/

一个很重要的原因就是他是针对windows的,刚好我也在用windows.

安装过程

# 1. 安装Github for windows

因为我之前就在用Github,所以早就安装了这个.已经装过的同学请忽略这一段. 下载 Github for windows 并执行即可完成安装(在线安装,会有点慢)。这个软件的的好处是有一个带GUI的界面,还有一个终端界面.如图所示如果你不喜欢用这个,也可以用上面的博客推荐的msysgit.

# 2. 安装Node.js

在 Windows 环境下安装 Node.js 非常简单，仅须下载安装文件并执行即可完成安装。（win下建议下载msi格式的，因为这样可以不用配置环境变量之类的）

# 3. 测试node.js是否安装

在任何控制台输入(可以按windows键+R,输入cmd,然后输入npm,一般来说不会有问题)

npm

返回值如下

Usage: npm <command>

where <command> is one of:
    add-user, adduser, apihelp, author, bin, bugs, c, cache,
    completion, config, ddp, dedupe, deprecate, docs, edit,
    explore, faq, find, find-dupes, get, help, help-search,
    home, i, info, init, install, isntall, issues, la, link,
    list, ll, ln, login, ls, outdated, owner, pack, prefix,
    prune, publish, r, rb, rebuild, remove, repo, restart, rm,
    root, run-script, s, se, search, set, show, shrinkwrap,
    star, stars, start, stop, submodule, t, tag, test, tst, un,
    uninstall, unlink, unpublish, unstar, up, update, v,
    version, view, whoami

npm <cmd> -h     quick help on <cmd>
npm -l           display full usage info
npm faq          commonly asked questions
npm help <term>  search for help on <term>
npm help npm     involved overview

Specify configs in the ini-formatted file:
    C:\Users\chenhao\.npmrc
or on the command line via: npm <command> --key value
Config info can be viewed via: npm help config

npm@1.4.28 D:\Program Files (x86)\nodejs\node_modules\npm

# 4. 安装hexo

接下来的操作我都是用Github for windows自带的Bash来完成的,因为后面会涉及到SSH,用Github for windows,就可以避免这个问题.

在Bash中输入以下命令

npm install -g hexo

创建hexo文件夹创建你hexo放置的文件夹,先用Bash进入到目标文件夹,比如我的是F:/blog/,接下来初始化hexo,自动生成相关的文件,在F:/blog/环境下,输入

cd /f/blog  # 这个命令表示当前进入目录为f：/blog/
hexo init

安装依赖包

npm install

本地预览,做完以上操作,可以本地预览一下

hexo g
hexo s

以上两条命令的意思是: 生成相关文件(就是生成目标html,静态博客嘛,就是很多html组成) 打开本地服务器预览(node.js就是干这事的,点击访问http://localhost:4000,就可以看到了) ok,到这里,博客搭建基本完成,现在要做的就是把它发布到你的Github上去

接下来,教你怎么发布到Github上去

注册Github

这一步没什么说的,如果你连简单的注册都不会,我也不会教你╮(╯▽╰)╭

创建公共库

PS:有个大小写的问题其实我注册的是Jackroyal,大写的J,但是我访问的时候特别是带https的链接,他会自动转为小写访问.怎么说呢?简单点,你就按照你的用户名来,该大写大写,该小写小写

部署

现在万事俱备,只差部署了,我们来配置下_config.yml. 这个文件在路径是F:/blog/_config.yml. 用编辑器把它打开,修改最后一段 ps:以下为hexo 2.8x的配置方法,不适用于3.0

deploy:
  type: github
  repo: https://github.com/Jackroyal/Jackroyal.github.io.git
  branch: master

update 2015-06-16: 现在hexo由2.8升级到3.0了,按照上面的方式安装,你的hexo版本是hexo 3.0,3.0的这段代码的设置内容如下:

deploy:
  type: git
  repo: https://github.com/Jackroyal/Jackroyal.github.io.git
  branch: master

照着我的这个格式修改就好了,把我里面的用户名替换成你的. 至此基本完成所有搭建步骤.

上传

hexo g
hexo d

或者偷个懒

hexo d -g

ok,现在就可以去看看你的个人主页了,逼格满满有木有.

问题

我的中间出过一些问题:

我的hexo d的时候出错,可以尝试手动删除.deploy文件夹,然后执行hexo clean还有可能出现的情况是,deploy没错但是一直没有提示deploy done,那就是骚年,你访问Github网速太慢
我deploy d成功以后,在Github里面已经看到生成的页面了,访问http://jackroyal.github.io或者https://jackroyal.github.io一直报404的错误,这种时候等一等就好了,一般等几分钟.如果一直不好那就给官方发个邮件,他们很快会回复你的,有什么问题说清楚就行.

致谢

这里，要感谢我最亲爱的笨笨，是她给我测试和反馈的http://huirong.github.io

新的开始

Wed, 26 Nov 2014 21:29:15 +0000

今天折腾了一天,终于弄好了,我的博客,正式落户Github.

[js]replace替换

Tue, 25 Nov 2014 22:32:00 +0000

今天做前端试题,用到了replace函数,来记录一下. (以下部分知识点来自http://www.w3cschool.cn/jsref_replace.html)

定义和用法

replace() 方法用于在字符串中用一些字符替换另一些字符，或替换一个与正则表达式匹配的子串。

语法

返回值

一个新的字符串，是用 replacement 替换了 regexp 的第一次匹配或所有匹配之后得到的。

说明

字符串 stringObject 的 replace() 方法执行的是查找并替换的操作。它将在 stringObject 中查找与 regexp 相匹配的子字符串，然后用 replacement 来替换这些子串。如果 regexp 具有全局标志 g，那么 replace() 方法将替换所有匹配的子串。否则，它只替换第一个匹配子串。

replacement 可以是字符串，也可以是函数。如果它是字符串，那么每个匹配都将由字符串替换。但是 replacement 中的 $ 字符具有特定的含义。如下表所示，它说明从模式匹配得到的字符串将用于替换。

__注意：__ECMAScript v3 规定，replace() 方法的参数 replacement 可以是函数而不是字符串。在这种情况下，每个匹配都调用该函数，它返回的字符串将作为替换文本使用。该函数的第一个参数是匹配模式的字符串。接下来的参数是与模式中的子表达式匹配的字符串，可以有 0 个或多个这样的参数。接下来的参数是一个整数，声明了匹配在 stringObject 中出现的位置。最后一个参数是 stringObject 本身。

下面给几个简单的例子来说明一下

ps:介绍一下正则的小知识,\w表示匹配一个英文字符,+表示匹配数量必须大于一个,\b就是分节符,单词中间分隔用的,连在一起就是取出前面字符串中所有的单词

'my name is'.replace(/(\w+)\b/g,'haha  ');//输出结果为   "haha   haha   haha  "

'my name is'.replace(/(\w+)\b/g,'$1aa');//输出结果为"myaa nameaa isaa"

'my name is'.replace(/((\w)(\w+?))\b/g,function(m,a,b,c,d,e){return b.toUpperCase()+c;});//输出结果为"My Name Is"

重点讲解一下第三个,replace返回值为函数的例子(function必须要return)

当replace返回值为函数的时候

如果只有一个分组的话,他的参数是funciton(match,pos,originalText),分别表示模式的匹配项,模式匹配项在字符串中的位置和原始字符串

如果有多个分组的话,他的参数是funciton(match,arr1,arr2,arr3,….arrn,pos,originalText),分别表示模式的匹配项,模式匹配项,还有n个匹配的分组,最后的两个参数是在字符串中的位置和原始字符串

比如下面的例子,执行的结果就是

‘my name is imweba ‘.replace(/((\w)(\w+?))\b/g,function(m,a,b,c,d,e){

console.log(m);

console.log(a);

console.log(b);

console.log(c);

console.log(d);

console.log(e);

}); 执行结果

my//模式匹配的值,因为上面匹配了整个单词,虽然分了多个组

my//第一个分组的值

m//第二个分组的值

y//第三个分组的值

0//模式匹配在字符串中的起始位置

my name is imweba //原始字符串

name

ame

my name is imweba

imweba

mweba

my name is imweba

“undefined undefined undefined undefined “//这一行是因为function必须要有return,我没写return,所以就都是undefined

ok 打完收工

[js]前端试题

Tue, 25 Nov 2014 22:26:00 +0000

// 1、获取页面id为 hello 的节点
var he=document.getElementById('hello');
// 2、获取页面所有 div 标签
var di=document.getElementsByTagName('div');
// 3、给 id 为hello的节点绑定click 事件，点击的时候弹出 "hello"
document.getElementById('hello').onclick=function(){alert('helo')};
// 4、将页面上 id为hello的节点隐藏
document.getElementById('hello').style.visibility=none;
// 5、将 "hello world" 用正则替换成 "hello javascript”
var str='hello world';
str.replace(/hello[\s]+world/g,'hello javascript');
// 6、给节点（假设为element）绑定click事件，当被点击时候，alert 弹出事件的类型（通过jquery）
$(element).click(function(event) {
    alert(event.type);
});
// 7、给一个节点添加一个类 "hello"
document.getElementById('kw').className=document.getElementById('kw').className+" hello";
// 8、给节点（假设为element）绑定click事件，当被点击时候，alert 弹出事件的类型（要求兼容IE、标准浏览器）
element.onclick=function(event){var e=event||window.event};
// 9、假设页面有这么两个节点将 id为world的节点的 内容设置成 跟 id 为 hello 的节点一样。
document.getElementById('world').innerHTML=document.getElementById('hello').innerHTML;
// 10、通过 js 将element的margin-left 设置为 20px
element.style.marginLeft="20px";



// 1.[{a:3},{a:4},{a:1},{a:2}] sort排序
function sortnum(a,b){
    return a.a-b.a;
}
//   [{a:3,b:5},{a:4,b:6},{a:1},{a:2,b:8}]按a的正向排序
function sortab(a,b){
    return a.a-b.a!=0?a.a-b.a:a.b-b.b;
}
//   sort 排序原理  使用的算法
// 2.my name is imweba ... => my6 name7 is8 imweba9 ...
//   用正则实现
'my name is imweba '.replace(/([\w]+)\b/g,'$1')
var attr='my name is imweba '.match(/([\w]+)\b/g);
for (var i = 0;i < attr.length; i++) {
    attr[i]=attr[i]+(6+i);
};
attr.join(' ');//感觉不对,只能做到这个程度

// 3.实现function test(str)(){},将str的每个单词的首字母大写（str为英文字符串）
function test(str){
    return str.replace(/((\w)(\w+?))\b/g,function(m,a,b,c,d,e){return b.toUpperCase()+c;});
}

// 4.写一个二分查找的算法   （假设这个数组不是有序的呢）
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*
// 5.123+”+34  直接说结果   12334
12334
// 加法会将数字转化为字符串，减法和乘法等会将字符串转化为数字
// "4"\*"5"=20
// 6.实现function find(attr,val){},找到当前页面里具备属性为attr且值为val的节点，输出其父元素名称
function find(attr,val){
    var dom=document.getElementsByTagName('\*');
    for (var i = 0; i<dom.length; i++) {
        if(dom[i].getAttribute(attr)==val){
            return dom[i].parentNode.tagName;
        }
   }
}

cmcc520扩展使用说明

Mon, 24 Nov 2014 21:56:00 +0000

我的cmcc520 2.0版本终于完成了,写个使用说明

学校部分范围有CMCC-EDU可用,通过手动修改ssid,可以免费使用.

写了个扩展来简化这个过程.

1 安装扩展将保存下来的 *.crx 文件或*.js 文件直接拖拽到浏览器的“扩展程序”（[chrome://chrome/extensions](“Chrome 扩展程序页面”)/）页面。

( 注：只有拖动到此页面才能安装，其它页面无效)

　　2. 按照提示安装

详细安装过程见http://www.williamlong.info/archives/3160.html

3,配置软件功能

左键点击图标,可以选择开关扩展功能(默认为开启)

4.使用软件

如果软件的功能打开,那么如果当你使用cmcc-edu的时候会自动跳转完成登录,不再需要手动操作,登录成功页面如下,你可以关闭这个页面了

5.下线

在任何页面按ALT+X 可以下线

Ps,如果按Alt+x无任何提示,可能是快捷键设置有问题

那就需要你按照上图手动设置快捷键

6 反馈如果发现任何bug,可以和我联系

新浪微博http://weibo.com/517123263 Github项目地址 https://github.com/Jackroyal/cmcc520 我的csdn博客 http://blog.csdn.net/jackroyal

2014/11/24

chrome扩展开发手记-chrome扩展开始第一步manfest.json

Mon, 24 Nov 2014 15:16:00 +0000

参考文档 https://lmk123.duapp.com/

下面开始写chrome扩展了,第一步就是看文档,官方文档有入门指导,先要过一遍

我们首先来编写第一个文件manfest.json,这是一个清单文件,告诉系统,我有哪些文件,需要申请哪些权限都在里面,下卖弄给出我的manfest.json

{
    "name":"cmcc520",//扩展的名称
    "version":"2.0",//扩展的版本号,随便写
    "description":"powered by 搁浅St",//扩展的描述,就是在chrome://extension页面中,扩展名称下面的几个字
    "background": {//background.js,整个扩展的运行,有个页面在后台运行
        "scripts": ["js/function.js","bg.js"],
        "persistent": false
    },
    "page_action":{//比较常见有page_action和browser_action有,page会出现在地址栏末端,browser会在浏览器上显示一个图标
        "default_icon":"icon-48.png",
        "default_popup": "popup.html",//popup.html点击弹出的页面
        "default_title":"cmcc520"
    },
    "permissions" : [//申请内容脚本的权限,在插入内容到页面时,需要用哪些权限,此处必须声明
        "tabs", "http://\*/\*"
    ],
    "icons" : {//图标设置
        "48" : "icon-48.png",
        "128" : "icon-128.png"
    },
    "commands": {//快捷键设置
        "logout_cmcc": {
            "description": "退出CMCC登录",
            "suggested_key": {
                "default": "Alt+X"
            }
        }
    },
    "manifest_version":2//manifest_version,现在版本1已经不支持,统一都写成2

}

简单的属性,这里不再赘述,我重点说一下background,page_action,permissions和commands.

background 它是一个包含扩展程序主要逻辑的不可见页面。扩展程序也可以包含其他页面，展现扩展程序的用户界面。如果扩展程序需要与用户加载的网页交互（相对于包含在扩展程序中的页面），扩展程序必须使用内容脚本。后台网页分两种：持续运行的后台网页与事件页面(设置persistent属性)。正如它们的名称所述，持续运行的后台网页保持打开状态，事件页面根据需要打开与关闭。除非您绝对需要您的后台网页一直运行，请首选事件页面。

    "background": {//background.js,整个扩展的运行,有个页面在后台运行
        "scripts": ["js/function.js","bg.js"],
        "persistent": false
    },

比如我的这个后台执行就是这样的

采用pageaction还是browseraction取决于你是否想让图标一直可见.`

如图,绿色的是广告终结者,他的图标是pageAction,后面的印象笔记还有switchproxy是browserAction.一般来说,适用于少数页面的扩展建议使用pageaction,适用于大多数页面的建议使用browseraction

permissions属性,用来设置和conten_script相关的选项,举个例子,如果你想插入一段代码到页面中去执行,操作页面上的dom,那就写个content_script就行了,使用 content_scripts 字段，扩展程序可以向一个页面中插入多个内容脚本，每个内容脚本可以有多个 JavaScript 和 CSS 文件,详细情况请看这里https://lmk123.duapp.com/extensions/content_scripts

我现在在做的一个扩展就是做这样的事,百度的搜索结果会先跳到一个百度的网址,然后才是目标网址,我可以使用cotent_scripts来插入脚本,修改百度搜索结果的链接,让他直接跳转到目标页面,而不是百度的搜索结果页面.

commands选项是设置快捷键,然后给快捷键设置事件监听,这样我们按快捷键就会执行相应操作.

        "logout_cmcc": {//某个快捷操作的名称
            "description": "退出CMCC登录",//快捷操作的描述
            "suggested_key": {//默认推荐的快捷键,不能与系统默认的快捷键冲突,否则就会失灵,需要用户手动去设置
                "default": "Alt+X"
            }
        }

chrome扩展开发手记<2>-登录原理分析

Mon, 24 Nov 2014 11:18:00 +0000

上一篇,我们介绍了一下登录的流程,但是用程序进行登录的话,我们肯定不能那样一步一步,太过复杂,所以我们接下来分下一下登录的具体过程,看看能不能作一些简化

我们接下来,给几个页面编个号,下面好分析一点 A 最原始的跳转 http://120.202.164.10:8080/portal/?wlanacname=1022.0027.270.00&wlanuserip=10.80.97.209&ssid=CMCC-EDU B 第一次改ssid http://120.202.164.10:8080/portal/?wlanacname=1022.0027.270.00&wlanuserip=10.80.97.209&ssid=iWuhan-Free

C 第一次点击请点击登录以后的地址 http://120.202.164.10:8080/portal/loginFree.jsp?wlanacname=1022.0027.270.00&wlanuserip=10.80.97.209&ssid=iWuhan-Free

D 第二次改ssid http://120.202.164.10:8080/portal/loginFree.jsp?wlanacname=1022.0027.270.00&wlanuserip=10.80.97.209&ssid=CMCC520

从www.baidu.com跳转到A地址,这个步骤没什么特别的,服务器那边做了一个302跳转,然后我们这边就自动跳转到A地址了
第一次改ssid,也就是从A到B,这个过程也没什么,只是一个单纯的地址跳转,B地址中有一个表单这个表单里面主要包含四个字段, wlanacname:1022.0027.270.00 wlanuserip:10.80.97.209 ssid:iWuhan-Free userAgent_1:Mozilla/5.0 (Windows NT 6.2)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36
我们第一次点击请提交登录,所做的操作就是把上面的表单提交到 http://120.202.164.10:8080/portal/servlets/SingleLoginServlet 服务器返回的地址是C,这一步的表单提交主要是为了获取C的地址,就是因为多了的那个loginFree.jsp,这样下一步才能改ssid为CMCC520,否则,如果你越过这一步直接改ssid为CMCC520,就会跳转到其他的页面,比如下面这个这个地址如果点击提交,是没有办法正常登陆的,我们必须要到武汉的那个页面才行.
在我们到达C那个页面以后,我们再次修改ssid,就到了D页面,然后在D页面点击请点击登录,流程和上面的一样,页面效果也是一样,不过表单的值变了一个,具体表单post内容如下 wlanacname:1022.0027.270.00 wlanuserip:10.80.97.209 ssid:CMCC520 userAgent_1:Mozilla/5.0 (Windows NT 6.2)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36 提交以后,我们就可以登录成功了,成功以后服务器会做一个302跳转,页面跳转到一个登录计时的页面.

************************************************************************************************************************************************************ _ _ 从整体来看,最核心的一个操作就是向http://120.202.164.10:8080/portal/servlets/SingleLoginServlet提交一个表单,表单内容是 wlanacname:1022.0027.270.00 wlanuserip:10.80.97.209 ssid:CMCC520 userAgent_1:Mozilla/5.0 (Windows NT 6.2)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36 然后,然后就没有然后了,那个最后计时页面的跳转没有多大的实际作用,我们只需要post这一个请求就好了下一步我们开始制作chrome扩展,核心也是要实现这个post的请求 ************************************************************************************************************************************************************ 退出登录也是如此,发一个get请求过去,然后从获得的内容中进行判断,判断成功与否 __

下线请求 http://120.202.164.10:8080/portal/servlets/LogoutServlet?wlanacname=1022.0027.270.00&wlanuserip=10.80.97.209&ssid=CMCC520&ATTRIBUTE_USERNAME=iWuhanFree4300&ATTRIBUTE_UUID=26FBE9A694B6221958CF6DE2704F0ECA&ATTRIBUTE_IPADDRESS=10.80.97.209&cancelAutomatismLogin=false

表单实际内容

wlanacname:1022.0027.270.00

wlanuserip:10.80.97.209

ssid:CMCC520

ATTRIBUTE_USERNAME:iWuhanFree4300

ATTRIBUTE_UUID:26FBE9A694B6221958CF6DE2704F0ECA

ATTRIBUTE_IPADDRESS:10.80.97.209

cancelAutomatismLogin:false

chrome扩展开发手记<1>-需求分析

Fri, 21 Nov 2014 18:17:00 +0000

本人的学校在武汉,有CMCC-EDU的网络覆盖,中国移动和武汉市政府搞了一个活动,可以免费公益上网,说白了,就是可以免费使用EDU的网络,如图.

以上是前提.

这个网络的使用流程是这样子的.

你打开任何一个网址,比如http://www.baidu.com 都会跳转到 http://120.202.164.10:8080/portal/?wlanacname=1022.0027.270.00&wlanuserip=10.80.97.209&ssid=CMCC-EDU 界面如图所示
接下来我们手动更改最上面的网址栏,把ssid改为iWuhan-Free,(注意大小写) 修改后的网址如下http://120.202.164.10:8080/portal/?wlanacname=1022.0027.270.00&wlanuserip=10.80.97.209&ssid=iWuhan-Free界面如下
接下来我们点击,请点击登录按钮,系统反馈如下我们忽略这个警告,可以注意到,上面的地址栏已经变掉了,多了个loginFree.jsp完整的地址http://120.202.164.10:8080/portal/loginFree.jsp?wlanacname=1022.0027.270.00&wlanuserip=10.80.97.209&ssid=iWuhan-Free
接下来,我们再改一次ssid,改为CMCC520,完整地址如下http://120.202.164.10:8080/portal/loginFree.jsp?wlanacname=1022.0027.270.00&wlanuserip=10.80.97.209&ssid=CMCC520 界面还是和上图一样,就不贴图了,我们再点击一次,请点击登录,然后就会跳到一个计时页面,这样就表示你登录成功,可以上网了

登录的流程走完了,下一篇,接下来我们分析一下登录的原理,简化一下登录的流程

wamp与sql_server_因为端口80冲突,无法开启wamp

Fri, 14 Nov 2014 18:09:00 +0000

因为80端口占用,导致无法启动,其实不必关闭sql server太多的东西,只需要关闭SQL Server Reporting Services 就行了,这样也不会影响sql server的使用

如图

打开sqlserver 配置管理器,关闭以上服务

或者打开控制面板->管理->服务工具->SQL Server Reporting Services

然后就可以打开wamp了

sql中left_join和right_join混用

Fri, 08 Aug 2014 10:02:00 +0000

left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录

right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录

inner join(等值连接) 只返回两个表中联结字段相等的行

如上所言,我们只做一下left join的实验,right join和left join 类似

测试一共三张表,a b c

表结构和数据分别如下

a表 b表 c表

然后我们来试一下左连接

1, 我们来查询a b两张表,连接他们aid=bid的选项 sql»SELECT * FROM a LEFT JOIN b on aid=bid

看图很好理解,因为是a左连接b,所以b中为空的元素 ,在查询结果中以NULL的形式补全

同理可得

sql»SELECT * FROM a LEFT JOIN c on aid=cid

sql»SELECT * FROM c LEFT JOIN b on bid=cid sql»SELECT * FROM c LEFT JOIN b on cid=bid

也就是on后面的顺序无所谓,无论是bid=cid还是cid=bid,重点是前面的left join还是right join

2,我们来试一下如果三张表左连接呢,会有什么情况?

sql»SELECT * FROM a

LEFT JOIN b on bid=aid

LEFT JOIN c on aid=cid

sql»SELECT * FROM a LEFT JOIN b on bid=aid LEFT JOIN c on bid=cid

3,如果我用了一个right join呢?

sql»SELECT * FROM a LEFT JOIN b on bid=aid RIGHT JOIN c on bid=cid

这里该怎么理解呢? 感谢http://blog.csdn.net/sqlserverdiscovery/article/details/6893288

我们理解的时候可以把它拆成两部分去理解

比如第一部分 sql»SELECT * FROM a LEFT JOIN b on bid=aid

然后再思考第二部分,假如上图是一张表我们叫它a_b

你可以新建一个视图,就可以真成为一张虚表了

sql»create VIEW a_b as (SELECT * FROM a LEFT JOIN b on bid=aid)

然后我们继续做下面一部分

sql»select * from a_b right join c on bid=cid

可见,与上面的结果是一样的,当然这是我们理解的过程,实际数据库服务器执行的时候可能不是这样的,它会做一些优化,提高效率

阿里云windows_server_2003_搭建邮件服务器

Sat, 28 Jun 2014 22:30:00 +0000

笔者最近遇到一个在阿里云上搭建邮件服务器的问题，总算搞定，记录一下。

整个搭建过程，包括pop3服务的安装和开启，smtp服务的安装和开启，dns服务的安装和设置。参考文章http://hi.baidu.com/senya/item/63bd6588b6817056e63d1996 http://firefish.blog.51cto.com/298258/57983

不在赘述，直接粘贴原文

__　　一、安装Windows Server 2003邮件服务器组件__

(因为盗图的缘故,图片都挂了,这里大家都去看上面的参考文章连接吧,设置dns的时候再回来)

图一　“管理您的服务器”控制台

　　依次单击“开始”——“管理工具”——“管理您的服务器”，打开“管理您的服务器”控制台。在这个管理控制台中我们可以看到服务器已经成为的角色。单击“添加或删除角色”命令，开始管理服务器的角色。

图二　配置服务器向导

　　当我们单击“添加或删除角色”命令，就会运行配置服务器向导。

图三　服务器管理程序检测网络连接

图四　管理服务器角色

　　在图四中，可以查看已经安装的服务和支持而没有安装的服务。此时的服务器还不是邮件服务器，选择“邮件服务器(POP3,SMTP)”，单击“下一步”：

图五　配置“身份验证方法”及“电子邮件域名”

图六　单击“下一步”

图七　安装邮件服务:POP3和SMTP

图八　安装成功

__　　二、管理邮件服务器__

　　Windows Server 2003的电子邮件服务器的功能很简单，管理界面也很简洁。单击“管理工具”下的“POP3服务”：

图九 POP3服务

图十　为用户添加邮箱

　　在“POP3服务”中单击“添加邮箱”命令，在弹出的对话框内输入邮箱名（用户名）及密码。

图十一

__　　三、配置smtp__

　　方法和上面类似，在图二的画面中我们选择应用程序服务器

如图，我的已经开启了。

下一步，依次打开“开始-程序-管理工具-internet信息服务”，在窗口左面，鼠标右键点击“smtp虚拟服务器”属性。切换到常规选项卡”IP地址“选择服务器的ip地址，点击确定就行了。

四、配置DNS

服务器已经配置好了，我们接下来设置下dns，这样才能解析到，不然还是无法使用的

依次打开，“开始-程序-管理工具-配置您的服务器向导”

选择自定义配置

选择dns服务器，下一步

点击正向查找域里面的区域名称，在右边的空白处点击右键，新建主机，分别新建POP3，smtp等主机

还是空白处，右键，新建邮件交换器，分别新建smtp和pop3的邮件交换器

注意：完全合格的域名后面没有点号，邮件服务器的完全合格的域名后面有点号，例如是smtp.ip-tcp.com.

到此，邮件服务器搭建完成，可以去测试了

此处参考原文http://www.docin.com/p-156566941.html

经过我的测试，可以收邮件，但是不能发邮件（可以自己给自己发，但是不能给qq，网易等邮箱发），一直报错550 5.7.1 Unable to relay for xxx@xxx.com

最后找到答案

在IIS管理器里打开“默认SMTP虚拟服务器”的属性设置对话框，在“访问”选项卡中，点击“中继”按钮，弹出“中继限制”对话框，默认为选中了“仅以下列表”，修改为选中“仅以下列表除外”即可。

另外下面的“允许所有通过身份验证的计算机进行中继，而忽略上表”一项要保持选中状态（默认是选中的）。

Search

Mon, 01 Jan 0001 00:00:00 +0000

隐私政策

Mon, 01 Jan 0001 00:00:00 +0000

本站是一个个人技术博客，主要记录 Home Assistant、智能家居和开发相关的内容。这份说明只讲两件事：本站收集什么、第三方会拿到什么。

本站自己收集的信息

本站是静态站点，没有注册、登录、评论账号体系，也没有自建的数据库。

访问日志：站点由 GitHub Pages 托管，前面有 Cloudflare 做解析和缓存。IP 地址、浏览器标识这类请求信息会由这两家服务按各自的策略记录，本站不单独保存。
评论：文章评论使用 giscus，数据存放在 GitHub Discussions。你在那里留下的内容受 GitHub 的隐私政策约束。
搜索：站内搜索在浏览器本地完成，搜索词不发送到任何服务器。

第三方广告

本站使用 Google AdSense 展示广告。Google 及其合作伙伴可能会：

使用 Cookie 或类似技术，根据你此前访问本站及其他站点的记录投放个性化广告；
收集与广告展示、点击相关的设备信息和使用数据，用于统计和计费。

你可以通过 Google 广告设置关闭个性化广告，或访问 aboutads.info 了解如何停用第三方广告商的 Cookie。关闭个性化广告后你仍会看到广告，只是不再基于你的兴趣。

如果你所在地区适用《通用数据保护条例》（GDPR）或类似法规，你可以要求了解、更正或删除与你相关的数据。由于本站不保存个人信息，这类请求通常需要向 Google 提出。

外部链接

文章里可能链接到其他网站。点开后你就在对方的隐私政策管辖范围内了，本站无法控制。

变更

这份说明如果调整，会直接更新本页面，不另行通知。

最后更新：2026-11-09