Secret 发布的文章

不知什么时候起,新浪图床开始对图片采取防盗链措施。还好博客的图片很早之前就迁移到了 OneDrive,免费的才是最贵的来描述使用新浪作为图床的朋友再适合不过。

不过我看了一下防盗链机制,发现还有机会抢救一下。目前发现第三方域名调用图片,Network 为 403,通过图片链接点击也是 403,而直接复制新标签页打开则正常显示。

这种防盗链机制我在 donwa/oneindex 程序上也写过,根据请求头的 Referer 来判断请求的来源页,如果非白名单域名则直接返回 403。

使用 CURL 证实猜想:

$ curl http://ww1.sinaimg.cn/large/0061wtobgy1fxmqoe86rkj30gb0gb76n.jpg -H "Referer:https://blog.wangmao.me/" -G -I 
HTTP/1.1 403 Forbidden
Server: Tengine
Date: Wed, 22 May 2019 08:48:35 GMT
Content-Type: text/html
Content-Length: 254
Connection: keep-alive
X-Tengine-Error: denied by Referer ACL
X-Via-CDN: f=alicdn,s=cache1.cn64,c=183.62.230.102;
Via: cache1.cn64[,403003]
Timing-Allow-Origin: *
EagleId: 7793461515585149156862720e

$ curl http://ww1.sinaimg.cn/large/0061wtobgy1fxmqoe86rkj30gb0gb76n.jpg -H "Referer:https://mobile.sina.com.cn/" -G -I
HTTP/1.1 200 OK
Server: Tengine
Content-Type: image/jpeg
Content-Length: 97491
Connection: keep-alive
Date: Tue, 21 May 2019 03:42:08 GMT
x-debug-hit: sto(97491,0.001)
Pragma: public
Cache-Control: max-age=7776000
Last-Modified: Mon, 08 Jul 2013 18:06:40 GMT
Expires: Mon, 19 Aug 2019 03:42:08 GMT
X-Request-ID: g2.125-1558410128.494000-2249042609
LB_HEADER: wbtngx.29.wbg1.shx.lb.sinanode.com
Via: http/1.1 cnc.beixian.ha2ts4.212 (ApacheTrafficServer/6.2.1 [cMsSfW]), http/1.1 cmcc.beijing.ha2ts4.160 (ApacheTrafficServer/6.2.1 [cMsSfW]), cache4.l2cm12-1[0,200-0,H], cache19.l2cm12-1[0,0], cache8.cn64[70,200-0,M], cache10.cn64[71,0]
X-Via-Edge: 15584101284105dd10d6fdec1b3dd569fc895
X-Via-CDN: f=alicdn,s=cache10.cn64,c=183.62.230.102;f=alicdn,s=cache19.l2cm12-1,c=119.147.70.28;f=edge,s=cmcc.beijing.ha2ts4.205.nb.sinaedge.com,c=111.13.209.93;f=Edge,s=cmcc.beijing.ha2ts4.160,c=221.179.175.205;f=edge,s=cnc.beixian.ha2ts4.213.nb.sinaedge.com,c=172.16.181.61;f=Edge,s=cnc.beixian.ha2ts4.212,c=123.126.157.213
Ali-Swift-Global-Savetime: 1558410128
X-Swift-SaveTime: Tue, 21 May 2019 03:42:08 GMT
X-Swift-CacheTime: 7776000
Age: 104777
X-Cache: MISS TCP_MISS dirn:-2:-2
X-Swift-SaveTime: Wed, 22 May 2019 08:48:25 GMT
X-Swift-CacheTime: 7671223
Timing-Allow-Origin: *
EagleId: 7793461e15585149053975458e

这就好办了,Nginx 直接代理 Referer 欺骗图床服务器。实现代码如下:

server {
  listen 80;
  listen 443 ssl http2;
  server_name sina-img.wangmao.me;
  index index.html index.htm index.php;
  ...
  #全站代理
  location / {
    #设置 host
    proxy_set_header Host $proxy_host;
    #设置 referer 这里我用的手机版的新浪首页你可以自己找找其他的
    proxy_set_header Referer https://mobile.sina.com.cn;
    #最后代理域名 ws1 ww1 wx3 wx4 等
    proxy_pass https://ww1.sinaimg.cn/;
  }
  ...
}

当然这样会走自己的服务器的流量,你需要修改全文替换新浪的域名为你的域名。就像这样 https://sina-img.wangmao.me/large/0061wtobgy1fxmqoe86rkj30gb0gb76n.jpg

还是趁早迁移吧,毕竟免费的才是最贵的。

关于 CORS 的介绍,可以参见往期文章:简单谈谈跨域请求(CORS)

简单来说,CORS 是一种解决浏览器跨域问题的方法,NPM 的实现有 Rob--W/cors-anywhere 这个轮子。

我也曾写过 PHP 的轮子 isecret/gh-oauth-server 用于解决 Github 的跨域请求,最近又冒出了利用 Nginx 反向代理来再造轮子。

思路如下:针对预检请求(OPTION)响应头增加 Access-Control-Allow-* 相关的头信息,查阅文档发现 add_header 可实现;其次是代理URL地址的问题,我选择直接获取域名后的字符作为代理的地址,格式如下:https://cors.wangmao.me/https://github.com/login/oauth/access_token,取 Host https://cors.wangmao.me/ 之后的字符作为 URL,这个地址看起来很诡异,但确实是最优的解决方式,代理地址通过正则可以匹配出来,但是注意这里匹配出来的 uri 实际上是 https:/github.com/login/oauth/access_token,协议部分只有一个 /,所以需要自己补充;另外是代理的 HostReferer,这俩就直接取 $proxy_host 可以搞定。

具体实现如下:

http {
  # 代理变量时需要告知DNS,不然会报出 no resolver defined to resolve 错误
  resolver 8.8.8.8;
}

server {
  listen 80;
  listen 443 ssl http2;
  ssl_certificate /usr/local/nginx/conf/ssl/cors.wangmao.me.crt;
  ssl_certificate_key /usr/local/nginx/conf/ssl/cors.wangmao.me.key;
  ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3;
  ssl_ciphers TLS13-AES-256-GCM-SHA384:TLS13-CHACHA20-POLY1305-SHA256:TLS13-AES-128-GCM-SHA256:TLS13-AES-128-CCM-8-SHA256:TLS13-AES-128-CCM-SHA256:EECDH+CHACHA20:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;
  ssl_prefer_server_ciphers on;
  ssl_session_timeout 10m;
  ssl_session_cache builtin:1000 shared:SSL:10m;
  ssl_buffer_size 1400;
  add_header Strict-Transport-Security max-age=15768000;
  ssl_stapling on;
  ssl_stapling_verify on;
  server_name cors.wangmao.me;
  access_log off;
  error_log /data/wwwlogs/cors.wangmao.me.error.log;
  index index.html index.htm index.php;
  root /data/wwwroot/cors.wangmao.me;
  if ($ssl_protocol = "") { return 301 https://$host$request_uri; }

  include /usr/local/nginx/conf/rewrite/none.conf;
  #error_page 404 /404.html;
  #error_page 502 /502.html;

  #取代理地址 $1 为协议,$2 为地址
  #另外这里取到的 requst_uri https://xxx.com 实际为 http:/xxx.com 只有一个 /
  location ~* "/(.*):/(.*)" {
    #增加响应头允许请求的域和方法等
    add_header Access-Control-Allow-Origin "*";
    add_header Access-Control-Allow-Methods "POST,GET,PUT,OPTIONS,DELETE";
    add_header Access-Control-Max-Age "3600";
    add_header Access-Control-Allow-Headers "Origin,X-Requested-With,Content-Type,Accept,Authorization,FOO";
    add_header Content-Length 0;
    add_header Content-Type "application/json;charset=utf-8,text/plain";
    add_header Proxy-Addr https://cors.wangmao.me;
    #如果为预检请求则直接响应204
    if ($request_method = OPTIONS ) {
      return 204;
    }
    #设置代理 Host 和 Referer
    proxy_set_header Host $proxy_host;
    proxy_set_header Referer $proxy_host;
    #告知代理内容类型为 json
    proxy_set_header Accept "application/json";
    #增加一个代理UA头
    proxy_set_header User-Agent "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36";
    #代理地址
    proxy_pass $1://$2/;
  }

  location ~ /\.ht {
    deny all;
  }
}

前言

Docker 为 macOS 平台提供了一个非常方便的开发环境,要知道 MAMP 环境在 macOS 是付费的,其实我挺纳闷的,Apache 是免费的,MySQL 是免费的,PHP 也是开源的,怎么集成在 macOS 上就成了付费软件,颇有一种拿别人的成果赚自己的钱的感觉。

我使用 Docker 有一段时间了,再享受它带来的便利的同时也总感觉什么地方怪怪的,但也说不出来。直到和同事联调接口的时候,同事忍受不了我的本地环境非要让我更新到测试环境。我:???

本地环境的响应速度实在令人错愕:平均响应时间:2000ms+,如果接口里还有 CURL 的话还要翻倍。

天下苦秦久矣

无奈之下,检索关键字:docker so slow,结果还真不少。

首先来到 docker for mac 的一个 Issues,讨论甚是热闹,其中一个回答得很多赞。如下:

wadjeroudi: For those who look for a workaround and didn't read the whole thread, here is the solution :
https://github.com/EugenMayer/docker-sync

原文地址:https://github.com/docker/for-mac/issues/77#issuecomment-245210458

接着找到 docker-sync 的代码仓库,简介如下:

Run your application at full speed while syncing your code for development, finally empowering you to utilize docker for development under OSX/Windows/*Linux

参照 docker-sync 的 官方文档,开始配置,过程记录下来。

首先先安装 docker-sync 及其依赖的同步策略,各平台支持的同步策略如下:

  • OSX: native_osx,unison,rsync
  • Windows: unison
  • Linux: native_linux,unison

结论如下,如果不想折腾直接用 unison 就行,不过 macOS 推荐的配置为 native_osx

安装 docker-sync 和 unison 策略支持:

$ gem install docker-sync
$ brew install unison
$ brew install eugenmayer/dockersync/unox

如果提示 brew command not found ,请自行安装 Homebrew,地址:Homebrew

编写配置文件 docker-sync.yml

version: '2'

options:
  verbose: false

syncs:
  unison-sync:
    # 需要挂载的目录
    src: '/path/to/app'
    # 同步策略 macOS 推荐 native_osx,Windows 配置为 unison
    sync_strategy: native_osx
    # 这里的用户 ID 为 1000,请确认你的 php-fpm 为同一个用户
    sync_userid: 1000
    # 忽略的文件
    sync_excludes: [
      '.gitignore',
      '.git/',
      '.DS_Store',
    ]

关闭并销毁容器:

$ docker-compose down

修改 docker-compose.yml

version: "3"

# 新增挂载卷
volumes:
  unison-sync:
    external: true

services:
  nginx:
    image: nginx:${NGINX_VERSION}
    ports:
      - "${NGINX_HTTP_HOST_PORT}:80"
      - "${NGINX_HTTPS_HOST_PORT}:443"
    volumes:
      # 此处使用挂载卷作为源
      - unison-sync:/var/www/html/:nocopy
      - ${NGINX_CONFD_DIR}:/etc/nginx/conf.d/:rw
      - ${NGINX_CONF_FILE}:/etc/nginx/nginx.conf:ro
      - ${NGINX_LOG_DIR}:/var/log/nginx/:rw
    restart: always
    networks:
      default:
        ipv4_address: 10.0.0.10

现在启动同步并尝试启动容器:

$ docker-sync start
$ docker-compose build  #重新构建容器
$ docker-comopse up -d

现在 macOS 和容器为双向同步,但也存在不同步的情况,这个时候需要手动重新同步:

$ docker-sync clean
$ docker-sync start

总结

Docker 在 macOS 和 Windows 上文件效率要低 10 倍到 40 倍不等,主要原因是 macOS 和 Windows 均是以虚拟的方式运行,文件越多,转换越慢。

最理想的方式挂载 Vagrant 至 Virtual Box,然后在 Virtual Box 里运行 Linux,在 Linux 上跑 Docker,这样将性能损耗降到最低,有时间再折腾吧。

参考

主页

主页:https://comments.hk/

文档:https://github.com/isecret/yuncun/blob/master/DOC.md

PS:首页定时 10s 自动更新

关于乐评

人这辈子,最害怕突然把某一首歌听懂了。 ——来自 北风神75 在「有多少爱可以重来」的评论

项目灵感来源于网易云音乐的与农夫山泉合作的乐瓶营销「乐瓶」——这 30 条乐评,是从网易云音乐后台点赞数最高的 8000 条乐评中,经过人工筛选产生的,它们文字简练,富有故事性,即使脱离歌曲本身也可以被理解。

在使用网易云音乐的时候,常常在评论区看到与之共鸣的评论。有时候很想将其记录下来,同朋友分享。时间久了,那种感动依然不可褪去。

你能在这倾听别人的故事,亦或许是你的故事。

我们能提供什么

截止目前,已拉取热歌排行榜 TOP199 的热门评论,共计 2984 条热门评论。

项目后台定期拉取热门歌曲排行榜列表并获取其中的热门评论,通过接口随机分发一条热门评论,你可以查看 API 文档 快速接入。

当然,你也可以通过提交歌曲或歌单 ID 来完善这个项目,将你的感动带给更多的人。

API 文档

JSON 格式

请求地址:https://api.comments.hk/

请求方式:GET

请求参数: 暂无

返回类型:JSON

返回参数:

参数名含义
song_id歌曲 ID
title歌曲名称
images歌曲封面图片,已处理为 https 链接
author歌曲作者
album歌曲所属专辑
description歌曲描述
pub_date歌曲发行时间
comment_id评论 ID
comment_user_id评论所属用户 ID
comment_nickname评论所属用户名称
comment_avatar_url评论所属用户头像链接,已处理为 https 链接
comment_content评论正文
comment_pub_date评论发表日期

示例

<script>
  var xhr = new XMLHttpRequest();
  xhr.open('get', 'https://api.comments.hk/');
  xhr.onreadystatechange = function () {
    if (xhr.readyState === 4) {
      var data = JSON.parse(xhr.responseText);
      var hotComments = document.getElementById('hotComments');
      hotComments.innerText = data.comment_content;
    }
  }
  xhr.send();
</script>

更新日志

  • 2019/4/21 更新 JSON 文档第一版

感谢

数据来源

项目歌曲数据、图像和评论数据来源于网易云音乐,网易云音乐对其拥有内容、商标所有权。

大概半年前,我将本地的开发环境换成了 Docker 来管理。也写了一套具有雏形的管理脚本,不过因为各种各样的问题,时不时需要去修改脚本甚是麻烦,最近选择将它换为 yeszao/dnmp 提供的脚本,内置 Nginx、PHP7/PHP5、MySQL、Redis。拥有丰富的配置项和标准的拓展。很是不错,不过我所开发的项目中有 yaf 拓展在这个脚本中没有实现,所以我 fork 了项目并添加了自己所需要的拓展,项目地址 isecret/dnmp,分支为 own,意为自己的分支,因为 yaf 拓展并非大众需求也就没有提交合并,就当做提供一个自己添加拓展的方法吧。

DNMP 同时内置了 XDebug,我在配置的时候遇到了坑,在此记录一下。XDebug 默认开启,配置文件在项目目录 conf/php.ini 末尾,默认配置如下。

[XDebug]
; Debug Config
xdebug.remote_enable = 1
xdebug.remote_handler = "dbgp"
xdebug.remote_connect_back = 1
xdebug.remote_port = 9000
;xdebug.remote_log = "/var/log/dnmp/php.xdebug.log"

然而我在 VS Code 中配置好 launch.json 后,尝试断点却始终无法正常工作。

{
    // 使用 IntelliSense 了解相关属性。 
    // 悬停以查看现有属性的描述。
    // 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Listen for XDebug",
            "type": "php",
            "request": "launch",
            "pathMappings": {
                "/var/www/html/project_name": "${workspaceRoot}"
            },
            "port": 9000
        },
        {
            "name": "Launch currently open script",
            "type": "php",
            "request": "launch",
            "program": "${file}",
            "cwd": "${fileDirname}",
            "port": 9000
        }
    ]
}

我尝试开启编辑器中的日志,新增 log 参数为 true。结果如下:

// 开启时
<- launchResponse
Response {
  seq: 0,
  type: 'response',
  request_seq: 2,
  command: 'launch',
  success: true }
// 终止时
-> disconnectRequest
{ command: 'disconnect',
  arguments: { restart: false },
  type: 'request',
  seq: 3 }
<- disconnectResponse
Response {
  seq: 0,
  type: 'response',
  request_seq: 3,
  command: 'disconnect',
  success: true }

然而我尝试在服务端开启日志却找到不到日志文件。

我一直以为是我配置的原因,然而我在同事的机器上却成功断点了。

说明:我的环境为 macOS,同事是 Windows 10,我不知道这个问题是否和系统有关系。

调试了许久仍然没有结果,为此我在 DNMP 项目中发起了 issues,希望有人遇到过这个问题。经过漫长的等待,终于有朋友遇到过同样的问题并找到了解决办法。他原话如下:

@netwu: 9000端口已经被 php-fpm用了,所以得修改xdebug默认的端口,我用的9001...

我从未想过端口占用的问题,因为在 Windows 中我同事并未修改 XDebug 或者 php-fpm 的端口,这也是我不确定是否是因为操作系统造成的原因。

另外,同事的 XDebug 服务端的配置文件有做过修改,增加了 xdebug.remote_host 参数设置为172.25.160.1172.25.160.1 的来源是通过 ipconfig 命令查看到的 Docker 与宿主机通信的地址。

在 macOS 上这个地址通常使用 docker.for.mac.localhost 来代替。

最终我本地的配置如下:

// conf/php.ini
...
[XDebug]
xdebug.remote_enable = 1
#xdebug.remote_mode = "req"
#xdebug.remote_connect_back = on
xdebug.remote_autostart = on
xdebug.remote_host = docker.for.mac.localhost
xdebug.remote_port = 9001
#xdebug.remote_log = /var/log/php-fpm/x-debug-remote.log
...
// launch.json
{
    "version": "0.2.0",
    "configurations": [

        {
            "name": "Listen for XDebug",
            "type": "php",
            "request": "launch",
            "pathMappings": {
                "/var/www/html/project_name": "${workspaceRoot}"
            },
            "port": 9001
        },
        {
            "name": "Launch currently open script",
            "type": "php",
            "request": "launch",
            "program": "${file}",
            "cwd": "${fileDirname}",
            "port": 9001
        }
    ]
}

最后修改完配置文件记得重启 PHP 容器。

XDebug 的编译安装可以参考往期的一篇文章:PHP 安装 XDebug 并配置远程调试