proxy protocol 是 MaxScale 引入,为了解决使用proxy作为中间件连接mysql时,mysql获取client ip用 client通过proxy中间价连接mysql时,mysql server接收到认证报文中,包含的是proxy节点的IP。如果mysql.user表中指定了client的IP,无法通过认证。

一种传统处理方式是在proxy节点上保存client的ip和密码,用于client的认证,而在mysql server上使用另一套ip和密码用于proxy 节点到mysql server的认证。

MariaDB MaxScale引入了proxy protocol来解决client ip透传的问题。proxy节点获取到client ip后,把client ip包装在proxy protocol报文中发给server,server解析到了proxy protocol报文,再用报文中的ip替换proxy节点的ip

因为 proxy protocol 本身不包含鉴权,同时可能影响数据库的鉴权行为,所以在数据库 server 端设置了一个ip白名单,只有白名单ip发送的 proxy protocol 报文才会被接受。

mysql连接与认证过程和网络模块数据结构可以参考以前的月报

MySQL · 源码分析 · 网络通信模块浅析

proxy protocol 有两个版本 v1 和 v2 通过报文签名区分

v1 报文是字符串形式 “PROXY %s %s %s %d %d”

v2

字段内容
报文签名12字节\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A
ver_cmd 1 字节version 高四位 0x2 « 4, command 0x1(PROXY) 0x0 (LOCAL)
family 1 字节IPV4 0x11,IPV6 0x21,AF_UNIX 0x21
length 2字节addr 部分的数据长度,IPV4 12, IPV6 36, AF_UNIX 216
addr 以IPV4为例client地址4字节,server地址4字节,client port 2字节, server port 2字节

MaxScale 使用场景下,Proxy Protocol Header 由 MaxScale 发送,这里暂不分析

MariaDB 为了测试,也改造了 client,可以通过 mysql_option 设置 Proxy Protocol

mysql_optionsv(mysql, MARIADB_OPT_PROXY_HEADER, header_data, header_lengths);

第一个参数是 MYSQL 句柄,第二个参数是 PROXY_HEADER 标志位,第三个参数是 Proxy Protocol Header,第四个参数是 Header length

Proxy Protocol Header 按照上述规则传入即可

我们知道,server 通过对比自己的 net->pkt_nr 和 client 发送过来的 net->pkt_nr 来保证包没有乱序。而proxy header 没有包含正确的 pkt_nr,就可以通过判断 pkt_nr 乱序来识别 proxy header。

对于一对client和server线程,pkt_nr是共享的。

  1. 正常的 mysql 都包含4字节 header,前三字节是size,第四字节是 pkt_nr
  2. */
  3. my_bool my_net_write(NET *net, const uchar *packet, size_t len)
  4. {
  5. ...
  6. /* 如果大于最大包长度,则分成多个包发送 */
  7. while (len >= MAX_PACKET_LENGTH)
  8. {
  9. const ulong z_size = MAX_PACKET_LENGTH;
  10. /* 前三个字节保存size */
  11. int3store(buff, z_size);
  12. /* 第四字节保存pkt_nr */
  13. buff[3]= (uchar) net->pkt_nr++;
  14. if (net_write_buff(net, buff, NET_HEADER_SIZE) ||
  15. net_write_buff(net, packet, z_size))
  16. {
  17. MYSQL_NET_WRITE_DONE(1);
  18. return 1;
  19. }
  20. packet += z_size;
  21. len-= z_size;
  22. }
  23. /* Write last packet */
  24. int3store(buff,len);
  25. buff[3]= (uchar) net->pkt_nr++;
  26. ...
  27. /* my_real_read 里面处理 proxy header */
  28. my_real_read(NET *net, size_t *complen,
  29. my_bool header __attribute__((unused)))
  30. {
  31. retry:
  32. /* 收到的包不满足 pkt_nr 约束,可能是 proxy header,跳转到 packets_out_of_order */
  33. if (net->buff[net->where_b + 3] != (uchar) net->pkt_nr)
  34. goto packets_out_of_order;
  35. packets_out_of_order:
  36. /*
  37. 判断是否是 proxy protocol header
  38. 判断标准是报文前几位是否符合 proxy protocol header 的 signature
  39. 前面已经提到
  40. v1 signature 五字节:PROXY
  41. v2 signature 12字节:\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A
  42. */
  43. if (has_proxy_protocol_header(net)
  44. && net->thd &&
  45. ((THD *)net->thd)->get_command() == COM_CONNECT)
  46. {
  47. /* Proxy information found in the first 4 bytes received so far.
  48. Read and parse proxy header , change peer ip address and port in THD.
  49. */
  50. /* 处理 proxy header,修改 THD 中的 ip port */
  51. if (handle_proxy_header(net))
  52. {
  53. /* error happened, message is already written. */
  54. len= packet_error;
  55. goto end;
  56. }
  57. /* proxy protocol header 处理成功,跳到函数头重新读取 */
  58. }
  59. static int handle_proxy_header(NET *net)
  60. {
  61. /*
  62. 判断 proxy protocol header 的来源 ip 是否在白名单中
  63. 白名单是一个全局变量 proxy_protocol_networks
  64. 白名单 ip 以逗号分隔保存在全局变量中
  65. */
  66. if (!is_proxy_protocol_allowed((sockaddr *)&(thd->net.vio->remote)))
  67. {
  68. /* proxy-protocol-networks variable needs to be set to allow this remote address */
  69. my_printf_error(ER_HOST_NOT_PRIVILEGED, "Proxy header is not accepted from %s",
  70. MYF(0), thd->main_security_ctx.ip);
  71. return 1;
  72. }
  73. /*
  74. 根据格式解析 proxy protocol header,格式在上文中已做介绍
  75. 解析结果保存在 peer_info 中
  76. */
  77. if (parse_proxy_protocol_header(net, &peer_info))
  78. {
  79. /* Failed to parse proxy header*/
  80. my_printf_error(ER_UNKNOWN_ERROR, "Failed to parse proxy header", MYF(0));
  81. return 1;
  82. }
  83. /* Change peer address in THD and ACL structures.*/
  84. /* 将 peer_info 中的信息转存到 thd 中 */
  85. return thd_set_peer_addr(thd, &(peer_info.peer_addr), NULL, peer_info.port, false);
  86. }