本文从简单的例子出发,探究body-parser的内部实现。至于body-parser如何使用,感兴趣的同学可以参考。

入门基础

在正式讲解前,我们先来看一个POST请求的报文,如下所示。

  1. POST /test HTTP/1.1
  2. Host: 127.0.0.1:3000
  3. Content-Type: text/plain; charset=utf8
  4. Content-Encoding: gzip
  5. chyingp

其中需要我们注意的有Content-TypeContent-Encoding以及报文主体:

  • Content-Type:请求报文主体的类型、编码。常见的类型有text/plainapplication/jsonapplication/x-www-form-urlencoded。常见的编码有utf8gbk等。
  • Content-Encoding:声明报文主体的压缩格式,常见的取值有gzipdeflateidentity
  • 报文主体:这里是个普通的文本字符串chyingp

body-parser实现的要点如下:

  1. 处理不同类型的请求体:比如textjsonurlencoded等,对应的报文主体的格式不同。
  2. 处理不同的编码:比如utf8gbk等。
  3. 处理不同的压缩类型:比如gzipdeflare等。
  4. 其他边界、异常的处理。

一、处理不同类型请求体

为了方便读者测试,以下例子均包含服务端、客户端代码,完整代码可在笔者github上找到。

客户端请求的代码如下,采用默认编码,不对请求体进行压缩。请求体类型为text/plain

  1. var http = require('http');
  2. var options = {
  3. hostname: '127.0.0.1',
  4. port: '3000',
  5. path: '/test',
  6. method: 'POST',
  7. headers: {
  8. 'Content-Type': 'text/plain',
  9. 'Content-Encoding': 'identity'
  10. }
  11. };
  12. var client = http.request(options, (res) => {
  13. res.pipe(process.stdout);
  14. });
  15. client.end('chyingp');
  1. var http = require('http');
  2. var parsePostBody = function (req, done) {
  3. var arr = [];
  4. var chunks;
  5. req.on('data', buff => {
  6. arr.push(buff);
  7. });
  8. req.on('end', () => {
  9. chunks = Buffer.concat(arr);
  10. done(chunks);
  11. });
  12. };
  13. var server = http.createServer(function (req, res) {
  14. parsePostBody(req, (chunks) => {
  15. var body = chunks.toString();
  16. res.end(`Your nick is ${body}`)
  17. });
  18. });
  19. server.listen(3000);

客户端代码如下,把Content-Type换成application/json

服务端代码如下,相比text/plain,只是多了个JSON.parse()的过程。

  1. var http = require('http');
  2. var parsePostBody = function (req, done) {
  3. var length = req.headers['content-length'] - 0;
  4. var arr = [];
  5. var chunks;
  6. req.on('data', buff => {
  7. arr.push(buff);
  8. req.on('end', () => {
  9. chunks = Buffer.concat(arr);
  10. done(chunks);
  11. });
  12. };
  13. var server = http.createServer(function (req, res) {
  14. parsePostBody(req, (chunks) => {
  15. var json = JSON.parse( chunks.toString() ); // 关键代码
  16. res.end(`Your nick is ${json.nick}`)
  17. });
  18. });
  19. server.listen(3000);

客户端代码如下,这里通过querystring对请求体进行格式化,得到类似nick=chyingp的字符串。

  1. var http = require('http');
  2. var querystring = require('querystring');
  3. var options = {
  4. hostname: '127.0.0.1',
  5. port: '3000',
  6. path: '/test',
  7. method: 'POST',
  8. headers: {
  9. 'Content-Type': 'form/x-www-form-urlencoded',
  10. 'Content-Encoding': 'identity'
  11. }
  12. };
  13. var postBody = { nick: 'chyingp' };
  14. var client = http.request(options, (res) => {
  15. res.pipe(process.stdout);
  16. });
  17. client.end( querystring.stringify(postBody) );

服务端代码如下,同样跟text/plain的解析差不多,就多了个querystring.parse()的调用。

  1. var http = require('http');
  2. var querystring = require('querystring');
  3. var parsePostBody = function (req, done) {
  4. var length = req.headers['content-length'] - 0;
  5. var arr = [];
  6. var chunks;
  7. req.on('data', buff => {
  8. arr.push(buff);
  9. });
  10. req.on('end', () => {
  11. chunks = Buffer.concat(arr);
  12. done(chunks);
  13. });
  14. };
  15. var server = http.createServer(function (req, res) {
  16. parsePostBody(req, (chunks) => {
  17. var body = querystring.parse( chunks.toString() ); // 关键代码
  18. res.end(`Your nick is ${body.nick}`)
  19. });
  20. });
  21. server.listen(3000);

很多时候,来自客户端的请求,采用的不一定是默认的utf8编码,这个时候,就需要对请求体进行解码处理。

客户端请求如下,有两个要点。

  1. 编码声明:在Content-Type最后加上;charset=gbk
  2. 请求体编码:这里借助了iconv-lite,对请求体进行编码iconv.encode('程序猿小卡', encoding)
  1. var http = require('http');
  2. var contentType = require('content-type');
  3. var iconv = require('iconv-lite');
  4. var parsePostBody = function (req, done) {
  5. var obj = contentType.parse(req.headers['content-type']);
  6. var charset = obj.parameters.charset; // 编码判断:这里获取到的值是 'gbk'
  7. var arr = [];
  8. var chunks;
  9. });
  10. req.on('end', () => {
  11. chunks = Buffer.concat(arr);
  12. var body = iconv.decode(chunks, charset); // 解码操作
  13. done(body);
  14. });
  15. };
  16. var server = http.createServer(function (req, res) {
  17. parsePostBody(req, (body) => {
  18. res.end(`Your nick is ${body}`)
  19. });
  20. });
  21. server.listen(3000);

三、处理不同压缩类型

这里举个gzip压缩的例子。客户端代码如下,要点如下:

  1. 压缩类型声明:Content-Encoding赋值为gzip
  2. 请求体压缩:通过zlib模块对请求体进行gzip压缩。
  1. var http = require('http');
  2. var zlib = require('zlib');
  3. var options = {
  4. hostname: '127.0.0.1',
  5. port: '3000',
  6. path: '/test',
  7. method: 'POST',
  8. headers: {
  9. 'Content-Type': 'text/plain',
  10. 'Content-Encoding': 'gzip'
  11. }
  12. };
  13. var client = http.request(options, (res) => {
  14. res.pipe(process.stdout);
  15. });
  16. // 注意:将 Content-Encoding 设置为 gzip 的同时,发送给服务端的数据也应该先进行gzip
  17. var buff = zlib.gzipSync('chyingp');
  18. client.end(buff);

服务端代码如下,这里通过zlib模块,对请求体进行了解压缩操作(guzip)。

  1. var http = require('http');
  2. var zlib = require('zlib');
  3. var parsePostBody = function (req, done) {
  4. var length = req.headers['content-length'] - 0;
  5. var contentEncoding = req.headers['content-encoding'];
  6. var stream = req;
  7. // 关键代码如下
  8. if(contentEncoding === 'gzip') {
  9. stream = zlib.createGunzip();
  10. req.pipe(stream);
  11. }
  12. var arr = [];
  13. var chunks;
  14. stream.on('data', buff => {
  15. arr.push(buff);
  16. });
  17. stream.on('end', () => {
  18. chunks = Buffer.concat(arr);
  19. done(chunks);
  20. });
  21. stream.on('error', error => console.error(error.message));
  22. };
  23. var server = http.createServer(function (req, res) {
  24. parsePostBody(req, (chunks) => {
  25. var body = chunks.toString();
  26. res.end(`Your nick is ${body}`)
  27. });
  28. });
  29. server.listen(3000);

body-parser的核心实现并不复杂,翻看源码后你会发现,更多的代码是在处理异常跟边界。

另外,对于POST请求,还有一个非常常见的Content-Typemultipart/form-data,这个的处理相对复杂些,body-parser不打算对其进行支持。篇幅有限,后续章节再继续展开。

欢迎交流,如有错漏请指出。

相关链接