11.11 进程间传递Socket文件描述符
为了在多个进程中传递文件描述符,你首先需要将它们连接到一起。在Unix机器上,你可能需要使用Unix域套接字,而在windows上面你需要使用命名管道。不过你无需真的需要去操作这些底层,通常使用 模块来创建这样的连接会更容易一些。
一旦一个连接被创建,你可以使用 multiprocessing.reduction
中的send_handle()
和 recv_handle()
函数在不同的处理器直接传递文件描述符。下面的例子演示了最基本的用法:
在这个例子中,两个进程被创建并通过一个 管道连接起来。服务器进程打开一个socket并等待客户端连接请求。工作进程仅仅使用 recv_handle()
在管道上面等待接收一个文件描述符。当服务器接收到一个连接,它将产生的socket文件描述符通过 send_handle()
传递给工作进程。工作进程接收到socket后向客户端回应数据,然后此次连接关闭。
此例最重要的部分是服务器接收到的客户端socket实际上被另外一个不同的进程处理。服务器仅仅只是将其转手并关闭此连接,然后等待下一个连接。
对于大部分程序员来讲在不同进程之间传递文件描述符好像没什么必要。但是,有时候它是构建一个可扩展系统的很有用的工具。例如,在一个多核机器上面,你可以有多个Python解释器实例,将文件描述符传递给其它解释器来实现负载均衡。
send_handle()
和 函数只能够用于 multiprocessing
连接。使用它们来代替管道的使用(参考11.7节),只要你使用的是Unix域套接字或Windows管道。例如,你可以让服务器和工作者各自以单独的程序来启动。下面是服务器的实现例子:
要运行工作者,执行执行命令 python3 workermp.py /tmp/servconn .效果跟使用Pipe()例子是完全一样的。文件描述符的传递会涉及到UNIX域套接字的创建和套接字的 sendmsg()
方法。不过这种技术并不常见,下面是使用套接字来传递描述符的另外一种实现:
下面是使用套接字的工作者实现:
如果你想在你的程序中传递文件描述符,建议你参阅其他一些更加高级的文档,比如 Unix Network Programming by W. Richard Stevens (Prentice Hall, 1990)
.在Windows上传递文件描述符跟Unix是不一样的,建议你研究下 中的源代码看看其工作原理。