一个意外的特性(Bug)引起的对Python Buffer机制的研究

<h1 id="heading">环境准备</h1>
Python版本: <code>3.7.1</code>(3.7以上版本) 
清空<code>PYTHONUNBUFFERED</code>环境变量(默认是空的,不过以防万一还是清空下)
cmd清空
<pre style="background-color:#fff">set PYTHONUNBUFFERED=&#34;&#34;
</pre>powershell清空
<pre style="background-color:#fff">$env:PYTHONUNBUFFERED=&#34;&#34;
</pre>bash清空
<pre style="background-color:#fff">export PYTHONUNBUFFERED=&#34;&#34;
</pre>将下面内容保存到<code>test.py</code>中,执行下面的语句
<pre style="background-color:#fff">import sys
sys.stdout.write(&#34;stdout1 &#34;)
sys.stderr.write(&#34;stderr1 &#34;)
sys.stdout.write(&#34;stdout2 &#34;)
sys.stderr.write(&#34;stderr2 &#34;)
</pre>执行<code>python test.py</code>, 输出<code>stderr1 stderr2 stdout1 stdout2</code> 
执行<code>python -u test.py</code>, 输出<code>stdout1 stderr1 stdout2 stderr2</code>
<h1 id="heading-1">缓冲区</h1>
<h2 id="heading-2">现象解释</h2>
对于<code>stderr</code>,其名称是标准错误输出文件,标准里规定是无缓冲的,每次输出一个字符就直接显示到屏幕上 
而对于<code>stdout</code>,其名称是标准输出文件,UNIX标准里规定是行缓冲的,遇到换行或者积累到一定的大小一次性输出到屏幕上
由于默认情况下,缓冲区是开启的。 
因此<code>stdout</code>的输出会先存入到一个buffer中,而<code>stderr</code>的内容是直接显示的,因此默认输出顺序是<code>stderr1 stderr2 stdout1 stdout2</code>
当将其改为
<pre style="background-color:#fff">import sys
sys.stdout.write(&#34;stdout1\n&#34;)
sys.stderr.write(&#34;stderr1\n&#34;)
sys.stdout.write(&#34;stdout2\n&#34;)
sys.stderr.write(&#34;stderr2\n&#34;)
</pre>由于stdout是行缓冲,遇到换行后也是直接输出,因此此时输出内容就是正常顺序
对于Python而言，其规定如下：
<ul>
<li>对于Python2.x: stdout行缓存,stderr是无缓冲(和规范相同)</li>
<li>对于Python3.x: stdout和stderr都是行缓冲</li>
</ul>
关于该改动的讨论: <a href="https://bugs.python.org/issue13597">Improve documentation of stdout/stderr buffering in Python 3.x</a>
而对于<code>-u</code>参数:
<ul>
<li>对于3.6以下版本: 二进制流使用unbuffered(不使用buffer),但是文本流采用line-buffer(<a href="https://docs.python.org/3.6/using/cmdline.html#cmdoption-u">3.6 相关文档</a>)</li>
<li>对于3.7以上版本: 全部采用unbuffered(<a href="https://docs.python.org/3.7/using/cmdline.html#cmdoption-u">3.7 相关文档</a>)</li>
</ul>
而当<code>PYTHONPATH</code>不为空,视为使用了<code>-u</code>参数
虽然输出结果与行缓冲与无缓冲的结果相同，但是仍然需要注意这里并非是如同规范那样定义
<h2 id="heading-3">什么时候不应该使用缓冲区</h2>
一般来说,第一次接触缓冲区应该都是C语言读入部分
比如如果要有用户交互输入数据,需要分析输入内容,可能会牵扯到换行的处理 
当用户一次性输入很多数据时,这些数据都会被存放在输入缓冲区内,每次使用<code>getchar();</code>或者<code>scanf(&quot;%c&quot;, &amp;c);</code>会从中取出一个字符出来 
这时,如果输入末尾有无效输入,比如用户多打了个空格才换行等奇怪的操作,可能会导致输入缓冲区留下一部分数据,从而导致下一次处理数据出错 
这时,往往要使用<code>fflush(stdin);</code>在每次读入前清空缓冲区,以确保读到的数据是用户刚刚输入的内容
在Python中,最常见的操作是使用flask、django时,后台打印log. 
当同时有两个请求送达,两个打印log的操作同时写入输出缓冲区,很可能你看到的就是两个log混杂在一起的内容,这时为了保证log的完整以及有序,就应该关闭缓冲区
而在Python中,关闭缓冲区有三种方法:
<ul>
<li><code>sys.stdout.flush()</code></li>
<li><code>python -u xxx.py</code></li>
<li><code>set PYTHONUNBUFFERED=&quot;&quot;</code></li>
</ul>
<h2 id="heading-4">什么时候应该使用缓冲区</h2>
缓冲区(buffer)原本是用于中和内外存读取速度不同而设计的一个缓冲 
因此当读写速度与运算、处理速度不匹配时就应该使用缓冲区
如大量写入文件,尽管可以使用<code>&quot;\n&quot;.join(data_list)</code>来将数据拼接成文本一次写入,但是有时候可能会由于异步、数据结构过于复杂，需要用多个<code>f.write()</code>来写入文件,这时就需要使用buffer 
将要写到文件的数据先存入内存中,关闭文件时一次性写入,从而减少了io操作次数
另外,引起该篇博文的原因代码是:
<pre style="background-color:#fff">print(&#34;;&#34;.join([str(i) for i in range(10000)]))
</pre>这段代码在Windows环境下的Python3.9以下版本使用<code>python -u test.py</code>会导致奇怪的截断 
简单解释就是Windows 7以下的控制台对写出有限制(64KiB),因此python会尝试将输出内容除以2来输出 
最终导致输出内容被截断 
该“特性”将在Python3.9被移除 
相关讨论: <a href="https://stackoverflow.com/questions/54266222/why-does-this-code-print-a-different-result-between-windows-and-linux">StackOverflow: Why does this code print a different result between Windows and Linux?</a>
<h1 id="heading-5">参考资料</h1>
<ul>
<li>文章中已经存在的链接</li>
<li><a href="https://stackoverflow.com/questions/14258500/python-significance-of-u-option">StackOverflow: Python: significance of -u option?</a></li>
<li><a href="https://www.systutorials.com/241780/how-to-flush-stdout-buffer-in-python/">SystuTorials: How to flush STDOUT buffer in Python?</a></li>
<li><a href="https://oomake.com/question/1001203">码客: 为什么在多线程时关闭标准输出缓冲区？</a></li>
</ul>

Python的Buffer机制