tox と pytest で Python 2/3 両対応のテストを実行する

pytest *1 に関連して tox も一緒に覚えておくと良さそうです。

@t2y @methane 少し前からtox + py.test が鉄板な気がしますねえ

2012-02-07 20:50:23 via twicca to @t2y

tox については id:Ehren の入門記事が分かりやすいです。

Pythonでのテストツールtox入門 - Keep on moving

複数の Python バージョン毎に virtualenv で仮想環境を作成して、そこに自分のパッケージと必要なライブラリ等をインストールして、それぞれのバージョン毎にテストをまとめて実行してくれます。例えば、Python 2/3 の両対応を考えたときに、自分で環境を切り分ける手間隙を軽減できて、かなり便利です。ここで言う Python 2/3 両対応は 2.6/2.7 と 3.x の対応を指します *2 。

環境

(test)$ pip freeze
distribute==0.6.24
py==1.4.7
pytest==2.2.3
tox==1.3
virtualenv==1.7
wsgiref==0.1.2

bitbucket にこの記事で紹介するテストコードを置きました。興味のある方は試してみてください。

t2y / misc / source / tox_test — Bitbucket

設定

wikipedia:エラトステネスの篩を実装した eratosthenes.py を含むパッケージを作成してテストを行います。

カレントディレクトリの構成は以下になります。

(test)$ tree .
.
├── setup.py
├── src
│      ├── eratosthenes.py
│      └── tests
│              └── test_eratosthenes.py
└── tox.ini

Python のパッケージングや仮想環境の作成方法については Python Hack-a-thon 4 ハンズオン中級コースがとても参考になります。

setup.py の設定

tox を使ってテストするには Python のパッケージを作成しないといけません。

ここではテストすることが目的なので、パッケージ名とバージョンのみの設定をもつ setup スクリプトを記述します。

$ vi setup.py
# -*- coding: utf-8 -*-
from setuptools import setup
setup(
    name="mytoxtest",
    version="0.1.0",
)

tox.ini の設定

tox の設定ファイルは ini 形式で記述します。

$ vi tox.ini
[tox]
envlist = py26, py27, py32

[testenv]
deps = pytest
commands = py.test --doctest-module -v src/eratosthenes.py src/tests

[tox] セクションには、テスト対象の Python バージョンやワークディレクトリの位置などを設定します *3 。

[testenv] セクションには、依存するライブラリと実行するテストコマンドを記述しています。ここでは pytest を使っていますが、コマンドラインで実行できるものであれば何でも構いません。

pytest のおさらい

pytest で doctest とテストスクリプトを実行します。

commands = py.test --doctest-module -v src/eratosthenes.py src/tests

まずは指定した Python バージョンでテストを実行します。"-e" オプションを指定すると、envlist で指定した任意の Python バージョンでのみ実行します。試しに実行します。

(test)$ tox -e py27
_________________________________ [tox sdist] __________________________________
[TOX] ***creating sdist package
[TOX] /Users/t2y/work/repo/misc/tox_test
$ /Users/t2y/.virtualenvs/test/bin/python setup.py sdist --formats=zip --dist-dir .tox/dist >.tox/log/0.log
[TOX] ***copying new sdistfile to '/Users/t2y/.tox/distshare/mytoxtest-0.1.0.zip'
______________________________ [tox testenv:py27] ______________________________
[TOX] ***reusing existing matching virtualenv py27
[TOX] ***upgrade-installing sdist
[TOX] /Users/t2y/work/repo/misc/tox_test/.tox/py27/log
$ ../bin/pip install --download-cache=/Users/t2y/work/repo/misc/tox_test/.tox/_download 
  /Users/t2y/work/repo/misc/tox_test/.tox/dist/mytoxtest-0.1.0.zip -U --no-deps >5.log
[TOX] /Users/t2y/work/repo/misc/tox_test
$ .tox/py27/bin/py.test --doctest-module -v src/eratosthenes.py src/tests
============================= test session starts ==============================
collected 173 items 

src/eratosthenes.py: [doctest] PASSED
src/tests/test_eratosthenes.py: [doctest] PASSED
src/tests/test_eratosthenes.py:21: test_sieve_of_eratosthenes[10-3] FAILED
src/tests/test_eratosthenes.py:21: test_sieve_of_eratosthenes[30-10] PASSED
src/tests/test_eratosthenes.py:21: test_sieve_of_eratosthenes[997-168] PASSED
src/tests/test_eratosthenes.py:29: test_is_prime[2] PASSED
src/tests/test_eratosthenes.py:29: test_is_prime[3] PASSED
src/tests/test_eratosthenes.py:29: test_is_prime[5] PASSED
... (snip)
src/tests/test_eratosthenes.py:29: test_is_prime[983] PASSED
src/tests/test_eratosthenes.py:29: test_is_prime[991] PASSED
src/tests/test_eratosthenes.py:29: test_is_prime[997] PASSED

================================= FAILURES =================================
_______________________ test_sieve_of_eratosthenes[10-3] _______________________

max_num = 10, expected = 3

    @pytest.mark.parametrize(("max_num", "expected"), [
        (10, 3),
        (30, 10),
        (PRIMES[-1], len(PRIMES)),
    ])
    def test_sieve_of_eratosthenes(max_num, expected):
>       assert expected == len(list(sieve_of_eratosthenes(max_num)))
E       assert 3 == 4
E        +  where 4 = len([2, 3, 5, 7])
E        +    where [2, 3, 5, 7] = list(<generator object sieve_of_eratosthenes at 0x10185c7d0>)
E        +      where <generator object sieve_of_eratosthenes at 0x10185c7d0> = sieve_of_eratosthenes(10)

src/tests/test_eratosthenes.py:27: AssertionError
===================== 1 failed, 172 passed in 0.35 seconds =====================
[TOX] ERROR: InvocationError: '.tox/py27/bin/py.test --doctest-module -v src/eratosthenes.py src/tests'
________________________________ [tox summary] _________________________________
[TOX] ERROR: py27: commands failed

おっと、test_sieve_of_eratosthenes() のテストに失敗したようです。

pytest の結果レポートを表示させるためにあえて失敗させました。詳細は省きますが、len(list(...)) の内部処理が展開されていて、10までの素数は 2, 3, 5, 7 の 4 つ値が返り値だと分かります。このテストは、@pytest.mark.parametrize でパラメーター指定した値が誤っていました。

テストを修正して再実行します。全てパスすると "congratulations :)" と表示されます。

(test)$ tox -e py27
________________________________ [tox sdist] _________________________________
[TOX] ***creating sdist package
... (snip)
========================= 173 passed in 0.34 seconds =========================
_______________________________ [tox summary] ________________________________
[TOX] py27: commands succeeded
[TOX] congratulations :)

tox を使ってテストする

ある Python バージョンで成功したので、他の Python バージョンでもテストを実行してみましょう。"-e" オプションを指定せずに実行すると envlist で定義した全てのバージョンでテストが実行されます。

$ tox
(test)$ tox 
________________________________ [tox sdist] _________________________________
[TOX] ***creating sdist package
[TOX] /Users/t2y/work/repo/misc/tox_test
$ /Users/t2y/.virtualenvs/test/bin/python setup.py sdist --formats=zip --dist-dir .tox/dist >.tox/log/0.log
[TOX] ***copying new sdistfile to '/Users/t2y/.tox/distshare/mytoxtest-0.1.0.zip'
_____________________________ [tox testenv:py26] _____________________________
[TOX] ***reusing existing matching virtualenv py26
[TOX] ***upgrade-installing sdist
...
... (snip)
...
_____________________________ [tox testenv:py27] _____________________________
[TOX] ***reusing existing matching virtualenv py27
[TOX] ***upgrade-installing sdist
...
... (snip)
...
_____________________________ [tox testenv:py32] _____________________________
[TOX] ***reusing existing matching virtualenv py32
[TOX] ***upgrade-installing sdist
...
... (snip)
...
_______________________________ [tox summary] ________________________________
[TOX] py26: commands succeeded
[TOX] py27: commands succeeded
[TOX] py32: commands succeeded
[TOX] congratulations :)
(test)$

Python 2.6, 2.7, 3.2 で全てのテストが成功しました、本当に簡単ですね o(^ ^)o

インデックスサーバーの切り替え

tox.ini で indexserver を指定して、任意の pypi サーバーを設定できます。

[tox]
envlist = py26, py27, py32
indexserver =
    testrun = http://pypi.testrun.org
    pypi = http://pypi.python.org/simple

[testenv]
deps =
 :testrun:pytest
 :pypi:sphinx

pytest や tox の tox.ini を見ると、http://pypi.python.org/ に加えて http://pypi.testrun.org/ も設定されていました。ローカルの pypi ミラーサーバー、もしくは開発版のパッケージを置いておくサーバーなどに活用できます。ローカルに pypi サーバーを構築する方法はまた別の機会に書きます。

まとめ

tox は本当に簡単で便利なツールです。

Python 3 未対応のパッケージに出会ったとき、tox.ini を追加してテスト環境を構築できれば、互換性を保持した上で Python 3 対応を行う敷居が格段に低くなります。さらに pytest の結果レポートの分かりやすさと組み合わせて、失敗するテストを直すのがおもしろくなってきたりします。また tox と pytest 共に開発者が Holger Krekel 氏なので、今後もお互いの親和性を保って拡張されていくように期待できます。

pytest と tox を使って Python 3 対応を本格的に始めてみてはどうでしょうか。

*1:http://d.hatena.ne.jp/t2y-1979/20120209/1328740274

*2:pyrtm の Python 3 対応 - forest book

*3:tox configuration specification — tox 1.7.1 documentation