Dequeが主張する自動アクセシビリティチェックのカバレッジ

axeでおなじみのDequeがThe Automated Accessibility Coverage Reportというページを公開していることを最近知りました。

自動のアクセシビリティテストは、アクセシビリティの問題の20～30％しかカバーできないと言われています。これは、Accessibility in government - GOV.UK blogsの2017年の記事や、LinkedIn Engineering Blogの2020年の記事で言われていることです（この数値の元ソースをいまさらながら知りました）。

しかし、このDequeの記事では、57％のアクセシビリティの問題を検出できると主張しています。これは、2021年のDequeのBlog記事で言及されています。

ここでは、WCAGの達成基準の数ではなく、実ページ上の問題の総数や、重要度に基づいて計測すべきとDequeは主張しているようです。では、どうやってこのパーセンテージを算出したのか？という細かな情報を見つけることはできませんでした。

算出手法が明らかでない以上、どこまで57％という値を信用してよいのか...という疑問はついて回りますが、20～30％と言われているパーセンテージよりかは問題を検出できるという主張自体は、サイトによる面はありますが、そこまで盛った数字というわけでもないと個人的は思います。

たとえ額面通り57％の問題が見つけることができるとしても、残りの4割ほどの問題は自動的には見つけることができないわけですから、やはり人間による手動のアクセシビリティテストが必要になってくることになります。一方で見方を変えると、手動のアクセシビリティテストに頼ることなく、サイト全体の約半分の問題は自動的に検出できるという捉え方もできるでしょう。いずれにせよ、自動のアクセシビリティテストで見つかった問題に対処することは、サイト上のアクセシビリティを保つために必要であることだけは、間違いないと言えると考えます。