コード生成

AIのコード生成精度を実行テストで評価するHumanEvalの仕組み。OpenAIの164問のテストセットを対象に、サンプリングによるPass@k（Pass@1/10/100）の不偏推定量計算式や測定の留意点を整理します。