ReplitX
Replit、AIの長期的なソフトウェア開発力を測る「ViBench 2.0」を公開
表示6,921リポスト14いいね38
保存・既読はこの端末のブラウザにのみ記録されます。コピーには記事の公開情報のみが含まれます。保存データの管理 →
専門用語をかみ砕いて、仕事で使える言い方にしています。
結論
AIが最初から最後まで製品を作り切る能力を測る新しいテストが公開されました。
AIはまだ完璧ではなく、最高性能のものでも成功率は約半分にとどまります。
今回の結果は、Fireworks AIの専門指数にも公式データとして組み込まれました。
詳細内容
AIは最初から空のプロジェクト状態からスタートし、先の展開が見えない中で1つずつ機能を追加して製品全体を構築します。
現時点で最も優秀とされる主要なAIモデルでも、すべてのチェック項目をクリアできたのは49パーセントから65パーセント程度でした。
開発を進める上でのAIの弱点や、長期的なプロジェクトをどこまで任せられるかを客観的に評価するための指標となります。
使えるシチュエーション
- 1大規模なシステム開発でAIを導入する際の性能比較
- 2AIに一連のアプリ開発をどの程度任せられるかの見極め
- 3最新のAIモデルの進化スピードや実用性の確認