Benchmark ARC-AGI-2 dirancang untuk menjadi tes yang sulit untuk model AI
Just_super/Getty Images
Model AI paling canggih yang ada saat ini telah mendapat nilai buruk pada tolok ukur baru yang dirancang untuk mengukur kemajuan mereka menuju kecerdasan umum buatan (AGI)-dan kekuatan komputasi brute-force tidak akan cukup untuk meningkat, karena evaluator sekarang mempertimbangkan biaya menjalankan model.
Ada banyak definisi AGI yang bersaing, tetapi umumnya diambil untuk merujuk pada AI yang dapat melakukan tugas kognitif apa pun yang dapat dilakukan manusia. Untuk mengukur ini, ARC Prize Foundation sebelumnya meluncurkan uji kemampuan penalaran yang disebut ARC-AGI-1. Desember lalu, Openai mengumumkan bahwa model O3 -nya telah mendapat skor tinggi pada tes, membuat beberapa orang bertanya apakah perusahaan itu hampir mencapai AGI.
Tapi sekarang tes baru, ARC-AGI-2, telah menaikkan standar. Cukup sulit sehingga tidak ada sistem AI saat ini di pasaran yang dapat mencapai lebih dari satu skor satu digit dari 100 pada tes, sementara setiap pertanyaan telah diselesaikan oleh setidaknya dua manusia dalam kurang dari dua upaya.
Dalam sebuah posting blog yang mengumumkan ARC-AGI-2, Presiden ARC Greg Kamradt mengatakan tolok ukur baru diperlukan untuk menguji berbagai keterampilan dari iterasi sebelumnya. “Untuk mengalahkannya, Anda harus menunjukkan tingkat adaptasi yang tinggi dan efisiensi tinggi,” tulisnya.
Benchmark ARC-AGI-2 berbeda dari tes tolok ukur AI lainnya karena berfokus pada kemampuan model AI untuk menyelesaikan tugas-tugas sederhana-seperti mereplikasi perubahan dalam gambar baru berdasarkan contoh masa lalu dari interpretasi simbolik-daripada kemampuan mereka untuk mencocokkan kinerja PhD yang terkemuka di dunia. Model saat ini bagus dalam “pembelajaran mendalam”, yang diukur ARC-AGI-1, tetapi tidak sebagus tugas yang tampaknya lebih sederhana, yang membutuhkan pemikiran dan interaksi yang lebih menantang, di ARC-AGI-2. Model O3-rendah Openai, misalnya, skor 75,7 persen pada ARC-AGI-1, tetapi hanya 4 persen pada ARC-AGI-2.
Benchmark juga menambahkan dimensi baru untuk mengukur kemampuan AI, dengan melihat efisiensinya dalam pemecahan masalah, yang diukur dengan biaya yang diperlukan untuk menyelesaikan tugas. Misalnya, sementara ARC membayar penguji manusia $ 17 per tugas, ia memperkirakan bahwa O3-rendah biaya OpenAi $ 200 dalam biaya untuk pekerjaan yang sama.
“Saya pikir iterasi baru ARC-AGI sekarang berfokus pada menyeimbangkan kinerja dengan efisiensi adalah langkah besar menuju evaluasi model AI yang lebih realistis,” kata Joseph Imperial di University of Bath, Inggris. “Ini adalah tanda bahwa kami beralih dari tes evaluasi satu dimensi semata-mata berfokus pada kinerja tetapi juga mempertimbangkan kekuatan yang lebih sedikit.”
Setiap model yang mampu lulus ARC-AGI-2 perlu tidak hanya menjadi sangat kompeten, tetapi juga lebih kecil dan ringan, kata Imperial-dengan efisiensi model menjadi komponen kunci dari tolok ukur baru. Ini dapat membantu mengatasi masalah bahwa model AI menjadi lebih intensif energi – – Terkadang sampai pada titik pemborosan-untuk mencapai hasil yang semakin besar.
Namun, tidak semua orang yakin bahwa tindakan baru itu bermanfaat. “Seluruh pembingkaian ini karena menguji intelijen bukanlah pembingkaian yang tepat,” kata Catherine Flick di University of Staffordshire, Inggris. Sebaliknya, dia mengatakan tolok ukur ini hanya menilai kemampuan AI untuk menyelesaikan satu tugas atau set tugas dengan baik, yang kemudian diekstrapolasi untuk berarti kemampuan umum di serangkaian tugas.
Berkinerja baik pada tolok ukur ini tidak boleh dilihat sebagai momen utama menuju AGI, kata Flick: “Anda melihat media mengambil bahwa model-model ini lulus tes intelijen tingkat manusia ini, di mana sebenarnya mereka tidak; apa yang mereka lakukan benar-benar hanya menanggapi dengan cepat secara akurat.”
Dan tepatnya apa yang terjadi jika atau ketika ARC-AGI-2 disahkan adalah pertanyaan lain-apakah kita akan membutuhkan tolok ukur lain? “Jika mereka mengembangkan busur-oli, saya kira mereka akan menambahkan sumbu lain dalam grafik yang menunjukkan jumlah manusia minimum-apakah ahli atau tidak-diperlukan untuk menyelesaikan tugas, di samping kinerja dan efisiensi,” kata Imperial. Dengan kata lain, debat tentang AGI tidak mungkin segera diselesaikan.
Topik:
ADVERTISEMENT:
Hello, para pencinta slots Pernah denger istilah “slot demo”? jika belum, bersiaplah jatuh cinta dengan konsep ini. slot gaco merupakan mesin slot yang sering memberi kemenangan. Yup, slot-slot ini bisa disebut adalah jagoannya tuk bawa come back hasil. but, gimana sih caranya nemuin raja lot yang benar? Santai Bro, kita beri santai aja di tempat ini
Game tergaco saat sekarang hanya satu di Indonesia yaitu pasti menyediakan return on Investment terbaik
Daftarkanlah hanya di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
sewaapartemen permainan paling top dan garansi imbal balik hasil besar bersama sewaapartemen.org
pipapvc permainan paling top dan garansi imbal balik hasil besar bersama pipapvc.org
pialaeropa2028 permainan paling top dan garansi imbal balik hasil besar bersama pialaeropa2028.net
pialadunia2026 permainan paling top dan garansi imbal balik hasil besar bersama pialadunia2026.asia
bahanbangunan permainan paling top dan garansi imbal balik hasil besar bersama bahanbangunan.org
gemini999 permainan paling top dan garansi imbal balik hasil besar bersama gemini999.org
havana888 permainan paling top dan garansi imbal balik hasil besar bersama havana888.net
indonesia88 permainan paling top dan garansi imbal balik hasil besar bersama indonesia88.info
inspirasi permainan paling top dan garansi imbal balik hasil besar bersama inspirasi.info
jokiwin88 permainan paling top dan garansi imbal balik hasil besar bersama jokiwin88.org
oli88 permainan paling top dan garansi imbal balik hasil besar bersama oli88.org
situs88 permainan paling top dan garansi imbal balik hasil besar bersama situs88.asia
transfermarkt88 permainan paling top dan garansi imbal balik hasil besar bersama transfermarkt88.com
rossi46 permainan paling top dan garansi imbal balik hasil besar bersama rossi46.com
pecco88 permainan paling top dan garansi imbal balik hasil besar bersama pecco88.com
pecco permainan paling top dan garansi imbal balik hasil besar bersama pecco.asia
pangkas permainan paling top dan garansi imbal balik hasil besar bersama pangkas.net
facebook88 permainan paling top dan garansi imbal balik hasil besar bersama facebook88.com
depo88 permainan paling top dan garansi imbal balik hasil besar bersama depo88.asia
bajaringan88 permainan paling top dan garansi imbal balik hasil besar bersama bajaringan88.com
baja ringan permainan paling top dan garansi imbal balik hasil besar bersama bajaringan.asia
tradingview88 permainan paling top dan garansi imbal balik hasil besar bersama tradingview88.com
trading88 permainan paling top dan garansi imbal balik hasil besar bersama trading88.org
tokopedia88 permainan paling top dan garansi imbal balik hasil besar bersama tokopedia88.net
kualifikasi permainan paling top dan garansi imbal balik hasil besar bersama kualifikasi.net
grosirboneka permainan paling top dan garansi imbal balik hasil besar bersama grosirboneka.net
situsgacor permainan paling top dan garansi imbal balik hasil besar bersama situsgacor.news
prediksi88 permainan paling top dan garansi imbal balik hasil besar bersama prediksi88.biz
keramat88 permainan paling top dan garansi imbal balik hasil besar bersama keramat88.biz
cnn88 permainan paling top dan garansi imbal balik hasil besar bersama cnn88.asia
cnbc88 permainan paling top dan garansi imbal balik hasil besar bersama cnbc88.com
bloomberg88 permainan paling top dan garansi imbal balik hasil besar bersama bloomberg88.com
antibocor88 permainan paling top dan garansi imbal balik hasil besar bersama antibocor88.com
buku88 permainan paling top dan garansi imbal balik hasil besar bersama buku88.org
dukun88 permainan paling top dan garansi imbal balik hasil besar bersama dukun88.info
indodax88 permainan paling top dan garansi imbal balik hasil besar bersama indodax88.net
investing88 permainan paling top dan garansi imbal balik hasil besar bersama investing88.net
makanan88 permainan paling top dan garansi imbal balik hasil besar bersama makanan88.net
pakaian88 permainan paling top dan garansi imbal balik hasil besar bersama pakaian88.com
rambo88 permainan paling top dan garansi imbal balik hasil besar bersama rambo88.info
santet88 permainan paling top dan garansi imbal balik hasil besar bersama santet88.net
sekolah88 permainan paling top dan garansi imbal balik hasil besar bersama sekolah88.org
uno88 permainan paling top dan garansi imbal balik hasil besar bersama uno88.info
starlink88 permainan paling top dan garansi imbal balik hasil besar bersama starlink88.org
solitaire88 permainan paling top dan garansi imbal balik hasil besar bersama solitaire88.net
roblox88 permainan paling top dan garansi imbal balik hasil besar bersama roblox88.org
pubg88 permainan paling top dan garansi imbal balik hasil besar bersama pubg88.info
motogp88 permainan paling top dan garansi imbal balik hasil besar bersama motogp88.net
motivasi88 permainan paling top dan garansi imbal balik hasil besar bersama motivasi88.com
mobilelegends88 permainan paling top dan garansi imbal balik hasil besar bersama mobilelegends88.com
ludoking permainan paling top dan garansi imbal balik hasil besar bersama ludoking.asia
kucing88 permainan paling top dan garansi imbal balik hasil besar bersama kucing88.asia
kucing permainan paling top dan garansi imbal balik hasil besar bersama kucing.info
klasmen88 permainan paling top dan garansi imbal balik hasil besar bersama klasmen88.com
imdb88 permainan paling top dan garansi imbal balik hasil besar bersama imdb88.net
higgsdomino permainan paling top dan garansi imbal balik hasil besar bersama higgsdomino.biz
gmail88 permainan paling top dan garansi imbal balik hasil besar bersama gmail88.org
gmail88 permainan paling top dan garansi imbal balik hasil besar bersama gmail88.net
chess88 permainan paling top dan garansi imbal balik hasil besar bersama chess88.info
callofduty88 permainan paling top dan garansi imbal balik hasil besar bersama callofduty88.com
semen88 permainan paling top dan garansi imbal balik hasil besar bersama semen88.com
seluler88 permainan paling top dan garansi imbal balik hasil besar bersama seluler88.com
ram88 permainan paling top dan garansi imbal balik hasil besar bersama ram88.net
pasir88 permainan paling top dan garansi imbal balik hasil besar bersama pasir88.asia
papan88 permainan paling top dan garansi imbal balik hasil besar bersama papan88.info
komputer88 permainan paling top dan garansi imbal balik hasil besar bersama komputer88.net
kayu88 permainan paling top dan garansi imbal balik hasil besar bersama kayu88.info
kabel88 permainan paling top dan garansi imbal balik hasil besar bersama kabel88.net
gaming88 permainan paling top dan garansi imbal balik hasil besar bersama gaming88.asia
games88 permainan paling top dan garansi imbal balik hasil besar bersama games88.info
beton88 permainan paling top dan garansi imbal balik hasil besar bersama beton88.lat
teknis88 permainan paling top dan garansi imbal balik hasil besar bersama teknis88.com
sarana88 permainan paling top dan garansi imbal balik hasil besar bersama sarana88.info
arena88 permainan paling top dan garansi imbal balik hasil besar bersama arena88.asia
viral888 permainan paling top dan garansi imbal balik hasil besar bersama viral888.asia
usdt88 permainan paling top dan garansi imbal balik hasil besar bersama usdt88.net
uang88 permainan paling top dan garansi imbal balik hasil besar bersama uang88.asia
twitter88 permainan paling top dan garansi imbal balik hasil besar bersama twitter88.asia
tahanlama88 permainan paling top dan garansi imbal balik hasil besar bersama tahanlama88.com
suka88 permainan paling top dan garansi imbal balik hasil besar bersama suka88.biz
sekali88 permainan paling top dan garansi imbal balik hasil besar bersama sekali88.org
plafonpvc permainan paling top dan garansi imbal balik hasil besar bersama plafonpvc.net
pinjol88 permainan paling top dan garansi imbal balik hasil besar bersama pinjol88.asia
mpox88 permainan paling top dan garansi imbal balik hasil besar bersama mpox88.com
daun88 permainan paling top dan garansi imbal balik hasil besar bersama daun88.asia
wordpress88 permainan paling top dan garansi imbal balik hasil besar bersama wordpress88.net
whatsapp88 permainan paling top dan garansi imbal balik hasil besar bersama whatsapp88.net
wechat88 permainan paling top dan garansi imbal balik hasil besar bersama wechat88.net
telegram88 permainan paling top dan garansi imbal balik hasil besar bersama telegram88.org
super888 permainan paling top dan garansi imbal balik hasil besar bersama super888.asia
skype88 permainan paling top dan garansi imbal balik hasil besar bersama skype88.com
racing88 permainan paling top dan garansi imbal balik hasil besar bersama racing88.asia
pupuk88 permainan paling top dan garansi imbal balik hasil besar bersama pupuk88.net
petani888 permainan paling top dan garansi imbal balik hasil besar bersama petani888.org
pabrik88 permainan paling top dan garansi imbal balik hasil besar bersama pabrik88.asia
organik88 permainan paling top dan garansi imbal balik hasil besar bersama organik88.com
online77 permainan paling top dan garansi imbal balik hasil besar bersama online77.info
ojek88 permainan paling top dan garansi imbal balik hasil besar bersama ojek88.info
nostalgia88 permainan paling top dan garansi imbal balik hasil besar bersama nostalgia88.com
michat permainan paling top dan garansi imbal balik hasil besar bersama michat.info
