Saya menguji Grok 3, dan tidak sebanding dengan kenaikan harga

---

Awal pekan ini, XAI merilis Grok 3, AI paling canggih di perusahaan, lengkap dengan model penalaran dan fitur DeepSearch. Perusahaan mengklaim bahwa itu adalah “AI paling cerdas di dunia,” dan Elon sendiri mengatakan itu “mengungguli apa pun yang telah dirilis” sejauh ini. Tapi apakah itu benar-benar “AI yang mencari kebenaran”, Musk mengatakan itu?

Nah, untuk merusaknya untukmu, tidak. Belum. Yang memalukan, karena Grok mahal – di luar uji coba gratis terbatas, itu membutuhkan langganan+ premium+ premium x $ 40/bulan, naik dari $ 22 berkat model baru, atau langganan Supergrok $ 30/bulan.

Dari kedua pengujian saya maupun eksperimen dari para ahli, saya kesulitan mempercayai AI “berbasis” sepadan dengan biaya itu. Tidak ada terobosan generasi berikutnya atau model penalaran inovatif yang belum pernah kita lihat sebelumnya di sini. Grok 3 juga masih berhalusinasi secara berkala, seperti model AI lainnya di luar sana, tapi itu tidak berarti itu tidak membaik.

Dalam tes benchmark X sendiri, Grok 3 pada dasarnya mengalahkan setiap model di luar sana kecuali model O3 Openai yang akan datang. Tetapi dari sudut pandang pengguna, aplikasi AI jauh melampaui tolok ukur.

AI Chatbot yang baik adalah produk yang matang dan berpengetahuan luas. Setelah menghabiskan uang saya sendiri untuk menguji ini, saya hanya tidak merasa seperti saya mendapatkannya di sini, terutama ketika kompetisi menawarkan produk yang serupa atau bahkan lebih baik dengan harga lebih sedikit.

Grok 3 secara teknis telah menyusul

Yang terbaik adalah mengesampingkan klaim aneh Elon ketika mengevaluasi Grok 3. Melihatnya secara objektif, sangat mengesankan bahwa Grok 3 telah menyusul berada di perbatasan kekuatan AI, dan secara mengejutkan dengan cepat (Grok 2 tidak pernah berada di liga besar).

Grok 3 dilatih menggunakan 200.000 GPU NVIDIA H100, dan menggunakan lebih dari 10 kali komputasi sebagai Grok 2. Semua kekuatan itu berarti keuntungan. Grok 3 sekarang cukup cepat, dan banyak yang dapat digunakan untuk tugas-tugas sehari-hari yang teratur. Respons reguler cepat, meskipun fitur Think (yang memberikan respons yang sedikit lebih rinci) secara teratur membutuhkan waktu sekitar 2 menit untuk kembali dengan jawaban, jadi bersiaplah untuk menunggu.

Plus, ini dapat melakukan penelitian yang mendalam menggunakan sumber web, dan juga memiliki model penalaran yang spesifik. Itu berarti dapat memuntahkan laporan yang panjang dan memecah permintaan ke dalam proses langkah demi langkah sehingga dapat memperbaiki diri. Model O3 Openai, yang akan segera dirilis secara penuh, masih melampaui Grok 3 dalam tolok ukur, tetapi ini merupakan peningkatan yang signifikan atas pendahulunya.

Tweet ini saat ini tidak tersedia. Mungkin dimuat atau telah dilepas.

Tetapi sementara grafik mengatakan Grok 3 seharusnya mengungguli ChatGPT, Gemini, dan Sonnet dalam tugas-tugas komputasi yang terkait dengan matematika, sains, dan pengkodean, laporan awal dari para ahli tidak persis mendorong kepercayaan diri.

Misalnya, pengguna x, CEO AI, dan YouTuber Theo Browne membandingkan respons dengan tantangan pengkodean antara Grok 3, O3-Mini, dan Claude 3,5 sonnet, dan Grok 3 berkinerja cukup menyedihkan, gagal berjalan tanpa bug selama lebih dari beberapa detik .

Tweet ini saat ini tidak tersedia. Mungkin dimuat atau telah dilepas.

Andrej Karpathy, sebelumnya seorang direktur AI di Tesla, sebaliknya mengatakan bahwa Grok 3 berkinerja cukup baik dalam pengujiannya, tetapi keterampilannya terletak di antara Deepseek R1 dan O1-Pro Openai. Tentu saja tidak memimpin kelas, dan tidak ada yang tidak dapat Anda lakukan dengan alat yang ada.

Tapi satu tes, bahkan beberapa dari mereka, tidak dapat benar -benar menentukan bagaimana kinerja model AI. Saya memang beruntung dengan itu sendiri, tetapi sebagian besar untuk tugas yang lebih ringan. Ini dapat membantu ketika meneliti pemurni udara baru mana yang akan dibeli, misalnya, atau ketika dengan santai belajar tentang subjek baru. Tapi itu bukan sesuatu yang ingin saya buka dompet saya.

Grok tidak “berbasis,” itu sebenarnya cukup membosankan

Sebelum Grok 3 diluncurkan, Musk membuat masalah besar tentang bagaimana “didasarkan” itu. Jika Anda tidak tahu apa artinya berdasarkan (beruntung Anda), ini adalah istilah slang untuk, pada dasarnya, berbagi pendapat Anda tanpa memperhatikan orang lain. Sebagai contoh, Musk berbagi tangkapan layar yang menunjukkan respons provokatif dari Grok di mana ia disebut publikasi teknologi informasi “sampah”, di antara penghinaan lainnya.

Tweet ini saat ini tidak tersedia. Mungkin dimuat atau telah dilepas.

Tetapi ketika saya mengajukan pertanyaan yang sama, itu kembali dengan respons yang bernuansa dan seimbang, tidak memanggil informasi untuk banyak hal. Satu-satunya kritik yang dimilikinya adalah bahwa situs web “kadang-kadang dapat merasakan ceruk sedikit atau terlalu silikon-valley-sentris” dan “bijaksana, itu bersandar pragmatis daripada ideologis”. Itu pengambilan yang sangat pemalu, jika Anda bertanya kepada saya.

Saya mendapat hasil serupa dalam tes lain. Grok tidak akan memihak dalam gugatan Justin Baldoni vs Blake Lively. Dan ketika saya mengajukan pertanyaan politik seperti “Mengapa Kamala Harris kehilangan pemilihan presiden AS,” Saya mendapat jawaban yang sama -sama tenang, mengutip “frustrasi ekonomi.” Pelaporan dari Axios cocok dengan apa yang saya temukan juga.

Mungkin Grok memanggil kembali keeksentrik Elon adalah hal yang baik, tetapi tentu saja bukan apa yang dikatakan oleh tuannya. Sebaliknya, itu sekali lagi terlihat sangat mirip dengan kompetisi.

Seberapa dalam pencarian Anda?

Ketika datang ke DeepSearch, alat pembangkit laporan Grok bekerja sangat mirip dengan fitur penelitian mendalam yang baru diluncurkan dan kebanyakan. Sebagai seorang jurnalis teknologi yang sederhana, ini adalah sesuatu yang saya bisa uji diri. Saya menjalankan dua pertanyaan, satu untuk perjalanan yang direncanakan keluarga saya untuk akhir tahun, dan satu untuk sepeda hybrid perkotaan.

Dalam kedua kasus, AI kebingungan melakukan sedikit lebih baik daripada grok pada sebagian besar tugas. Dengan pertanyaan perjalanan, pada dasarnya saya mendapatkan rencana perjalanan yang sama dari kedua produk, tetapi AI yang bingung melakukan pekerjaan yang lebih baik dalam pemformatan.

Grok memang melampaui dan melampaui merekomendasikan opsi lain di India selatan, sesuatu yang kebingungan hanya memberikan pertanyaan tindak lanjut. Jadi, saya harus memberikan alat peraga di sana.

Namun, ketika datang ke penelitian belanja, Grok mengacaukan rekomendasi produk teratas. Produk yang disarankan tidak tersedia di India, tempat saya tinggal, dan opsi lainnya tidak ingin saya cari.

AI kebingungan, sementara itu, mengejutkan saya dengan pilihan teratasnya, sesuatu yang tidak saya ketahui tentang itu memeriksa sebagian besar kotak saya. Pilihan lain juga menarik, dan tidak termasuk apa pun yang tidak tersedia di India. Baik Grok dan Kebingungan melakukan pekerjaan yang baik untuk menjelaskan apa yang harus saya cari ketika membeli sepeda perkotaan, jadi poin yang sama di sana, tetapi yang terakhir jauh lebih bermanfaat.

Berdasarkan pengujian saya, saya merasa seperti kebingungan AI masih memiliki keunggulan atas Grok 3 dalam hal penelitian yang mendalam yang sebenarnya berguna bagi orang kebanyakan. Apakah itu merencanakan perjalanan, penelitian belanja, atau memahami berita atau konsep, kebingungan melakukan pekerjaan yang lebih bernuansa. Ketika datang ke kecepatan semata, Grok lebih cepat dan tidak takut untuk memberikan tautan dalam teks itu sendiri, tetapi dalam kebingungan, mengklik teks yang ditautkan sebenarnya mengembang pada subjek dalam laporan.

Kebingungan juga memiliki lebih banyak opsi ekspor. Anda dapat mengunduh laporan Anda sebagai PDF, dalam Markdown, atau membuat halaman yang dapat dibagikan (inilah laporan saya untuk penelitian siklus perkotaan jika Anda tertarik). Di Grok, yang dapat Anda lakukan hanyalah menyalin teks.

Apa artinya semua itu? Nah, sementara Grok tentu saja dapat digunakan, agak mengecewakan melihat penawaran berbayar gagal untuk mengikuti alternatif gratis. Itu adalah sesuatu yang saya rasa saya terus menabrak di sini.

Grok 3 tidak sepadan dengan harga masuk

Saat ini, kita berada di tengah siklus hype Grok 3. Grok 3 sendiri meningkat setiap hari, tetapi seiring berjalannya waktu, tidak perlu bagi Anda untuk kehabisan dan membatalkan langganan chatgpt plus atau keberanian Anda. Dalam banyak hal, Grok bagus, tidak itu Bagus.

Jika Anda mau, Anda dapat untuk sementara waktu mencoba Grok 3 secara gratis, karena X memungkinkan akses gratis terbatas sampai servernya tidak dapat menangani beban. Kapan periode itu akan berakhir? Siapa tahu. Menurut akun Musk X, itu hanya akan gratis untuk “waktu singkat.”

Selain itu, selain dari kinerja model, Grok 3 juga tidak memiliki beberapa fitur dari aplikasi AI yang lebih mapan. Tidak ada mode suara, dan semua yang Anda dapatkan akses saat ini hanyalah model Full Grok 3. Mini Grok 3 yang lebih cepat masih akan dirilis, dan juga tidak ada API untuk Grok 3.

Ketika Anda mempertimbangkan harga untuk akses penuh, Grok 3 bahkan lebih tidak masuk akal. $ 40 per bulan untuk paket X Premium+ adalah dua kali lipat standar industri $ 20 untuk Gemini Advanced, ChatGPT Plus, dan Perplexity Pro. Dan begitu periode uji coba gratis selesai, rencana X Premium+ Mahal akan menjadi satu -satunya cara untuk mengakses Grok 3 sampai langganan Supergrok $ 30 ditayangkan untuk semua orang (paket Supergrok hanya memberi Anda akses ke Grok 3, tetapi tidak ada premi X fitur).

Dan seperti yang berdiri, Anda tidak benar -benar mendapatkan dua kali lipat nilai uang. Faktanya, dalam banyak kasus, Anda bisa mendapatkan dengan menggunakan model gratis seperti Deepseek R1 sebagai gantinya (meskipun, Anda mungkin memiliki pengalaman yang lebih baik menggunakannya melalui aplikasi pihak ketiga).