Sejarah OpenAI AI Pencipta ChatGPT yang Lagi Viral

Campusnesia.co.id - Di twitter sedang ramai dibicarakan tentang website berbasis Ai yang bisa menuliskan artikel panjang hanya dengan beberapa kata sebagai clue.

Lalu banyak pula yang membicarakan sebuah perusahaan penelitian bernama OpenAI yang telah melahirkan ChatGPT, chat dengan kecerdasan buatan.

Lewat postingan kali ini, kami kutip dari lama openai.com dan wikipedia.org berikut kami hadirkan Mengenal OpenAI AI Pencipta ChatGPT yang Lagi Viral.

Tentang OpenAI

OpenAI adalah laboratorium penelitian kecerdasan buatan (AI) yang terdiri dari perusahaan nirlaba OpenAI LP dan perusahaan induknya, OpenAI Inc. nirlaba. Perusahaan, yang dianggap sebagai pesaing DeepMind, melakukan penelitian di bidang AI dengan menyatakan tujuan mempromosikan dan mengembangkan AI ramah dengan cara yang bermanfaat bagi umat manusia secara keseluruhan.

Organisasi ini didirikan di San Francisco pada akhir 2015 oleh Elon Musk, Sam Altman, dan lainnya, yang secara kolektif menjanjikan US$1 miliar. Musk mengundurkan diri dari dewan pada Februari 2018 tetapi tetap menjadi donor. Pada 2019, OpenAI LP menerima investasi US$1 miliar dari Microsoft.

Sejarah OpenAI

Pada bulan Desember 2015, Elon Musk, Sam Altman, dan investor lainnya mengumumkan pembentukan OpenAI dan menjanjikan lebih dari US$1 miliar untuk usaha tersebut. Organisasi tersebut menyatakan akan "freely collaborate" dengan institusi dan peneliti lain dengan membuat paten dan penelitiannya terbuka untuk umum.

Pada tanggal 27 April 2016, OpenAI merilis versi beta publik "OpenAI Gym", platformnya untuk penelitian pembelajaran penguatan.

Pada tanggal 5 Desember 2016, OpenAI merilis "Universe", sebuah platform perangkat lunak untuk mengukur dan melatih kecerdasan umum AI di seluruh pasokan game, situs web, dan aplikasi dunia lainnya.

Pada 21 Februari 2018, Musk mengundurkan diri dari kursi dewannya, dengan alasan "potensi konflik (kepentingan) di masa depan" dengan pengembangan Tesla AI untuk mobil self-driving, tetapi tetap menjadi donor.

Pada tahun 2019, OpenAI beralih dari nirlaba menjadi "dibatasi" untuk laba, dengan batas laba ditetapkan menjadi 100X untuk investasi apa pun. Perusahaan membagikan ekuitas kepada karyawannya dan bermitra dengan Microsoft Corporation, yang mengumumkan paket investasi sebesar US$1 miliar ke dalam perusahaan. OpenAI kemudian mengumumkan niatnya untuk melisensikan teknologinya secara komersial, dengan Microsoft sebagai mitra pilihannya.

Pada tahun 2020, OpenAI berkantor pusat di Distrik Misi San Francisco, dan berbagi bekas gedung Pioneer Trunk Factory dengan Neuralink, perusahaan lain yang didirikan bersama oleh Musk.

Pada Juni 2020, OpenAI mengumumkan GPT-3, model bahasa yang dilatih untuk triliunan kata dari Internet. Ia juga mengumumkan bahwa API terkait, yang diberi nama sederhana "API", akan menjadi jantung dari produk komersial pertamanya. GPT-3 ditujukan untuk menjawab pertanyaan dengan bahasa alami, tetapi juga dapat menerjemahkan antar bahasa dan menghasilkan teks improvisasi secara koheren.

Pada Januari 2021, OpenAI memperkenalkan DALL-E. Satu tahun kemudian, sistem terbaru mereka, DALL·E 2, menghasilkan gambar yang lebih realistis dan akurat dengan resolusi 4x lebih besar.

Pada November 2022, OpenAI membuka ChatGPT yang berinteraksi menggunakan percakapan untuk masyarakat umum.

Orang-orang yang terlibat

CEO dan salah satu pendiri: Sam Altman, mantan presiden akselerator startup Y Combinator

Presiden dan salah satu pendiri: Greg Brockman, mantan CTO, karyawan ke-3 Stripe

Kepala Ilmuwan dan salah satu pendiri Ilya Sutskever, mantan pakar Google dalam pembelajaran mesin

Chief Technology Officer: Mira Murati, sebelumnya di Leap Motion dan Tesla, Inc.

Chief Operating Officer: Brad Lightcap, sebelumnya di Y Combinator dan JPMorgan Chase

Pendukung proyek lainnya termasuk:

Reid Hoffman, salah satu pendiri LinkedIn

Peter Thiel, salah satu pendiri PayPal

Jessica Livingston, mitra pendiri Y Combinator

Perusahaan:

Infosys, salah satu perusahaan IT terbesar di India

Divisi layanan cloud Microsoft

Kelompok ini dimulai pada awal Januari 2016 dengan sembilan peneliti. Menurut Wired, Brockman bertemu dengan Yoshua Bengio, salah satu "bapak pendiri" dari gerakan pembelajaran mendalam, dan menyusun daftar "peneliti terbaik di lapangan".

Peter Lee dari Microsoft menyatakan bahwa biaya peneliti AI top melebihi biaya prospek quarterback NFL teratas. Sementara OpenAI membayar gaji tingkat perusahaan (bukan tingkat nirlaba), saat ini OpenAI tidak membayar gaji peneliti AI yang sebanding dengan Facebook atau Google.

Namun demikian, Sutskever menyatakan bahwa dia bersedia meninggalkan Google untuk OpenAI "sebagian karena kelompok orang yang sangat kuat dan, sebagian besar, karena misinya." Brockman menyatakan bahwa "hal terbaik yang dapat saya bayangkan lakukan adalah mendekatkan umat manusia untuk membangun AI nyata dengan cara yang aman." Peneliti OpenAI Wojciech Zaremba menyatakan bahwa dia menolak tawaran "gila batas" dua hingga tiga kali lipat dari nilai pasarnya untuk bergabung dengan OpenAI.

Produk dan aplikasi

Penelitian OpenAI cenderung berfokus pada pembelajaran penguatan. OpenAI dipandang sebagai pesaing penting bagi DeepMind.

1. Gym

Gym bertujuan untuk menyediakan tolok ukur kecerdasan umum yang mudah diatur dengan berbagai macam lingkungan yang berbeda—agak mirip, tetapi lebih luas daripada, Tantangan Pengenalan Visual Skala Besar ImageNet yang digunakan dalam penelitian pembelajaran yang diawasi—dan berharap untuk menstandarkan cara di mana lingkungan didefinisikan dalam publikasi penelitian AI, sehingga penelitian yang diterbitkan menjadi lebih mudah direproduksi.

Proyek mengklaim untuk menyediakan pengguna dengan antarmuka yang sederhana. Mulai Juni 2017, Gym hanya dapat digunakan dengan Python. Mulai September 2017, situs dokumentasi Gym tidak dikelola, dan pekerjaan aktif difokuskan pada halaman GitHub-nya.

2. RoboSumo

Dalam "RoboSumo", robot "metalearning" humanoid virtual awalnya tidak memiliki pengetahuan tentang cara berjalan, dan diberi tujuan untuk belajar bergerak, dan mendorong agen lawan keluar dari ring.

Melalui proses pembelajaran permusuhan ini, agen belajar bagaimana beradaptasi dengan kondisi yang berubah; ketika sebuah agen kemudian dikeluarkan dari lingkungan virtual ini dan ditempatkan di lingkungan virtual baru dengan angin kencang, agen tersebut bersiap untuk tetap tegak, menunjukkan bahwa ia telah belajar bagaimana menyeimbangkan dengan cara yang umum.

Igor Mordatch dari OpenAI berpendapat bahwa persaingan antar agen dapat menciptakan "perlombaan senjata" intelijen yang dapat meningkatkan kemampuan agen untuk berfungsi, bahkan di luar konteks persaingan.

3. Debate Game

Pada tahun 2018, OpenAI meluncurkan Debate Game, yang mengajarkan mesin untuk memperdebatkan masalah mainan di depan hakim manusia. Tujuannya adalah untuk meneliti apakah pendekatan semacam itu dapat membantu dalam mengaudit keputusan AI dan dalam mengembangkan AI yang dapat dijelaskan.

4. Dactyl

Dactyl menggunakan pembelajaran mesin untuk melatih Tangan Bayangan, tangan robot mirip manusia, untuk memanipulasi objek fisik. Ia belajar sepenuhnya dalam simulasi menggunakan algoritme pembelajaran penguatan dan kode pelatihan yang sama dengan OpenAI Five.

OpenAI menangani masalah orientasi objek dengan menggunakan pengacakan domain, sebuah pendekatan simulasi yang menghadapkan pelajar ke berbagai pengalaman daripada mencoba menyesuaikan diri dengan kenyataan.

Pengaturan untuk Dactyl, selain memiliki kamera pelacak gerak, juga memiliki kamera RGB untuk memungkinkan robot memanipulasi objek sewenang-wenang dengan melihatnya. Pada tahun 2018, OpenAI menunjukkan bahwa sistem tersebut mampu memanipulasi kubus dan prisma segi delapan.

Pada tahun 2019, OpenAI mendemonstrasikan bahwa Dactyl dapat memecahkan Rubik's Cube. Robot mampu memecahkan teka-teki 60% dari waktu. Objek seperti Kubus Rubik memperkenalkan fisika kompleks yang lebih sulit untuk dimodelkan.

OpenAI memecahkan ini dengan meningkatkan ketahanan Dactyl terhadap gangguan; mereka menggunakan teknik yang disebut Pengacakan Domain Otomatis (ADR), sebuah pendekatan simulasi di mana lingkungan yang semakin sulit dihasilkan tanpa henti. ADR berbeda dari pengacakan domain manual karena tidak memerlukan manusia untuk menentukan rentang pengacakan.

5. Generative models

GPT

Makalah asli tentang pra-pelatihan generatif (GPT) model bahasa ditulis oleh Alec Radford dan rekannya, dan diterbitkan dalam pracetak di situs web OpenAI pada 11 Juni 2018.

Ini menunjukkan bagaimana model bahasa generatif mampu memperoleh pengetahuan dunia dan memproses ketergantungan jangka panjang dengan pra-pelatihan pada korpus yang beragam dengan bentangan panjang teks yang berdekatan.

GPT-2

Generatif Pre-trained Transformer 2, umumnya dikenal dengan singkatannya GPT-2, adalah model bahasa transformer tanpa pengawasan dan penerus GPT. GPT-2 pertama kali diumumkan pada Februari 2019, dengan hanya versi demonstratif terbatas yang awalnya dirilis ke publik.

Versi lengkap GPT-2 tidak segera dirilis karena khawatir akan potensi penyalahgunaan, termasuk aplikasi untuk menulis berita palsu. Beberapa ahli menyatakan skeptis bahwa GPT-2 merupakan ancaman yang signifikan. Allen Institute for Artificial Intelligence menanggapi GPT-2 dengan alat untuk mendeteksi "berita palsu saraf".

Peneliti lain, seperti Jeremy Howard, memperingatkan tentang "teknologi untuk benar-benar mengisi Twitter, email, dan web dengan prosa yang terdengar masuk akal, sesuai konteks, yang akan menenggelamkan semua ucapan lain dan tidak mungkin untuk disaring".

Pada November 2019, OpenAI merilis versi lengkap dari model bahasa GPT-2. Beberapa situs web menyelenggarakan demonstrasi interaktif dari contoh GPT-2 yang berbeda dan model transformator lainnya.

Penulis GPT-2 berpendapat model bahasa tanpa pengawasan menjadi pembelajar tujuan umum, diilustrasikan oleh GPT-2 yang mencapai akurasi dan kebingungan yang canggih pada 7 dari 8 tugas zero-shot (yaitu model tidak dilatih lebih lanjut pada tugas apa pun - contoh input-output tertentu).

Korpus tempat pelatihannya, disebut WebText, berisi lebih dari 8 juta dokumen dengan total 40 GB teks dari URL yang dibagikan dalam kiriman Reddit dengan setidaknya 3 suara positif. Itu menghindari masalah tertentu pengkodean kosa kata dengan token kata dengan menggunakan pengkodean pasangan byte. Hal ini memungkinkan untuk mewakili rangkaian karakter apa pun dengan menyandikan karakter individu dan token multi-karakter.

GPT-3

Generatif Pre-trained Transformer 3, umumnya dikenal dengan singkatannya GPT-3, adalah model bahasa Transformer tanpa pengawasan dan penerus GPT-2. Ini pertama kali dijelaskan pada Mei 2020. OpenAI menyatakan bahwa versi lengkap GPT-3 berisi 175 miliar parameter, dua kali lipat lebih besar dari 1,5 miliar parameter dalam versi lengkap GPT-2 (walaupun model GPT-3 hanya memiliki 125 juta parameter juga dilatih).

OpenAI menyatakan bahwa GPT-3 berhasil dalam tugas "meta-learning" tertentu. Itu dapat menggeneralisasi tujuan dari pasangan input-output tunggal. Makalah ini memberikan contoh pembelajaran terjemahan dan transfer lintas bahasa antara bahasa Inggris dan Rumania, dan antara bahasa Inggris dan Jerman.

GPT-3 secara dramatis meningkatkan hasil benchmark dibandingkan GPT-2. OpenAI memperingatkan bahwa peningkatan model bahasa seperti itu dapat mendekati atau menghadapi keterbatasan kemampuan mendasar dari model bahasa prediktif.

Pra-pelatihan GPT-3 membutuhkan komputasi beberapa ribu petaflop/s-hari, dibandingkan dengan puluhan petaflop/s-hari untuk model GPT-2 penuh.

Seperti pendahulunya, model GPT-3 yang sepenuhnya terlatih tidak segera dirilis ke publik karena kemungkinan penyalahgunaan, meskipun OpenAI berencana untuk mengizinkan akses melalui API cloud berbayar setelah beta pribadi gratis selama dua bulan yang dimulai. pada Juni 2020.

Pada tanggal 23 September 2020, GPT-3 dilisensikan secara eksklusif kepada Microsoft.

Music

API

DALL-E and CLIP

Microscop

Codex

Video game bots and benchmarks

Contoh Aplikasi OpenAI

Q&A

Answer questions based on existing knowledge.

Grammar correction

Corrects sentences into standard English.

Summarize for a 2nd grader

Translates difficult text into simpler concepts.

Natural language to OpenAI API

Create code to call to the OpenAI API using a natural language instruction.

Text to command

Translate text into programmatic commands.

English to other languages

Translates English text into French, Spanish and Japanese.

Natural language to Stripe API

Create code to call the Stripe API using natural language.

SQL translate

Translate natural language to SQL queries.

Parse unstructured data

Create tables from long form text

Classification

Classify items into categories via example.

Python to natural language

Explain a piece of Python code in human understandable language.

Movie to Emoji

Convert movie titles into emoji.

Calculate Time Complexity

Find the time complexity of a function.

Translate programming languages

Translate from one programming language to another

Advanced tweet classifier

Advanced sentiment detection for a piece of text.

Explain code

Explain a complicated piece of code.

Keywords

Extract keywords from a block of text.

Factual answering

Guide the model towards factual answering by showing it how to respond to questions that fall outside its knowledge base. Using a '?' to indicate a response to words and phrases that it doesn't know provides a natural response that seems to work better than more abstract replies.

Ad from product description

Turn a product description into ad copy.

Product name generator

Create product names from examples words. Influenced by a community prompt.

TL;DR summarization

Summarize text by adding a 'tl;dr:' to the end of a text passage. It shows that the API understands how to perform a number of tasks with no instructions.

Python bug fixer

Find and fix bugs in source code.

Spreadsheet creator

Create spreadsheets of various kinds of data. It's a long prompt but very versatile. Output can be copy+pasted into a text file and saved as a .csv with pipe separators.

JavaScript helper chatbot

Message-style bot that answers JavaScript questions

ML/AI language model tutor

Bot that answers questions about language models

Science fiction book list maker

Create a list of items for a given topic.

Tweet classifier

Basic sentiment detection for a piece of text.

Airport code extractor

Extract airport codes from text.

SQL request

Create simple SQL queries.

Extract contact information

Extract contact information from a block of text.

JavaScript to Python

Convert simple JavaScript expressions into Python.

Friend chat

Emulate a text message conversation.

Mood to color

Turn a text description into a color.

Write a Python docstring

An example of how to create a docstring for a given Python function. We specify the Python version, paste in the code, and then ask within a comment for a docstring, and give a characteristic beginning of a docstring

Analogy maker

Create analogies. Modified from a community prompt to require fewer examples.

JavaScript one line function

Turn a JavaScript function into a one liner.

Micro horror story creator

Creates two to three sentence short horror stories from a topic input.

Third-person converter

Converts first-person POV to the third-person. This is modified from a community prompt to use fewer examples.

Notes to summary

Turn meeting notes into a summary.

VR fitness idea generator

Create ideas for fitness and virtual reality games.