Freitag , Oktober 2 2020

Sind wir eine Investition von 1 Mrd. USD von General AI entfernt?

Klicken Sie hier, um mehr über den Autor zu erfahren. Paul Barba.

Wie die meisten, die AI folgen, wissen, ist das Forschungs- und Entwicklungsunternehmen OpenAI
veröffentlichte kürzlich ein Papier über GPT-3, sein Sprachmodell der dritten Generation, das bei
175 Milliarden Parameter, hat den Anspruch auf Ruhm, um eine Ordnung von zu sein
GPT-3 ist größer als jedes vorhergehende Sprachmodell.

GPT-3 ist derzeit in der privaten Beta für ausgewählte Entwickler verfügbar und hat gezeigt, dass es alles von glaubwürdigen Kurzgeschichten, Rap-Songs und Pressemitteilungen bis hin zu HTML-Code zum Erstellen von Web generieren kann Seitenlayouts, alle mit minimalen Eingaben oder Eingabeaufforderungen. Dies ist eine sehr große Sache.

Zu den fortschrittlichsten Sprachmodellen gehören bisher die von Google
BERT, Microsoft Turing Natural Language Generation, und GPT-3-Vorgänger
GPT-2, das Dinge wie vollständige Sätze auf natürlich klingende Weise ausführen kann,
Schlagen Sie kurze Antworten auf E-Mail-Nachrichten vor, geben Sie Antworten auf grundlegende Fragen und
Generieren Sie Text, der so aussieht, als könnte er von einem Menschen geschrieben werden. Während beeindruckend,
Oft erzeugen diese Modelle auch klobige oder absurde Ergebnisse
Skeptiker glauben, dass wir noch weit von Maschinen entfernt sind
in der Lage, die Sprachfähigkeiten auf menschlicher Ebene anzunähern.

Bei Sprachmodellen ist größer besser

Das GPT-3-Papier zeigt, wie groß die Sprache ist
Modelle beeinflussen die Genauigkeit einer Reihe von Sprachaufgaben, die Menschen zeigen
Beherrschung von: Beantwortung geschlossener Buchfragen, Auflösen mehrdeutiger Pronomen,
gesunder Menschenverstand und fortgeschrittenes Leseverständnis, um nur einige zu nennen.
GPT-3 geht aufgrund seiner Größe weit über die einfacheren Sprachmodelle hinaus
kann erreichen.

Betrachtet man alle verschiedenen Modelle, erscheinen klare Trendlinien.
Das Hinzufügen weiterer Parameter hat einen ziemlich vorhersehbaren Einfluss auf die Genauigkeit. Und
Wenn wir den Trends folgen, sehen wir immer wieder einen Schnittpunkt mit der menschlichen Ebene
Genauigkeit im Parameterbereich von 15 bis 20 Billionen, etwa 100-mal größer als
GPT-3.

Die Kosten für all diese Rechenleistung

Die geschätzten Kosten für die Schulung von GPT-3 liegen zwischen 4 und 12 Millionen US-Dollar.
das scheint linear mit der Modellgröße zu wachsen. Daher können wir extrapolieren
dass ein 15-20 Billionen Parametermodell irgendwo in der 300M $ erfordern würde
Investitionsspanne von 1,3 Mrd. USD.

Das Versprechen wäre, angesichts einiger Beispiele von einigen
Textaufgabe, die das Modell auf menschlicher Ebene ohne Umschulung ausführen könnte,
daher allgemeine KI – das heißt, anstatt Beispiele als Trainingsdaten zu verwenden
Ändern Sie die Synapsen im Gehirn, es findet heraus, wie man die Aufgabe einfach erledigt
"Verarbeitung". Häufig würde eine Beschreibung der Aufgabe ohne Beispiele erfolgen
genügen.

Einige Vorsichtsmaßnahmen

Während dies nur eine grobe Trendlinienanpassung ist, gibt es mehrere Vorsichtsmaßnahmen: 1) Kleine Fehler können zu Effekten in der Größenordnung bei der Extrapolation führen, 2) Es gibt keine Garantie dafür, dass der vorhandene Trend gilt, und 3 ) Es ist unklar, ob genügend Text verfügbar ist, um die heutigen Aktivitäten zu erweitern. Sogar die Autoren bemerken die möglichen Mängel des Modells und schreiben:

„Eine grundlegendere Einschränkung des in diesem Artikel beschriebenen allgemeinen Ansatzes – Skalierung jedes LM-ähnlichen Modells, ob autoregressiv oder bidirektional – besteht darin, dass es möglicherweise irgendwann auftritt (oder könnten bereits an die Grenzen des Vorschulungsziels stoßen). “

Obwohl die Aufgaben, die GPT-3 ausführt, für die meisten Maschinen und manchmal sogar für Menschen schwierig sind, ist es unwahrscheinlich, dass sie die Tiefen des Menschen ausloten Fähigkeiten wie komplexe Programmierung, neuartiges Schreiben oder ausgefeiltes strategisches Denken. Und was noch besorgniserregender ist, es hat, wie viele andere KIs zuvor, gezeigt, dass es anfällig dafür ist, eine voreingenommene Sprache in Bezug auf Geschlecht, ethnische Zugehörigkeit, Sexualität und Rasse zu erzeugen.

Wird 1 Mrd. USD zu allgemeiner KI führen?

Abgesehen von den Vorbehalten ist es unglaublich, dass GPT-3 dies vorschlägt
in Schlagdistanz von der Rechenleistung, die benötigt wird, um einen Real zu betreiben
Allzweck-KI. Bei einer Investition von 1 Mrd. USD erscheint es plausibel, dass wir eine
KI, die in der Lage ist, den Turing-Test zu bestehen und allgemeine Gespräche zu führen
zu weitreichenden Themen auf völlig menschliche Weise (oder sogar unmenschlich, weil es
weiß mehr als ein normaler Mensch), in der Lage zu sein, kompliziert zu vervollständigen
Anweisungen und bilden das Rückgrat der virtuellen Assistenten, die dies tun können
im Grunde alles, was ein menschlicher Assistent könnte, ganz zu schweigen von den verschiedenen Geschäften
Kontexte in Bereichen wie Vertrieb, Marketing und Programmierung.

Seit Jahrzehnten sagen die Menschen ein bevorstehendes Aufkommen wahrer künstlicher Intelligenz voraus. Zum ersten Mal scheinen mir diese Hochrechnungen nicht so weit hergeholt zu sein. Kernverbesserungen unserer Deep-Learning-Architekturen sind mit ziemlicher Sicherheit noch erforderlich, aber die Grundbausteine ​​scheinen hier zu sein, und ein extrapoliertes Rechenbudget scheint für große Unternehmen und Regierungen gut erreichbar zu sein, unabhängig davon, welche weiteren Fortschritte bei der Hardware mit sich bringen könnten. [19659019]

About BusinessIntelligence

Check Also

Data Lake Vs. Data Warehouse: Was ist der Unterschied?

Der Markt für Data Warehouses boomt. Eine Studie prognostiziert, dass der Markt bis 2030 einen …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.