Wie funktioniert die Handschrifterkennung in iPadOS 14

29.09.2020

Scribble wurde auf der WWDC sehr gut präsentiert. Aber die Ankündigung des Mac mit Apple Silicon überschattete diese Technologie. In der Zwischenzeit ist dies vielleicht die wichtigste Neuigkeit, die an diesem Tag angekündigt wurde. Vielleicht wird Scribble in ein paar Jahren, wenn man an das erste virtuelle WWDC in der Geschichte von Apple erinnert, als Hauptereignis bezeichnet.

"Apple" Macs werden zu einer alltäglichen Realität und intelligente Stifte werden immer noch etwas Neues und Ungewöhnliches jedes Jahr in sich entdecken.


Was ist Scribble

Apple Pencil wird sich zwangsläufig ändern, da die Kerntechnologie hinter Scribble sehr ernsthafte Anforderungen hat. Aus ihrer Sicht ist das "Vokabular" des ersten und zweiten Apple Pencils zu schlecht und ausdruckslos. Die Hauptkomponente ist künstliche Intelligenz. Neben intelligenten Stiften baut Scribble auch neuronale Prozessoren. Ohne diesen Block von Apfelkristallen wäre das Wunder nicht geschehen.

Apple Newton, PalmPilot und andere PDAs der Antike haben es zu früh versucht. Zu dieser Zeit war dies nicht möglich, aber dank des Einfallsreichtums von Ingenieuren und Wissenschaftlern funktionierte die handschriftliche Eingabe, obwohl sie nicht perfekt war. Hinter der Leichtigkeit von Scribble stehen jahrelange Arbeit und ausgefeilte Algorithmen. In mancher Hinsicht übertrifft Scribble sogar Siri, Alexa und andere Sprachassistenten, ganz zu schweigen von den archaischen Handschrifterkennungssystemen.


Wie funktioniert die Handschrifterkennung in iPad

Die gleiche Frage wurde von Alex George, von einem Journalisten aus Popular Mechanics, gestellt, und er bat Craig Federighi, Apples Senior Vice President für Software, um eine Antwort. Craig reagierte schnell und gründlich. Unten ist seine Antwort in Nacherzählung.

Im Gegensatz zu früheren Handschrifterkennungstechnologien analysiert Scribble nicht einzelne handgeschriebene Zeichen, sondern Linien und sogar Gruppen von Linien. Durch maschinelles Lernen wurde die Software von Scribble geschult, um mit den unterschiedlichen Handschrift- und Schreibmustern einer großen Anzahl von Menschen umzugehen.

Darüber hinaus enthüllte Craig nur ein Geheimnis der Hauptkomponente von Scribble und nannte es den Schlüssel zum Erfolg: Die Handschrifterkennung erfolgt vollständig von Anfang bis Ende auf dem iPad in Echtzeit. Ohne die Teilnahme von Apple Rechenzentren und Servern. Ohne Datenübertragung. Im Gegensatz zu Sprachassistenten, die immer noch nicht darauf verzichten können.

Scribble braucht Zeit, um Fremdsprachen zu lernen und derzeit nur Englisch sowie zwei Dialekte Chinesisch erkennen kann: Peking (literarisch) und Guangzhou (kantonesisch).

Neben handgeschriebenem Text nimmt Scribble auch einen ziemlich großen Satz geometrischer Formen wahr und führt zu einem schönen Erscheinungsbild. So können Sie mit Text arbeiten (duplizieren, löschen, Text mit einem Bleistift bearbeiten usw.).

  • Es ist noch zu früh, um über Scribble als neues Paradigma der Benutzeroberfläche zu sprechen, und es gibt immer noch genügend Fehler in der Technologie selbst (das ist Version 1.0), aber früher oder später wird Scribble zu einem vollwertigen Schnittstellentyp. Es hat das Potenzial dafür.



Lesen Sie auch

Ich denke, Sie haben gehört, dass WhatsApp Ende letzten Jahres Benutzer gebeten hat, eine neue Vereinbarung zu akzeptieren, in der vor Plänen gewarnt wurde, Ihre Daten an Facebook weiterzuleiten. Trotz der Tatsache, dass der Messenger zuvor zu einem sozialen Netzwerk gehörte, erlaubte sich sein Management nie, über das Auslaufen von Benutzerdaten...

Kürzlich kündigte Tim Cook in einem Interview die Rückkehr von Apple nach München an. Apple will in München eine Milliarde Euro in diese Rendite investieren. Apple ist kein bayerisches Unternehmen und wird Kalifornien nicht verlassen. Aber sie schafft in München das größte Entwicklungszentrum für Mikroelektronik in Europa. Natürlich für sich...

Es wird unter Android-Nutzern als die Norm angesehen, alles, was iOS hat, auch zu wollen. Funktionen, Dienste, Schnittstellendesign, Sicherheitsmechanismen - sie sind bestrebt, die gesamte Palette der auf dem iPhone verfügbaren Tools zu portieren und an ihre Smartphones anzupassen.

Wie unterscheidet sich iOS von Android? Unterstützung, Fragmentierung, Intuition, Ökosystem - all dies sind Faktoren, die, obwohl sie relevant sind, im Großen und Ganzen nichts beeinflussen. Google erlaubt sich perfekt, Android zu aktualisieren. Nach der offiziellen Beendigung des Supports und der Verteilung neuer Funktionen über proprietäre...