Wie funktioniert die Handschrifterkennung in iPadOS 14

Scribble wurde auf der WWDC sehr gut präsentiert. Aber die Ankündigung des Mac mit Apple Silicon überschattete diese Technologie. In der Zwischenzeit ist dies vielleicht die wichtigste Neuigkeit, die an diesem Tag angekündigt wurde. Vielleicht wird Scribble in ein paar Jahren, wenn man an das erste virtuelle WWDC in der Geschichte von Apple erinnert, als Hauptereignis bezeichnet.

"Apple" Macs werden zu einer alltäglichen Realität und intelligente Stifte werden immer noch etwas Neues und Ungewöhnliches jedes Jahr in sich entdecken.


Was ist Scribble

Apple Pencil wird sich zwangsläufig ändern, da die Kerntechnologie hinter Scribble sehr ernsthafte Anforderungen hat. Aus ihrer Sicht ist das "Vokabular" des ersten und zweiten Apple Pencils zu schlecht und ausdruckslos. Die Hauptkomponente ist künstliche Intelligenz. Neben intelligenten Stiften baut Scribble auch neuronale Prozessoren. Ohne diesen Block von Apfelkristallen wäre das Wunder nicht geschehen.

Apple Newton, PalmPilot und andere PDAs der Antike haben es zu früh versucht. Zu dieser Zeit war dies nicht möglich, aber dank des Einfallsreichtums von Ingenieuren und Wissenschaftlern funktionierte die handschriftliche Eingabe, obwohl sie nicht perfekt war. Hinter der Leichtigkeit von Scribble stehen jahrelange Arbeit und ausgefeilte Algorithmen. In mancher Hinsicht übertrifft Scribble sogar Siri, Alexa und andere Sprachassistenten, ganz zu schweigen von den archaischen Handschrifterkennungssystemen.


Wie funktioniert die Handschrifterkennung in iPad

Die gleiche Frage wurde von Alex George, von einem Journalisten aus Popular Mechanics, gestellt, und er bat Craig Federighi, Apples Senior Vice President für Software, um eine Antwort. Craig reagierte schnell und gründlich. Unten ist seine Antwort in Nacherzählung.

Im Gegensatz zu früheren Handschrifterkennungstechnologien analysiert Scribble nicht einzelne handgeschriebene Zeichen, sondern Linien und sogar Gruppen von Linien. Durch maschinelles Lernen wurde die Software von Scribble geschult, um mit den unterschiedlichen Handschrift- und Schreibmustern einer großen Anzahl von Menschen umzugehen.

Darüber hinaus enthüllte Craig nur ein Geheimnis der Hauptkomponente von Scribble und nannte es den Schlüssel zum Erfolg: Die Handschrifterkennung erfolgt vollständig von Anfang bis Ende auf dem iPad in Echtzeit. Ohne die Teilnahme von Apple Rechenzentren und Servern. Ohne Datenübertragung. Im Gegensatz zu Sprachassistenten, die immer noch nicht darauf verzichten können.

Scribble braucht Zeit, um Fremdsprachen zu lernen und derzeit nur Englisch sowie zwei Dialekte Chinesisch erkennen kann: Peking (literarisch) und Guangzhou (kantonesisch).

Neben handgeschriebenem Text nimmt Scribble auch einen ziemlich großen Satz geometrischer Formen wahr und führt zu einem schönen Erscheinungsbild. So können Sie mit Text arbeiten (duplizieren, löschen, Text mit einem Bleistift bearbeiten usw.).

  • Es ist noch zu früh, um über Scribble als neues Paradigma der Benutzeroberfläche zu sprechen, und es gibt immer noch genügend Fehler in der Technologie selbst (das ist Version 1.0), aber früher oder später wird Scribble zu einem vollwertigen Schnittstellentyp. Es hat das Potenzial dafür.



Lesen Sie auch

Sicherlich kam Ihnen mindestens einmal der Gedanke: "Warum habe ich diese App überhaupt gekauft, sie ist nutzlos!" oder "es wäre besser, wenn ich mich nicht für dieses Abonnement angemeldet hätte". In der Tat entspricht die gekaufte Anwendung manchmal nicht den Erwartungen, obwohl solche Fälle seit der Einführung von Anwendungen mit einer...

Die Avatarify-App wird im Internet immer beliebter. Mit ihr können Sie jedes Foto, einschließlich Selfies, mithilfe künstlicher Intelligenz und neuronaler Netzwerke animieren. Es reicht aus, Ihr Foto hochzuladen und eine der vorgefertigten Emotionen auszuwählen oder selbst ein Video aufzunehmen, und die Anwendung "überlagert" Ihre Gesichtsausdrücke...

Sie haben wahrscheinlich von Impfpässen gehört. Trotz der Tatsache, dass ein solches Phänomen auf der Welt nicht zu existieren scheint, ist es sehr wahrscheinlich, dass die Praxis ihrer Anwendung bald eingeführt wird. Es wird davon ausgegangen, dass sie an diejenigen ausgegeben werden, die erfolgreich an COVID-19 erkrankt oder geimpft wurden, und...

Sie haben wahrscheinlich den Witz gehört, dass soziale Netzwerke in 50 Jahren zu digitalen Friedhöfen werden. Angenommen, die Leute, die sie benutzt haben, werden aktiv sterben und ihre Konten werden zu einer Art virtuellen Grabsteinen. Klingt gruselig, stimme ich zu. Aber wenn Sie darüber nachdenken, dann sind soziale Netzwerke bei weitem nicht...

Die Apple ID ist für jeden Apple-Gerätebenutzer äußerst wichtig. Ohne sie ist es nicht möglich, wesentliche Manipulationen durchzuführen - von der Aktivierung des iPhone über das Herunterladen von Anwendungen bis hin zum Speichern eines Backups und der Verwendung proprietärer Dienste wie FaceTime und iMessage. Dies ist eine Art Benutzerpass.

Warum lieben Apple-Benutzer Safari so sehr? Einige schätzen die hohe Arbeitsgeschwindigkeit, andere - Intuitivität und wieder andere - Sicherheit. Wenn jedoch die Arbeitsgeschwindigkeit und das logische Layout für sich selbst im Prinzip ziemlich logisch sind, werden die Schutzmechanismen für viele zu einem Stolperstein.