So funktioniert Textklassifizierung – TensorFlow

Der Algorithmus Textklassifizierung – TensorFlow nimmt Text so, wie er klassifiziert wird, in eine der Ausgabeklassenbeschriftungen. Deep-Learning-Netzwerke wie BERT sind bei der Textklassifizierung sehr genau. Es gibt auch Deep-Learning-Netzwerke, die auf großen Textdatensätzen trainiert werden, wie TextNet, das mehr als 11 Millionen Texte mit etwa 11.000 Kategorien enthält. Nachdem ein Netzwerk mit TextNet-Daten trainiert wurde, können Sie das Netzwerk anhand eines Datensatzes mit einem bestimmten Schwerpunkt verfeinern, um spezifischere Textklassifizierungsaufgaben auszuführen. Der Algorithmus Textklassifizierung – TensorFlow von Amazon SageMaker AI unterstützt Transfer Learning auf vielen vortrainierten Modellen, die im TensorFlow Hub verfügbar sind.

Entsprechend der Anzahl der Klassenbezeichnungen in Ihren Trainingsdaten wird eine Textklassifizierungsebene an das vortrainierte TensorFlow-Modell Ihrer Wahl angehängt. Die Klassifikationsschicht besteht aus einem Dropout-Layer, einem dichten Layer und einem vollständig verbundenen Layer mit 2-Norm-Regularisierung und wird mit zufälligen Gewichten initialisiert. Sie können die Hyperparameterwerte für die Dropout-Rate der Dropout-Ebene und den L2-Regularisierungsfaktor für die dichte Schicht ändern.

Sie können entweder das gesamte Netzwerk (einschließlich des vortrainierten Modells) oder nur die oberste Klassifikationsebene auf neue Trainingsdaten abstimmen. Mit dieser Methode des Transfer-Learnings ist ein Training mit kleineren Datensätzen möglich.