[FIXED] Transformation und Codierung im Pyspark- oder Scala-Szenario

Ausgabe

Ich habe eine Situation in meiner JSON-Datei. Ich habe zwei Spalten eventid & sectionname, die dynamischer Natur sind. Wie in der Diagrammeingabe erwähnt

Geben Sie hier die Bildbeschreibung ein
Geben Sie hier die Bildbeschreibung ein

Ich brauche eine Ausgabe wie diese, welche Transformation ich durchführen kann, und da der Abschnittsname dynamisch ist, dh anstelle von 301 wird es auch in Zukunft 501 geben und ich möchte nicht, dass mein Stream fehlschlägt, gibt es eine Möglichkeit in Pyspark oder Scala.
Geben Sie hier die Bildbeschreibung ein

Lösung

df_target = (df_source.set_index(list of static columns)
  .rename_axis([New_Column_Name], axis=1)
  .stack()
  .reset_index())

Wo df_sourceist Ihr Datenrahmen in Pandas


Beantwortet von –
Aman Mishra


Antwort geprüft von –
David Marino (FixError Volunteer)

0 Shares:
Leave a Reply

Your email address will not be published. Required fields are marked *

You May Also Like