this post was submitted on 19 Jun 2023
180 points (96.9% liked)
Deutschland
6710 readers
4 users here now
Sammelbecken für deutsche Kartoffeln und ihre Geschichten über Deutschland.
Nicht zu verwechseln mit !dach und !chad.
Regeln
- Seid nett zueinander.
- Schreibt hier Beiträge, die ganz Deutschland betreffen, nicht nur einen kleinen Teil
- Sinnlose Provokationen ohne Inhalt werden gelöscht
- zusätzlich: alle Regeln, die ihr auf Feddit.de in der Sidebar lesen könnt.
Bundesländer:
founded 3 years ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
Ich weiß jetzt nicht worauf genau du mit Einheitsbrei anspielst, aber ich habe neulich einen Artikel gesehen wo es darum ging, dass zukünftiges Training von LLMs ein Problem haben könnte, wenn in den Trainingsdaten aus dem Netz haufenweise halbgarer KI-Content dabei ist.
Ansonsten ist mein Feld eher mit Sensordaten aus Industriemaschinen beschäftigt. Da gibt's bis jetzt zum Glück keine KI die Daten generiert.
Einheitsbrei bezogen darauf, dass statistische Systeme zu Mittelwerten tendieren, was z.B. bei Suchanfragen bedeutet, dass es schwieriger wird spezifische Infos zu finden. habe z.B. gerade einen Namen googlen müssen, um das Geschlecht herauszufinden. Name + gender als Suchanfrage hat mir dann zig Artikel zu gendergerechter Sprach ausgegeben, weil das so viel stärker mit dem Begriff vom System assoziiert wird, als eine Webseite zu finden, wo der gesuchte Name beschrieben ist.
Das für LLMs dann das Problem wird, dass sie auf ihrem eigenen halbgaren Content trainieren ist spannend, wobei ich fürchte das ein ähnliches Ergebnis wie bei den Sichanfragen rauskommt. Also weniger spezifische Antworten, weil deine 1% Anfrage nicht gegen die 60% Anfragen ankommen kann.
Zu den Sensordaten, trainiert ihr Modelle, die schon ein gewisses Physikverständnis hardgecoded haben, oder betrachtet ihr die Maschinen als Blackbox was Input/Output angeht?
Tut mir Leid, wenn ich dich mit Fragen zu ML überfalle.
Ach kein Ding. Wenn ich keinen Bock mehr habe, antworte ich einfach nicht mehr.
Ich denke, du hast grundlegend Recht, aber hier musst du sehen, dass es sich nicht um marginale Verteilungen handelt, sondern um bedingte. Deine Suchanfrage oder der Prompt des LLM sind die Bedingung der gelernten Verteilung. Ich denke es wird eher darauf hinauslaufen diese Bedingung so genau wie möglich zu formulieren. Dadurch bekommt man dann auch ein Sample aus der Verteilung die man wollte.
Wir arbeiten bei unseren Modellen noch komplett datengetrieben. Die Maschinen sind so unterschiedlich, dass es eine Sisyphosaufgabe wäre jede einzelne zu physikalisch zu modellieren. Langfristig werden wir wohl nach Clustern suchen und diese ähnlichen Maschinen zusammen modellieren.