Least Squares Moving Average Definition

Griffe Fälle, in denen Datenqualität variiert Eine der gemeinsamen Annahmen, die den meisten Methoden der Prozessmodellierung zugrunde liegen. Einschließlich linearer und nichtlinearer Kleinste-Quadrate-Regression, ist, dass jeder Datenpunkt genauso präzise Informationen über den deterministischen Teil der gesamten Prozessvariation bereitstellt. Mit anderen Worten, die Standardabweichung des Fehlerterms ist über alle Werte des Prädiktors oder der erläuternden Variablen konstant. Diese Annahme bleibt jedoch in jeder Modellierungsanwendung eindeutig nicht aus. Beispielsweise scheint bei den nachstehend gezeigten Halbleiter-Photomasken-Zeilenabstand-Daten die Genauigkeit der Zeilenabstand-Messungen mit zunehmendem Zeilenabstand abzunehmen. In Situationen wie diesem, wenn es nicht vernünftig sein kann anzunehmen, dass jede Beobachtung gleich behandelt werden sollte, können oft gewichtete kleinste Quadrate verwendet werden, um die Effizienz der Parameterschätzung zu maximieren. Dies geschieht, indem versucht wird, jedem Datenpunkt seine richtige Grße des Einflusses auf die Parameterschätzwerte zu geben. Eine Prozedur, die alle Daten gleichermaßen behandelt, würde weniger präzise gemessene Punkte mehr Einfluss ergeben, als sie haben würden und würden hochpräzise Punkte zu wenig beeinflussen. Linespacing-Messfehler-Datenmodelltypen und gewichtete kleinste Quadrate Im Gegensatz zur linearen und nichtlinearen Regression der kleinsten Quadrate ist die gewichtete Kleinste-Quadrate-Regression nicht mit einer bestimmten Art von Funktion assoziiert, die verwendet wird, um die Beziehung zwischen den Prozessvariablen zu beschreiben. Stattdessen spiegeln gewichtete kleinste Quadrate das Verhalten der Zufallsfehler im Modell und können mit Funktionen verwendet werden, die entweder linear oder nichtlinear in den Parametern sind. Sie arbeitet, indem zusätzliche nichtnegative Konstanten oder Gewichte, die jedem Datenpunkt zugeordnet sind, in das Anpassungskriterium einbezogen werden. Die Größe des Gewichts zeigt die Genauigkeit der in der zugehörigen Beobachtung enthaltenen Informationen an. Das Optimieren des gewichteten Anpassungskriteriums, um die Parameterschätzwerte zu finden, ermöglicht es den Gewichten, den Beitrag jeder Beobachtung zu den endgültigen Parameterschätzungen zu bestimmen. Es ist wichtig zu beachten, daß das Gewicht für jede Beobachtung relativ zu den Gewichten der anderen Beobachtungen gegeben ist, so daß verschiedene Mengen von Absolutgewichten identische Wirkungen haben können. Vorteile von gewichteten kleinsten Quadraten Wie alle bisher diskutierten Methoden der kleinsten Quadrate sind gewichtete kleinste Quadrate eine effiziente Methode, die kleine Datensätze gut nutzt. Es teilt auch die Fähigkeit, verschiedene Arten von leicht interpretierbare statistische Intervalle für die Schätzung, Vorhersage, Kalibrierung und Optimierung. Zusätzlich ist, wie oben diskutiert, der Hauptvorteil, daß die gewichteten kleinsten Quadrate gegenüber anderen Verfahren genügen, die Fähigkeit, Regressionssituationen zu behandeln, in denen die Datenpunkte von unterschiedlicher Qualität sind. Wenn die Standardabweichung der Zufallsfehler in den Daten nicht über alle Ebenen der erläuternden Variablen konstant ist, liefert die Verwendung von gewichteten kleinsten Quadraten mit Gewichten, die umgekehrt proportional zu der Varianz bei jedem Niveau der erklärenden Variablen sind, die genauesten Parameterschätzungen. Nachteile von gewichteten kleinsten Quadraten Der größte Nachteil der gewichteten kleinsten Quadrate, die viele Menschen nicht kennen, ist wahrscheinlich die Tatsache, dass die Theorie hinter dieser Methode auf der Annahme basiert, dass die Gewichte genau bekannt sind. Dies ist fast nie der Fall in realen Anwendungen, natürlich, so geschätzt Gewichte müssen stattdessen verwendet werden. Die Wirkung der Verwendung von geschätzten Gewichten ist schwer zu beurteilen, aber die Erfahrung zeigt, dass kleine Variationen in den Gewichten aufgrund der Schätzung nicht oft eine Regressionsanalyse oder ihre Interpretation beeinflussen. Wenn jedoch die Gewichte aus kleinen Zahlen von replizierten Beobachtungen geschätzt werden, können die Ergebnisse einer Analyse sehr schlecht und unvorhersehbar beeinflusst werden. Dies ist besonders wahrscheinlich, wenn die Gewichte für Extremwerte des Prädiktors oder der erläuternden Variablen mit nur wenigen Beobachtungen geschätzt werden. Es ist wichtig, sich dieses potentiellen Problems bewusst zu sein und nur gewichtete kleinste Quadrate zu verwenden, wenn die Gewichte genau zueinander geschätzt werden können. Carroll und Ruppert (1988). Ryan (1997). Die gewichtete Regression der kleinsten Quadrate ist ebenso wie die anderen Methoden der kleinsten Quadrate empfindlich gegenüber den Auswirkungen von Ausreißern. Wenn potenzielle Ausreißer nicht untersucht und angemessen behandelt werden, werden sie voraussichtlich negative Auswirkungen auf die Parameterschätzung und andere Aspekte einer gewichteten Analyse der kleinsten Fehlerquadrate haben. Wenn eine gewichtete Regression der kleinsten Quadrate tatsächlich den Einfluss eines Ausreißers erhöht, können die Ergebnisse der Analyse weit hinter einer nicht gewichteten Analyse der kleinsten Quadrate zurückbleiben. Weitere Informationen zum gewichteten Mindestanpassungskriterium finden Sie in Abschnitt 4.3. Diskussion von Methoden zur Gewichtsschätzung finden Sie in Abschnitt 4.5.Linear kleinsten Quadrate Regression ist bei weitem die am weitesten verbreitete Modellierung Methode. Es ist, was die meisten Leute meinen, wenn sie sagen, sie haben Regression, lineare Regression oder kleinsten Quadrate verwendet, um ein Modell auf ihre Daten passen. Nicht nur die lineare Regression der kleinsten Quadrate ist die am weitesten verbreitete Modellierungsmethode, sondern sie wurde an ein breites Spektrum von Situationen angepasst, die außerhalb ihres direkten Umfangs liegen. Es spielt eine starke zugrunde liegende Rolle in vielen anderen Modellierungsmethoden, einschließlich der anderen Methoden, die in diesem Abschnitt behandelt werden: Nichtlineare Regression der kleinsten Quadrate. Gewichtete Rückgang der kleinsten Quadrate und LOESS. Definition eines linearen Least Squares Modells direkt mit einem entsprechenden Datensatz. Lineare Kleinste-Quadrate-Regression verwendet werden, um die Daten mit jeder Funktion der Form f (vec vec) beta0 beta1x1 beta2x2 ldots, in denen jede erklärende Variable in der Funktion mit einem unbekannten Parameter multipliziert wird, gibt es höchstens einen unbekannten Parameter ohne Entsprechende erklärende Variable, und alle einzelnen Terme werden summiert, um den endgültigen Funktionswert zu erzeugen. In statistischer Hinsicht würde jede Funktion, die diese Kriterien erfüllt, als lineare Funktion bezeichnet. Der Begriff linear wird verwendet, obwohl die Funktion keine gerade Linie sein kann, denn wenn die unbekannten Parameter als Variablen betrachtet werden und die erklärenden Variablen als bekannte Koeffizienten angesehen werden, die diesen Variablen entsprechen, dann wird das Problem zu einem System (normalerweise Überbestimmt) von linearen Gleichungen, die für die Werte der unbekannten Parameter gelöst werden können. Um die verschiedenen Bedeutungen des Wortes linear zu unterscheiden, werden die linearen Modelle, die hier diskutiert werden, oft als linear in den Parametern oder statistisch linear erwähnt. War Least Squares Die lineare Regression der kleinsten Fehlerquadrate erhält auch ihren Namen von der Art, wie die Schätzungen der unbekannten Parameter sind Berechnet. Die Methode der kleinsten Fehlerquadrate, die zur Ermittlung von Parameterschätzungen verwendet wurde, wurde in den späten 1700er und frühen 1800er Jahren von den Mathematikern Karl Friedrich Gauss, Adrien Marie Legendre und Robert Adrain Stigler (1978) Harter (1983) Stigler (1986) unabhängig entwickelt ) In Deutschland, Frankreich und Amerika. In der Methode der kleinsten Quadrate werden die unbekannten Parameter durch Minimieren der Summe der quadrierten Abweichungen zwischen den Daten und dem Modell abgeschätzt. Der Minimierungsprozeß reduziert das übergeordnete System von Gleichungen, die durch die Daten gebildet werden, zu einem vernünftigen System von (p), wobei (p) die Anzahl von Parametern im funktionalen Teil des Modells ist) Gleichungen in (p) Unbekannten. Dieses neue Gleichungssystem wird dann gelöst, um die Parameterschätzwerte zu erhalten. Um mehr über die Methode der kleinsten Fehlerquadrate zu erfahren, siehe Abschnitt 4.4.3.1. Beispiele für lineare Funktionen Wie bereits oben erwähnt, sind lineare Modelle nicht auf gerade Linien oder Ebenen beschränkt, sondern umfassen einen ziemlich weiten Bereich von Formen. Zum Beispiel eine einfache quadratische Kurve, f (xvec) beta0 beta1x beta x2. Ist im statistischen Sinne linear. Ein Geradenmodell in (log (x)), f (xvec) beta0 beta1ln (x). Oder ein Polynom in (sin (x)), f (xvec) beta0 beta1sin (x) beta2sin (2x) beta3sin (3x). Ist auch im statistischen Sinne linear, weil sie in den Parametern linear sind, jedoch nicht in Bezug auf die beobachtete erklärende Variable (x). Nichtlineares Modellbeispiel Ebenso wie Modelle, die im statistischen Sinne linear sind, müssen nicht linear bezüglich der erklärenden Variablen sein, nichtlineare Modelle können in Bezug auf die erklärenden Variablen linear sein, nicht jedoch in Bezug auf die Parameter. Beispielsweise ist f (xvec) beta0 beta0beta1x in (x) linear, kann aber nicht in der allgemeinen Form eines oben dargestellten linearen Modells geschrieben werden. Dies liegt daran, dass die Steigung dieser Linie als das Produkt von zwei Parametern ausgedrückt wird. Als Ergebnis konnte nichtlineare kleinste Quadrate Regression verwendet werden, um dieses Modell passen, aber lineare kleinste Quadrate können nicht verwendet werden. Weitere Beispiele und Diskussion nichtlinearer Modelle finden Sie im nächsten Abschnitt, Abschnitt 4.1.4.2. Vorteile von linearen kleinsten Quadraten Die lineare kleinste Quadrate-Regression hat ihren Platz als primäres Werkzeug für die Prozessmodellierung aufgrund ihrer Wirksamkeit und Vollständigkeit erworben. Obwohl es Typen von Daten gibt, die besser durch nichtlineare Parameter in den Parametern beschrieben werden, werden viele Prozesse in Wissenschaft und Technik durch lineare Modelle gut beschrieben. Dies liegt daran, dass entweder die Prozesse inhärent linear sind oder weil über kurze Bereiche kann jeder Prozess gut approximiert werden durch ein lineares Modell. Die aus der linearen Regression der kleinsten Quadrate erhaltenen Schätzwerte der unbekannten Parameter sind die optimalen Schätzwerte aus einer breiten Klasse möglicher Parameterschätzungen unter den üblichen Annahmen für die Prozessmodellierung. Praktisch gesehen macht die lineare Regression der kleinsten Quadrate die Daten sehr effizient. Gute Ergebnisse können mit relativ kleinen Datensätzen erzielt werden. Schließlich ist die Theorie, die mit der linearen Regression assoziiert ist, gut verstanden und erlaubt die Konstruktion verschiedener Arten von leicht interpretierbaren statistischen Intervallen für Vorhersagen, Kalibrierungen und Optimierungen. Diese statistischen Intervalle können dann verwendet werden, um klare Antworten auf wissenschaftliche und technische Fragen zu geben. Nachteile von linearen kleinsten Quadraten Die Hauptnachteile von linearen kleinsten Quadraten sind Beschränkungen in den Formen, die lineare Modelle über lange Bereiche annehmen können, möglicherweise schlechte Extrapolationseigenschaften und Empfindlichkeit gegenüber Ausreißern. Lineare Modelle mit nichtlinearen Terme in den Vorhersagevariablen verhalten sich relativ langsam, so dass es für an sich nichtlineare Prozesse zunehmend schwieriger wird, ein lineares Modell zu finden, das die Daten gut passt, während der Bereich der Daten zunimmt. Da die erklärenden Variablen extrem werden, wird die Ausgabe des linearen Modells auch immer extremer sein. Dies bedeutet, dass lineare Modelle möglicherweise nicht für die Extrapolation der Ergebnisse eines Prozesses, für die Daten können nicht in der Region von Interesse gesammelt werden. Natürlich ist die Extrapolation unabhängig vom Modelltyp potentiell gefährlich. Während das Verfahren der kleinsten Quadrate oftmals optimale Schätzwerte der unbekannten Parameter liefert, ist es sehr empfindlich für das Vorhandensein von ungewöhnlichen Datenpunkten in den Daten, die verwendet werden, um ein Modell anzupassen. Ein oder zwei Ausreißer können manchmal die Ergebnisse einer Analyse der kleinsten Quadrate ernsthaft verschieben. Dies macht die Modellvalidierung. Insbesondere in Bezug auf Ausreißer. Kritisch für den Erhalt einer soliden Antworten auf die Fragen, die den Bau des Modells motivieren.