discussion Erfahrung Copilot in GitHub

[melmager]

Ich habe es ja schon kurz in meiner Vorstellung angerissen das ich hier weg war und bei KI als Helferlein gelandet war - genauer bei Copilot

Am Anfang war ja noch alles cool ... was gut war die Erklärungen - in meinem Fall in Zusammenhang mit HomeAssistant ... die offizielle Dokumation war für mich schlicht unbrauchbar ,da unvollständig.
Aber mit Copilot wurden nicht nur Vorschläge für Code erzeugt sondern auch auf nachfrage auch Erklärungen losgelassen die gut waren.
War ein nettes arbeiten und es ist ein Plugin bei raus gekommen für dynamische Preise (Ostrom) was ich ehrlich gesagt nie ohne die gute "suchfunction" via KI nicht möglich gewesen währe.
Da wurde unklare API docu und stundenlange suche via Foren oder Analyse vergleichs Plugins zu Minuten zusammen gekürzt.
War schön.
Ermutigt durch den Erfolg und brauchbare Erklärungen durch KI habe ich mich auch an React ran getraut - mit Null Vorkenntnissen zu einfachen Frontend in 2-3 tagen

Aber offensichtlich war das nur ein anfüttern - denn seit 2 Monaten erreiche ich mein Limit schon nach Tagen Fragen ... noch vor 3 Monaten konnte ich mein Github Link eingeben mit der aktuellen Codebasis und ne Fehlermeldung die eingetrudelt eingeben - und relativ schnell bin ich auf Lösung gekommen mit hilfe von Copilot. Selbst die freie Basis Version hat locker für 2 Wochen Arbeit gereicht -
Um jetzt auf ein grünen Zweig zu kommen müsste ich mir die plus Variante zulegen und das wäre dann 3 stellige Kosten - monatlich statt 10€
Zuviel
😎

Erinnert irgendwie an Dealer Praxis - bis man süchtig ist ist der Stoff billig .... ich hoffe ich schaffe den KI entzug ...

 

[Igäl]

Mir ging es ähnlich mit Vibe (ehemals Le Chats) von Mistral. Ich brauchte die LLM hauptsächlich für die Erläuterung von Konzepten, sodass ein reger Austausch (sofern man das bei einem Bot so nennen kann) entstand. Anfangs konnte man so beinahe uneingeschränkt weitermachen. Mit der Zeit kamen immer schneller die Meldungen, dass die nächsten zwei Stunden nichts mehr geht, wenn man nicht upgraden möchte.

Heisst: Für Konzeptverständnis via verschiedene LLMs gehen und neue Prompts mit den Vorkenntnissen absetzen. Und für die eigenen Projekte heisst es halt wieder: sapere aude 🙂

 

[MythonPonty]

Mahlzeit...
Wie sind eure Erfahrungen mit Claude Code? Das wird ja gerade ziemlich gehypt. Aber wie sehr kann man dem generierten Code tatsächlich vertrauen? Schleichen sich da womöglich Sicherheitslücken ein, die einem später das ganze Projekt um die Ohren fliegen lassen? Ich habe selbst schon ein paar kleinere Lösungen mit Claude ausprobiert und bin wirklich erstaunt, wie weit die Systeme mittlerweile sind. Trotzdem bleibt bei mir ein gewisses Misstrauen... so ganz kann ich mich noch nicht darauf einlassen.

Wie geht ihr damit um? Prüft ihr alles selbst, lasst ihr den Code zusätzlich testen oder vertraut ihr weitgehend auf das Ergebnis sofern mal KI zum Einsatz kommt.

 

[Igäl]

Mit Claude Code habe ich keine Erfahrungen. Meine Erfahrungen beschränken sich auf Vibe und Gemini, wobei ich dort kein Bezahlmodell im Einsatz habe. Vermutlich wird es da in der Qualität der Ergebnisse gewisse Unterschiede geben, je nach Abomodell.

Generell kann ich jedoch sagen, dass beide LLMs bei Codesnippets brauchbare Ergebnisse liefern. Jedoch habe ich sowohl bei der Erklärung von Konzepten als auch bei Codesnippets beobachtet, dass zuweilen halluziniert wird. Relativ wenig, soweit ich das mit meinen bescheidenen Kenntnissen einschätzen kann, wenn, dann aber auch frappant. Beispielsweise hatte ich schon die Situation, dass mir die KI ein Pattern erklärt hat, nur um es im nachfolgenden Prompt im eigenen Code absolut nicht zu berücksichtigen.

Deshalb ist mein Ansatz der Folgende: Hauptfokus meiner "Arbeit" mit der KI ist die Erläuterung von Konzepten und Ausgabe von Beispielcode zur Veranschaulichung. Sofern ich code übernehme, schaue ich aber, dass ich verstehe, was ich da paste oder abschreibe. Ganz neue Funktionalitäten gleiche ich mit offiziellen Dokumentationen oder direkten Quellen ab. Prinzipell verfolge ich den Ansatz, dass ich jede Zeile Code, die ich in meinem Framework habe, verstanden habe. Und bei diesen Gelegenheiten sind mir doch ab und zu schon Inkonsistenzen in den Antworten aufgefallen.

Kurz: ich denke nicht, dass man um das Controlling herumkommt. Denn schon wenn man der KI nicht jede selbst geschriebene Zeile Code zur Verfügung stellt, besteht die Gefahr, dass inkonsistenter Code ausgespuckt wird, weil die KI nicht alle Abhängigkeiten des eigenen Frameworks kennt. Das bedingt halt aber tatsächlich ein tieferes Verständnis der angewandten Konzepte.

Ich muss aber sagen, dass die Lernkurve mit KI-Unterstützung extrem steil ist. Und da ich Hobbyprogrammierer bin kann ich mir den Luxus erlauben, im coden langsamer vorwärts zu kommen, dafür aber die dahinterstehenden Funktionalitäten möglichst exakt zu durchdringen.

 

[kai_web]

Geht mir ähnlich. Am meisten bringt es mir, wenn ich mir Fehlermeldungen oder alten Code erklären lasse. Vorsichtig bin ich bei Sachen, die sich gerade erst geändert haben, also neue PHP-Versionen oder neue WordPress-Funktionen. Da liegt die KI öfter daneben, weil sie noch den alten Stand im Kopf hat.

 

[MythonPonty]

also neue PHP-Versionen oder neue WordPress-Funktionen. Da liegt die KI öfter daneben, weil sie noch den alten Stand im Kopf hat.

Jein, ja, nein... ich hatte mein Glück zuerst mit Perplexity versucht. Welches Modell ich damals genutzt habe, weiß ich nicht mehr, aber es lief eher so semi.

Danach habe ich das gleiche Projekt mit Claude Code gestartet und muss sagen, das erste WordPress-Plugin wurde schon ziemlich gut umgesetzt. Hier und da musste ich zwar nachbessern lassen, aber insgesamt klappt das bis heute echt gut. Manchmal muss man die KI eben ein bisschen zu ihrem Glück zwingen oder sie wieder in die richtige Richtung schubsen. Hat sie dann erst mal verstanden, wo es hingehen soll, kann sich das Ergebnis wirklich sehen lassen. Ich denke die neuen Modelle wie Sonette sind da schon für produktive Ergebnisse zu gebrauchen.