Digital sozialisiert, Denker, Macher und Angel Investor.
Unter dem Titel «Generating Trillions of the Finest Tokens» dokumentiert Hugging Face ein grossangelegtes Experiment zu synthetischen Daten. Aber zuerst zur Frage, weshalb es synthetische Daten überhaupt braucht? Die Datenquelle Internet ist ausgetrocknet Frühe Sprachmodelle wurden mit Quellen wie Wikipedia (ca. 7 GB) oder dem Projekt Gutenberg (ca. 12 GB) trainiert. Doch rasch wurde alles, was...
Vor Jahren verneinte ich die Frage eines Entwicklers, ob Software sich je selbst schreiben könne. Heute ist es Realität. KI-Systeme wie Claude Code oder Codex CLI entwickeln selbständig anspruchsvollen Programm-Code. Wirklich? Im Folgenden ein Einblick in zwei spannende Artikel von Anthropic (Building a C compiler with a team of parallel Claudes) und Open AI (Harness engineering: leveraging Codex...
KI-Agenten können nicht nur für Menschen arbeiten, sie können als Subagenten oder als Teams auch zusammenarbeiten. Anthropic hat agents teams als experimentelle Funktion in Claude Code eingebaut und in «Orchestrate teams of Claude Code sessions» dokumentiert. Was sind Agenten-Teams? Agenten-Teams sind koordinierte Claude Code-Instanzen, die zusammenarbeiten. Eine der Sitzungen fungiert dabei als...
CLAUDE.md seems to be the best place to put instructions, coding standards, and context for Claude Code. Yes, skills are offered as a supplement, but a recent study by Vercel shows shows that they are not as reliable yet. In their setup, instructions in skills were only triggered in 79% of the tasks, whereas CLAUDE.md was used at a 100%. What is CLAUDE.md? CLAUDE.md is a text file that serves as...
Das Werkzeug Claude Code geht berechtigterweise grad durch die Decke. Marcel Salathé hat dessen Mächtigkeit auf seinem Substack sehr treffend beschrieben hat: AI agents: We’re in for a wild ride. Zwei Aspekte machen das Werkzeug so leistungsfähig: Zugriff zum lokalen Dateisystem Zugriff zu (ausgewählten) Programmen des Betriebssystems und damit auf das gesamte Internet im lokalen...
Je besser der Kontext definiert ist, desto besser sind die von KI erzeugten Ergebnisse. Unter dem Begriff «Context Engineering» etabliert sich deshalb ein Bereich mit dem Ziel, den Perimeter der Lösungsfindung für KI bestmöglich zu definieren. Das geniale Werkzeug Claude Code hat die Definition von Kontext in einen einfachen Rahmen gesetzt, welcher sich als sehr mächtig erweist: markdown-Dateien...
There are many reasons why I don’t want data to be fed into the training of large language models (LLMs). In this post, I will focus on hiding benchmark and study content to maintain the quality of LLM analysis results. The challenges If LLMs see the results of benchmark questions (or study results) during pretraining, future benchmarking or analysis results will be affected by this. In the case...
Die Begriffe offen und souverän haben Konjunktur. Doch was sind offene LLMs genau? Zuallererst aber zur Frage, weshalb man offene (Sprach)modelle überhaupt haben möchte? Die wichtigsten Beweggründe dafür findet man in der Open Source Bewegung, der Gesetzgebung und in der Geopolitik. Beweggründe für offen Ein mutmasslicher Grund für offene Modelle sind Lizenzkosten und -bedingungen, doch das...
Ein KI-Benchmark ist ein standardisierter Test mit den Ziel, Fähigkeiten zu messen und zu vergleichen. Beispielsweise KI-System/Modell A mit B, oder ein KI-System/Modell mit menschlichen Fähigkeiten. Wie bei anderen Benchmarks steckt der Teufel aber im Detail. Am bekanntesten ist wahrscheinlich der Abgas-Skandal des VW-Konzerns. Sobald die Motorsteuerung feststelle auf dem Prüfstand zu sein...
Nutzer:innen von LLMs kennen das Verhalten. Das System erzeugt eine falsche Ausgabe und es gesteht den Fehler auf Rückfrage. OpenAI gib diesem Verhalten nun einen Rahmen: How confessions can keep language models honest. Vorgehen In Rahmen von Sicherheitstests haben die Forscher ein LLM (in dem Fall GPT-5-Thinking) nach Ausgabe des Ergebnis nach einer “Beichte” gefragt. Darin soll es, in Bezug auf...
Digital sozialisiert, Denker, Macher und Angel Investor.