Одним из самых стойких лиц, которые пытались подорвать подлинность работ Кастанеды, был психолог Ричард де Милль. Он опубликовал ряд исследований, указывающих на различные неточности в произведениях Кастанеды и даже своего рода плагиат. "Как только дон Хуан открывает рот, - говорит де Милль - с его губ сходят слова различных писателей". В 1980 году он опубликовал даже сборник цитат дона Хуана, вместе с предоставлением источников, таких как, произведения Л. Витгенштейна, К.С. Льюиса, дальневосточных духовных учителей и антропологических изданий. "Все указывает на то, что Кастанеда провел больше времени в библиотеке, чем в пустыне Сонора в Лос-Анджелес", - заключает де Милль.
Некоторые антропологи лишь частично согласны с де Миллем. Антрополог Файкс считает, что Кастанеда имел некоторые контакты с коренными американцами, однако, обвиняет его в другом. Публикация "Учения дона Хуана" привели толпу поклонников Кастанеды в районы проживания индейцев племени яки. Когда люди узнали, что это не яки, а уичоль употребляли пейот, отправились на их территории, опустошая их.

Сегодня антропологи уже не дебатируют на тему подлинности "учений дона Хуана". Профессор Уильям У. Келли, заведующий кафедрой антропологии в Йельском университете, говорит:

- Я сомневаюсь, что найдется антрополог моего поколения, который считает Кастанеду кем-то другим, нежели ловким конфабулятором. Это была афера, я уверен, что дона Хуана не существует.

в 1973 году Кастанеда решил отойти от общественной жизни. Претворяя в жизнь принцип дона Хуана о "недоступности", он запрещал себя фотографировать или совершать какие-либо звукозаписи с его участием. "Стирая свое прошлое", он также расстался со своей женой и приемным сыном. Отметил, что дон Хуан тоже исчез. Когда в 1977 году вышла книга "Второе кольцо силы", читатели узнали, что дон Хуан вошел в нагваль, покинул этот мир (тональный). Это своего рода очищение открыло Кастанеде путь к созданию альтернативной семьи. Её главными членами стали три женщины, с которыми он познакомился еще в Университете Калифорнии: Регина Тал, Марианн Симко и Кэтлин "Чики" Полман. Симко получила докторскую степень в области антропологии и повсеместно воспринималась как невеста Кастанеды. Благодаря ей он встретился с Тал, докторанткой и коллегой по классу каратэ. Пока не ясно, как к этой группе примкнула Полман.

В 1973 году Кастанеда купил дом, вскоре он привел туда женщин, которые известны в его книгах как "ведьмы". В соответствии с принципом "стирания своего прошлого" они изменили свои имена и фамилии: Симко стала Тайшей Абеляр, Тал стала Флориндой Доннер-Грау. Полман получила имя Карол Тиггс. Доннер-Грау и Абеляр позже опубликовали свои собственные книги о магии.

Ведьмы, как и сам Кастанеда, удерживали свою жизнь в тайне. Употребляли всевозможные псевдонимы и запрещали снимать себя. Сторонники непрерывно слышали изменяющиеся истории, касающиеся их прошлого. После смерти Кастанеды дневной свет увидели реальные факты, связанные с их жизнью. Это случилось благодаря трем бывшим ученикам Кастанеды.

В начале 90-х годов, Ричард Дженнингс, выпускник юридического факультета в Лос-Анджелес, был главой группы, борющейся с дискриминацией лиц, зараженных ВИЧ, а также принимал активное участие в организации, выступающей за равноправие геев и лесбиянок. После прочтения статьи в журнале "Details", он попал на одну из встреч в Лос-Анджелесе. Вскоре после этого он начал посещать так называемые Воскресные занятия с Кастанедой, которые были организованы только для очень тщательно отобранных участников. С 1995 по 1998 год он принимал активное участие в группе.

Другим бывшим членом группы является Эми Уоллес, автор 13 книг, включая бестселлер "Книга списков", которую она написала вместе со своим братом Дэвидом Уэллечинским и отцом, писателем Ирвингом Уоллесом. С Кастанедой она познакомилась еще в 1873 году, много лет спустя стала его любовницей, свои переживания описала в книге "Ученица мага" („Sorcerer’s Apprentice”). В настоящее время проживает в Лос-Анджелесе.

Габи Гейтер принимала участие в семинарах и мечтала присоединиться к кругу ближайших соратников Кастанеды. В 1996 году, однако, была исключена из группы. Чтобы узнать правду о гуру, который отверг её, вместе со своим мужем Грегом Мамишьяном начала следить за Кастанедой и другими, об этом написала в книге "Съемка Кастанеды" ("Filming Castaneda"). Если бы не они, то не было бы никаких фотографий или видео с Кастанедой после 1973 года. Гейтер вместе с мужем обыскивали мусор, который выкидывали из дома Кастанеды, и натолкнулись таким образом на документы, счета, списки, благодаря которым можно было установить многие факты, связанные с последними днями его жизни.

Дженнингс считает, что в 70-х и 80-х годах там была группа из десятка человек, в основном женщины, которые приходили и уходили. Наиболее значительным событием этого периода стал уход Кэрол Тиггс, которая, согласно Уоллес, всегда была самой противоречивой ведьмой. Вскоре после вступления в группу, она решила уйти из нее и выйти замуж. Через некоторое время Кастанеда вернул её обратно.

В книге "Дар орла", Кастанеда описывает это таким образом, что Тиггс исчезла в "другом внимании", которое является одним из условий бесконечности. Через некоторое время появляется в Лос-Анджелесе и наступает радостное объединение с Карлосом. Благодаря пребыванию в "другом измерении" Тиггс названа "женщиной-нагваль".

Главной задачей ведьм было вербовать новых членов группы во время лекций и семинаров. Прежде всего, искали женщин, которые согласно Мелиссе Уорд, члену группы 1993-1994 годов, должны были совмещать в себе интеллект, красоту и чувствительность. Процесс посвящения в ряды "семьи" часто, вероятно, сопровождался необходимостью спать с Кастанедой, тогда как публично говорили, что он живет в целибате.

В своей книге Уоллес подробно описывает процесс порабощения. Её отец дружил с Кастанедой, который был частым гостем в их доме. Вскоре после смерти её отца, в 1990 году ей позвонил Кастанеда и сказал о том, что отец явился к нему во сне, жалуясь на то, что после смерти был заключен в доме и просит Эми и Карлоса об освобождении. Таким образом, они должны были встретиться. Скептичная Уоллес согласилась, они встретились, Она даже не заметила как оказалась с ним в постели. Позже, когда она опасалась, что может забеременеть, Кастанеда взбесился и начал кричать, что семя нагваль не человеческие. Он не упомянул, что много лет назад поддался процедуре вазэктомии (перевязка семявыносящих протоков).

Позже Кастанеда говорил ей, что они заключили "энергетическое супружество". Забрав её к себе домой он заметил, что Уоллес, выходя, посмотрела на табличку с номером дома и адресом, чтобы его запомнить, Кастанеда начал кричать, что "воин бы не смотрел". Он сказал ей вернуться в Беркли, что она и сделала. Когда она пыталась дозвониться, никто ей не отвечал, в отличие от ведьм, которые говорили ей, что нужно сделать, чтобы вернуться. Ей пришлось избавиться от своего членства. Избавилась она и от своих котов, что не помогло, а Кастанеда позвонил и сказал, что она является эгоистичной, избалованной еврейкой. Только через полгода он позволил ей вернуться.

Людям, стремящимся стать воинами, как Уоллес или Уорд, приказано было прервать контакты со своими близкими. Дженнингс говорила, что будучи в отношениях с Кастанедой, он давал подробные инструкции как это совершать, например через избежание объятий с любимыми. В некоторых случаях разделение происходило грубо и было необратимым. Дженнингс и Уоллес вспоминают молодую адептку, который было приказано ударить в лицо свою мать. Много лет спустя она вспоминала с плачем, что должна была сделать это, так как боялась исключения из группы. Уоллес также описывает историю студента, чьи родители умерли вскоре после того, как тот разорвал с ними контакт. Кастанеда похвалил его.