EMULAB Forum

clrmamepro [English] => clrmame Discussion => Topic started by: RK_aus_S on 14 February 2019, 13:00

Title: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 14 February 2019, 13:00
Yes, I'm quite new with ClrMamePro, and my questions are possibly silly (therfore the suitable avatar... ;-) - sorry for that in advance.

I've downloaded a MAME 0.78 romset with about 4800 zip files. I created a Profile with an appropriate DAT-File and scanned and rebuilded this romset source a few times with different settings. But no matter if I choose "Non-merged sets" or "Split sets"; after lettings CMP running over this 4800 files, only about 1715 files remained, the rest was moved to the backup folder of CMP. Fore sure I do something wrong or I have a misunderstandig. But where?

My goal is the following: meanwhile I have about 10 MAME 0.78 romsets, some with over 1000 zip files some with over 4000 zip files. I wish I could say "hey ClrMamePro, this are 10 directories with romsets - make ONE Non-merged romset for me and delete (backup) all the rest". Quite sure CMP is exctly for that, but I have no idea how to do that...

Regards
Roman
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: Roman on 14 February 2019, 13:10
1) current MAME is .206, .78 is about 15 years old...and full of outdated, partly bad rom dumps ...there is no need to use such an old version..and compared to today, most likely most of the stuff doesn't match anymore.
2) you don't really want to use non-merged sets. full or split merge is the way to go
3) the rebuilder is a file based operation, not a set based one. It takes a file from the source (or a file from an archive within the source), calculates a hash and compares that against the loaded database. If there is a match, it will add/create all found instances in the destination, using the correct naming there.
So if you think the rebuilder did not do its job correctly (which is unlikely), you better check which database is loaded or look at the rebuilder log to see what is skipped or rebuild....
4) the scanner can be used to check what is wrong with your collection and it will fix renames etc.

So...if you really want to go with .78, ensure that you're also using a .78 datfile (or .78 mame executable to import the data from).
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 14 February 2019, 13:30
Thanks a lot, Roman.
1) I use Recalbox, and they recommend MAME 0.78 (as well as MAME 0.187 for fba_libretro)...
2) ...and the Recalbox guys recommend in there Wiki "Non-merged" sets as well.
3) I loaded a MAME 0.78 dat file for sure (that one Recalbox provides in the appropriate MAME direcotry) - and I tried a altnernate one (provided from the RetroPie environment/guys) as well. Looking at the log file of the rebuilder is a good hint, maybe it solves something...

Thank you for the explanation of CMP, that's about what I expected; it's all about the DAT file against which CMP compares all the content - and approves it or not.
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: Roman on 14 February 2019, 13:49
well...a quick test would be to look at one set which is not regenerated by the rebuilder at all....get the hashes of the single files (the actual rom files, not the set archive file) and lookup that value in the datfile. If it's not there, you can be rather sure that either the files or the dat is wrong ;-)

So...maybe give one concrete example (filename, hash values) here in the forum and I can try to figure out what's going on
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: f205v on 14 February 2019, 15:45
If i may step in, the best way to have a "certified" mame 0.78 dat file is to start from the official mame executable that you can download from the official mamedev webpage: https://www.mamedev.org/oldrel.html (https://www.mamedev.org/oldrel.html)

Once loaded in clrmame, go to rebuilder and set as source the directory where the 10 downloaded romsets are, set as destination the appropriate rompath for your recalbox setup, and let it run.
What you will have at the end will be the best possible correct set for mame 0.78
If you are still missing something, I suggest you look for some "roll-back" rom sets, They usually contain the wrong roms that have been removed from mame from one version to the newer one.

Last thing: go for split, this is how 99% of mame user do it, and it works. Full merged only makes sense to reduce the total number of files, unmerged only makes sense in few very exotic cases, too scarce to mention.
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 14 February 2019, 18:56
Thank you both - Roman an f205v - very much.  :)

Roman, it seams you were right with the point that my 0.78 DAT file must be the issue! It was the issue, and that twice! Shame on me.  :-[  Now, I downlaoded the DAT file from Herb Fargus https://github.com/HerbFargus/retropie-dat/archive/master.zip (https://github.com/HerbFargus/retropie-dat/archive/master.zip) - and that seams to work.

Next, I will try f205v's tipp to get the "ceritfied" dat from the mame executable.

But may I ask you both some further questions?:

1. If  I don't know if my downloaded romsets are non-merged or split; is it possible to create a split set from a non-merged source and vica-versa?

2. When I provide ClrMamePro my 10 romsets (or even more), is it better to add 10 paths in CMP, each romset in its own path, or can I move all romsets in single directory and provide CMP one path? Makes it a difference at all?

3. To get my ultimate romset from my 10 romsets, should I first use the scanner or the rebuilder, or do I need both in every case?

4. When CMP reports some wrong or missing files at the end of a scan/rebuild, what should I do with this info? I mean is this info somehow saved for later usage someday to complete my ultimate romset from further romsets which I found?

I hope I'm not boring you with my beginner questions ...  :-\

Kind regards
Roman
Switzerland
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: f205v on 14 February 2019, 19:07
Hi, my fellow Swiss brethren!

1) you don't care about the downloaded romset format. CLRMAME will look into each single file to find a good match, so no need for you to know in which format they are.
2) put all of them in a single folder (or subfolders inside a single folder). I have a d:\unsorted folder where I put everything I ever download, and that is the source for my clrmame setup.
3) I usually do scan+rebuild+scan, but you can also do a scan followed by a drag/drop of "unsorted" onto the scanner result window. clrmame will recognise it and rebuild/rescan from there.
4) wrong files are usually moved to backup folder if you enable "fix" in the scanner. Missing files are missing and you need to find them on the internet, put them into "unsorted" and let clrmame do its magic!
CLRMAME saves a few log files (miss, have, complete log) and also a "fixdat" file for exchange with other collectors that can in this way just give you only what you are really missing and not full collections and also a "fastscan" hash that will enable it next time to only scan for missing/wrong, greatly reducing the total scan time.
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 14 February 2019, 19:20
Oh, Swiss brethren.  ;D

3) What, if I throw all downloaded romsets in a folder (as you recommended), set this folder as source and let the rebuilder walk over it? I mean, I get my "ultimate" romset in the destination folder - and that's all I want. Why you recommend scan+rebuild+scan? Are the results different?
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: f205v on 14 February 2019, 20:00
well, it really depends on what you are trying to achieve.
If you start from a clean slate, and just need to create a "best" set for you mame0.78 from an assorted collection of random junk, just rebuild (and scan if you are curious about the final result, but the rebuild is the only part doing something)
If you start from an already existing collection, and want to UPDATE it to a newer release (imagine a situation when you want to upgrade from your 0.78 to something newer like 0.206) then you load in clrmame the new executable (or its datfile), point it to your existing collection, scan (with fix enabled to correct all issue with names, wrong placed files, etc.) then rebuild. (Then scan again if you are curious, but it will do nothing to the collection). In this second instance you can also act a little bit differently (but it's slower!): move your existing collection into the "unsorted" folder so you will have an empty destination folder, and just rebuild: it will be the same as in the first instance.
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 14 February 2019, 21:08
Thanks.
I try to follow your suggestions as good as I can, but to be honest, ClrMamePro is not easy to understand for a beginner like me, even if it is as well explained by you.  The fact that the whole thing takes place in English does not make it any easier for me either...  :-[
Is there any possibility to continue our discussion in German? (Maybe by email, Skype or whatever?)
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: Roman on 15 February 2019, 05:58
klar koennen wir deutsch reden.....
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 15 February 2019, 10:26
Ok, ab jetzt in deutsch.  8)

Folgende Fragen habe sich angehäuft:

1. Wenn ich auf Split-Sets umstelle, wie sehe ich dann einem einzelnen ROM.zip an, ob es noch weitere PARENTS.zip braucht? Oder kopiert jedermann in der Regel eh gleich das komplette ROMset auf seine Retro-Maschine und kümmert sich gar nicht um Parent/Child-Abhängigkeiten?

2. Ich tue mich immer noch schwer mit dem Unterschied zwischen einem Scan+Fix und einem Rebuild. Ich habe jetzt mal alle meine heruntergeladenen ROMsets in einen Ordner geworfen und diesen im Rebuilder als Source angegeben, danach habe ich 2 Rebuilds durchgeführt; einer mit "Split" und einer mit "Non-merged". Das hat wunderbar geklappt; habe jetzt zwei (Destination-Folder-)ROMsets mit 4217 Dateien (split) bzw. 4720 Dateien (non-merged) - das Split-ROMset ist ca. 8 GB gross, das Non-merged-ROMset ca. 14 GB. Der Source-Folder blieb unverändert und Backups mussten auch keine angelegt werden.
Wenn ich jetzt, wie f205v meint auf eine höhere ROMset version wechseln möchte, dann könnte ich ja genau wieder gleich Rebuilden, einfach mit einer entsprechend höheren DAT-File-Version, oder?

Grüsse
Roman
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: f205v on 15 February 2019, 10:48
I leave both Romans to talk in their native language: unfortunately my German is extremely limited, just the barely minimum to survive north of the Alps  :'(
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: f205v on 15 February 2019, 11:00
Sorry, I could not resist the urge to answer anyway!  ;)

Regarding your first question, if you want to have on your retro cabinet just a very limited selection of games, just go for non-merged. This is what I do on my cabinet, where just 50 games are kept. With non-merged you do not need to care about parent/clone relationship, because every single .zip file will contain all needed roms for that game. Nevertheless you will still need to pay attention to BIOSes and DEVICEs file: depending on the games you will put on your retro cabinet some of them may be needed.
Alternatively, move a full set to your cabinet, make it split or fully-merged and forget about any parent/clone/bios/device: a full set is full by definition (when you get everything green in clrmame result window)

Regarding your second question, when you want to update to a newer MAME version, there are a few alternate roads; the easiest one it to load in clrmame the new mame executable, point it to your already existing set, scan it with all fixes enabled and you will get the best possible collection based on the roms you have. For what is missing after this procedure, you need to find them on the internet, and rebuild+scan or drag/drop on result window.
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 15 February 2019, 11:26
f205v: First of all; I expected naturally that you speak german, because of your "Hi, my fellow Swiss brethren!". Sorry about that, it's not our intention to exclude anyone from this thread, especially if someone delivers as valueable and patient answers like you.  :)

So let's just agree on "multi-cultural"; everyone is talking (in this thread) how he does it best, ok?  8)

Ich denke, die Sache mit "Split" und "Non-merged" ist für mich einigermassen beantwortet, nebst ein paar kleinen Fragen auf die ich ggf. später zurückkommen werde.

Betreffend "Scan+Fix" und "Rebuild" stehe ich extrem auf der Leitung, darum stelle ich meine Frage mal anders herum:
Kann ich mit "Scan+Fix" irgend etwas machen, was mit "Rebuild" unmöglich zu erreichen ist? Und umgekehrt?
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: Roman on 15 February 2019, 12:07
1) einem Splitset sieht man erstmal gar nicht an ob es ein Clone- oder ein Parentset ist. Das weiss man eigentlich nur wenn man sich die Dateien anschaut und mit dem Datfile vergleicht. Split Sets sind halt sehr verbreitet, da man dadurch a) jedes Set als Datei vorliegen hat (bei full-merged sets hat man ja nur noch das Parentset in dem alle Clones mit reingepackt werden) und b) trotzdem einen Speicherplatzgewinn hat, da die Clonesets ja nicht nochmal die Dateien verwendet, die mit dem Parentset uebereinstimmen.
"unmerged" verwendet eigentlich niemand....
Die Frage ist im Wesentlichen, was der verwendete Emulator denn unterstützt. Ja es gibt wahrscheinlich Emulatoren, die Parent/Clone Beziehungen gar nicht zulassen und Sets benötigen wo im Setarchiv jede Datei vorhanden ist. MAME ist es eigentlich egal, da der ROM loader alle ROM Pfade durchsucht und sowohl im Parent- als auch im Cloneset nach passenden Datein sucht. MAME sucht sich also alles zusammen...und schau auch nicht auf Dateinamen, sondern schaut nach File Hashes.
Wenn du jetzt irgendeine Retropie Version (oder aehnliches) verwendest...tja...ich weiß es ehrlich gesagt nicht, welches Format die Version dann unterstützt...muss man herausfinden.
Der Trend bei den MAME-maniacs geht halt eh dahin alle Sets zu haben....da stellt sich die Frage nicht ;-)

2) Scanner, das Hauptwerkzeug. Der Scanner untersucht deine Sets, entdeckt ob Dateien fehlen, ob Dateien umbenannt werden müssen, etc etc...Die Baumansicht des Scanner Outputs ist *die* Information die du brauchst um zu sagen, dass deine Sammlung ok ist oder nicht. Kein Eintrag zu sehen, gut, dann gibt es keine Fehler (bezogen auf die gesetzten Scaneinstellungen). Wenn man die Fixoptionen des Scanners aktiviert versucht clrmamepro Fehler auch zu beheben. Bei Dateiumbenennungen ist das kein Problem, bei völlig falschen Dateien natuerlich schon, denn clrmamepro kann ja nicht einfacht auf wundersame Art und Weise Dateien herbeizaubern. Der Scanner gibt dir detaillierte Informationen über den Zustand deiner Sets.
Der Rebuilder ist dagegen dateibasierend. Dem Rebuilder geht es nicht darum eine Aussage über Sets zu machen, schon gar nicht Fehler aufzuspüren oder zu beheben. Dem Rebuilder ist es auch egal, ob Sets komplett sind oder nicht. Er erzeugt keine kompletten Sets (er kann, er muss aber nicht).
Der Rebuilder ist ein Modul welches dir hilft unbekannte, falsch benannte Dateien, sprich eine große Menge Schrott, einfach mal ausmisten zu lassen. Er liest eine Datei (!, nicht Set) aus dem Quellverzeichnis, berechnet CRC32/SHA1 Werte und vergleicht diese dann mit der Datenbank (Datfile). Wir er fündig, werden alle Treffer im Zielverzeichnis erstellt (zu Archiven hinzugefügt). Dort wird der richtige Name verwendet. Sprich, wenn z.B. eine Datei von 300 Sets verwendet werden sollte, werden alle diese 300 Sets erzeugt...aber sie enthalten dann erstmal auch nur diese eine Datei.
Der Rebuilder wird auch gerne verwendet um bestehende Sammlungen zu durchsuchen und Dateien fuer einen anderen Emulator zu erzeugen. Sprich man lädt ein Datfile für Emulator X, hat aber Sets für Emulator Y, dann lässt man einfach mal den Rebuilder über diese Sets laufen und schaut, welche Dateien aus der Y Sammlung zu X passen.
Hauptsächlich ist der Rebuilder praktisch um neue Dateien seiner Sammlung hinzuzufügen. Der Scanner kann das über fix-missing, aber hier ist der Rebuilder im Vorteil (schneller, andere Voraussetzungen, einfach Drag'n Drop in den Scanner).

Ein übliches MAME update ist in etwa so:

1) man hat eine vollständige MAME Sammlung und nun kommt eine neue MAME Version raus. Sollte man ein MAME Profil basierend auf der MAME.EXE Datei haben, erkennt clrmamepro automatisch, dass ein Update vorhanden ist und importiert die neuen Daten
2) Als ersten sollte man den Scanner laufen lassen, da dieser alle möglichen Fehler behebt. Danach sollte man eigentlich nur noch fehlende Dateien haben (nämlich die, die durch das MAME update hinzugekommen sind), ggf. sind auch noch Dateien vorhanden, die durch die neue Version komplett ersetzt werden (z.B. redumps)
3) Hat man die neuen Dateien gefunden, kann man jetzt den Rebuilder verwenden um sie hinzuzufügen (dabei zeigt Rebuilder Destination auf den Rompath). Man kann die Dateien einfach via Drag'n Drop in den Scanner schmeißen...und den Scanner auch so einstellen, dass er nach dem Rebuild automatisch neu scannt.
4) man wiederholt 3 bis man keine fehlenden Dateien mehr angezeigt bekommt.



Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: f205v on 15 February 2019, 13:19
@RK_aus_S: I'm from Tessin, Italian main language. I can understand German reading (with a little bit of google translate help), but speak very little and write nothing.

Roman answer is perfect as usual. clrmame needs a little bit of training, but after using it for a while you will feel confident and soon you can not live without it for your ROMs collection!
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 15 February 2019, 14:51
f205v: In deed I forgott that there are Swiss citizens who do not have German as native language...  :-[

Roman: Vielen Dank, jetzt ist mir zum ersten Mal einiges viel klarer. Der Groschen ist sozusagen (so gut wie) gefallen. Inzwischen habe ich mal einen Scan über einen Rebuild-Output laufen lassen, und das Resultat sieht gar nicht so übel aus. Allerdings erschliessen sich mir nicht alle Punkte in dieser Statistik, und ich habe in den Docs auch nicht gefunden, was einem die Punkte im Einzelnen sagen wollen.

Ich hab' mal grün angemalt was ich meine zu verstehen, und rot was ich irgendwie nicht kapiere:


Missing
·Sets                 0/4720
·ROMs                 0/70763
·CHDs                 -/30
·Samples              0/2010
·Bytes                0/28gb

Fixed Wrong Case
·Sets                 0/0
·ROMs                 0/0
·CHDs                 -/-
·Samples              0/0

Fixed Unneeded
·Sets                 0/0
·ROMs                 0/0
·CHDs                 -/-
·Samples              0/1

Fixed Wrong Name
·Sets                 0/0
·ROMs                 0/0
·CHDs                 -/-

Fixed Wrong Size
·ROMs                 0/0

Fixed Wrong Date Time
·ROMs                 0/0

Wrong Hashes
·Wrong CRC32 ROMs     0
·Wrong SHA1 ROMs      0
·Wrong MD5 ROMs       0
·Wrong SHA1 CHDs      -
·Wrong MD5 CHDs       -

Corrupt Containers    0

---------------------------------------

Active Sets           4720/4720
·Parents              1042/1042
·Clones               2039/2039
·Others               1624/1624
·BIOS                 15/15

Active ROMs           70763/70763
·Parents              15995/15995
·Clones               32968/32968
·Others               21425/21425
·bad dumps            148/148
·no dumps             177/177
·verified dumps       0/0
·BIOS                 50/50

Active CHDs           30/30
·Parents              5/5
·Clones               5/5
·Others               20/20
·bad dumps            0/0
·no dumps             0/0
·verified dumps       0/0
·BIOS                 0/0

Active Samples        2010/2010
·Parents              376/376
·Clones               1309/1309

Active Bytes          28gb/28gb


Kann man irgendwo nachlesen, was es mit all diesen "Active"-Sachen auf sich hat?
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: Roman on 15 February 2019, 17:31
der rote Anteil entspricht dem Abschnitt der die generelle Anzahl der einzelnen set/file Typen auflistet...
Sprich...es gibt 4720 sets, von denen du 4720 auch "eingeschaltet" hast...die Sets beinhalten 1042 Parent sets...usw..

Unter uns: du brauchst keine Statistiken ;-) Wie gesagt...wenn die ScanResults Baumansicht nichts listet bist du fertig....
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 16 February 2019, 11:51
Quote
Unter uns: du brauchst keine Statistiken ;-) Wie gesagt...wenn die ScanResults Baumansicht nichts listet bist du fertig....
Ja, vielleicht will ich es manchmal zu genau wissen.

Ich habe mich jetzt mal um die CHD's gekümmert (wenn ich auch nicht sicher bin, ob es diese zum Spielen wirklich braucht?). Gemäss einem anderen Thread hier im Forum habe ich alls CHD's die ich habe in ein eigenes Verzeichnis kopiert und dieses Verzeichnis in den Settings als zusätzlichen ROM-Path hinzugefügt. Im Scanner Dialog habe ich dieses mal natürlich CHD zum scannen aktiviert, bei <Check hab' ich alles ausgewählt, bei Fix> habe ich nur Unneeded + Name ausgewählt.

Das Resultat verwirrt mich ein wenig (siehe Attachement); die Statistik sagt es fehlen 4 von 30 CHDs, aber der Scan Result sagt, dass fast alle CHDs die falsche Version haben?

Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: Roman on 16 February 2019, 16:26
Aaaalso.....CHD = Compressed Hunks Of Data ...mit anderen Worten...ein gepackter Datencontainer....Inhalt des Containers kann z.B. ein CD/DVD/HD image sein...aber durchaus auch andere Formate...Floppies, Laserdisks, etc...und ja, du brauchst sie um das jeweile Spiel zu spielen, denn dieses beinhaltet ja die eigentlichen Daten. Es gibt zum Beispiel Systeme, die quasi nur aus dem BIOS set bestehen und die eigentlichen Spieldaten sind dann z.B. DVD images. Also..ja, du brauchst sie.

Was das Ablegen angeht, geht MAME wieder konsequent seinen Weg:
ROMPfad\SetName\Datei 1 ...Datei N fuer nicht komprimierte Sets
ROMPfad\SetName.zip (oder .7z) fuer komprimierte Sets wo die einzelnen Dateien dann im Archiv stecken.
Rein theoretisch kann man CHD files auch nochmal in ein Zipfile stecken...bringt aber nichts, denn es ist bereits komprimiert. Also fuer CHDs gilt: ROMPfad\SetName\CHD1...CHDn (fuer das jeweilige set).
MAME erlaubt auch, dass man CHD files einfach ohne Unterverzeichnis in einem ROMPfad speichert. Wenn man das nutzen will, muss man das in clrmamepro aber explizit einschalten.

Nun zu den Versionen: Das CHD Format hat auch mittlerweile diverse Versionsupdates bekommen. Da MAME's -listxml output aber keinerlei Informationen darueber ausspuckt welche Version gebraucht wird, muss man das clrmamepro mitteilen (settings->compressor->chdman). Aktuell ist 5. Alte Versionen (.78) verwenden sicherlich eine viel aeltere..vielleicht 3 wie in deinen Screenshots...dann musst du halt innerhalb von clrmamepro das auf 3 umstellen.

Teilweise kann man chds auch umwandeln, allerdings gab es auch mal eine Version in der zusaetzliche Metadaten gespeichert wurden (und vorher nicht). Ein Upgrade ist also nicht immer möglich...ein Downgrade möglicherweise schon.

Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 16 February 2019, 20:29
Danke, Roman.

Irgendwie stehe ich wieder auf dem Schlauch.  ???
Ich habe ja auf der einen Seite ein Verzeichnis - mein Source Ordner - wo all meine unsortierten Files drin sind (da ist alles drin; BIOSes, ROMs, unvollständige oder vollständige ROMSets, Samples, CHDs - weiss' der Geier, einfach der ganze unsortierte "Müll", gezippt und ungezippt...)
Auf der anderen Seite habe ich ja inzwischen erfolgreich mit dem Rebuilder meinen Destination Ordner angelegt, dort sind bis jetzt alle ROMs sauber drin - ein MAME 0.78 ROMSet bei dem kein ROM fehlt.

Jetzt kommen Samples:
Bei den Samples habe ich einfach einen Destination-Sample-Ordner neben den Destination-ROMSet-Folder gestellt (nicht darin!), dann habe ich im "Müll"-Source-Folder alle Sample.zip's zusammengesucht und manuell in diesen Destination-Sample-Folder kopiert. Dann habe ich einen Scan+Fix auf Destination-ROMSet-Folder und Destination-Sample-Folder ausgeführt.
Somit habe ich jetzt einen Destination-ROMSet-Folder und Destination-Sample-Folder bei dem nichts mehr fehlt.

Jetzt kommen die CHDs an die Reihe:
Wie kriege ich jetzt also aus dem unsortierten "Müll"-Source-Verzeichnis genau die passenden CHDs (Ver. 3) in mein sauberes Destination-ROMSet genau in die richtigen ROM.zips hinein?
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: Roman on 17 February 2019, 09:37
Samples:
Samples gehoreren in einen Samplepfad...Sowohl in MAME als auch in clrmamepro (settings->Pfad Selektor -> sample paths). Wenn man einen direkten MAME import verwendet (oder ein MAME datfile), dann haben Samples keinerlei Größen- und Hashangaben. Sprich, du kannst sie auch nicht rebuilden. Abhilfe schafft ein separates Samplesdatfile (zum Beispiel von Progetto). Dieses beinhaltet Hashes/Größen und du kannst damit arbeiten.

CHDs:
Der Rebuilder (wenigstens der öffentliche ;-)) rebuildet keine CHDs...Das Warning Fenster spuckt aber Information darueber aus, ob er ein valides CHD gefunden hat. CHDs an die richtige Stelle zu manövrieren ist aber auch recht einfach, einfach in einen Rompfad ablegen (also ohne Unterverzeichnis) und der Scanner findet es und verschiebt es an die richtige Stelle (mit Unterverzeichnis und richtigem Namen). Und wie erwaehnt, chds sollten nicht in ein gepacktes ROM Archiv mit reingepackt werden. Seh ein CHD wie ein separates zip File an.
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: RK_aus_S on 17 February 2019, 15:52
Vielen Dank.
Jetzt habe ich 2 perfekte ROMSets 0.78; 1 split und 1 non-merged. (Das non-merged nur für den Fall, dass Kollegen mich nach einzelnen MAME ROMs anfragen, dann weiss ich, dass das non-merged Game sicher läuft...)

Jetzt noch eine ganz andere Baustelle:
Jetzt wo ich ein perfektes ROMSet 0.78 besitze stellt sich die Frage; welchen Wert hat das unsortierte "Müll"-Source-Verzeichnis noch?:

PS. Habe mich ganz nebenbei sowie so schon gefragt, warum in den DAT-Files mit SHA-1 und CRC Checks gearbeitet wird? Ist denn eine CRC-Prüfsumme noch notwendig und sinnvoll, wenn bereits ein SHA-1 Hash vorhanden ist?
Title: Re: Downloaded MAME Romset has 4800 files, after CLP 1700 files remained?
Post by: Roman on 18 February 2019, 08:47
Zum Müllverzeichnis:
Nun ja....man kann Dateien rebuilden und die Option "Remove rebuilt sourcefiles" anwaehlen, dann werden die Dateien, die erfolgreich im Zielverzeichnis erzeugt wurden vom Quellverzeichnis entfernt. Was dann noch uebrig ist, ist nun ja...'Muell', aber wie du schon erkannt hast, nur fuer das aktuell geladene datfile. Klar kann man jetzt andere 3rd Party Programme drueberlaufen lasseun um identische Dateien zu loeschen, aber letztendlich bleiben halt Sachen übrig. Normalerweise (wenn man jetzt zum Beispiel von einer MAME version zur nächsten wechselt) sind das vielleicht bad dumps, die halt durch neue, good dumps ersetzt worden sind. Manchmal werden aber auch Sets aus MAME entfernt (z.B. aus Copyrightgründen), dann sind es natuerlich valide Dumps, die man vielleicht irgendwann wieder braucht.
Letztendlich ist es dir ueberlassen, was du mit den Dateien machst...

Zu CRC32/SHA1....nun ja...CRC32 hat den Vorteil, dass es in den Archivheadern gespeichert ist, sprich, man muss nur das zipfile (7z/rar) einlesen und man hat schon Informationen, ob eine Datei passt oder nicht. Die Datei zu entpacken dauert einfach laenger. Da CRC32 heutzutage aber in MAME auch schon nicht mehr ausreicht um eine Datei eindeutig zu identifizieren, wird dann doch noch der SHA1 Wert ermittelt...indem die Datei in den Speicher entpackt wird. Man kann also via schnellem CRC32 check schonmal aussortieren...und bei einem Treffer schaut man dann nochmal genauer hin....(das laesst sich optional auch abschalten)